Больше информации для медицинского искусственного интеллекта

Исследователи Массачусетского института технологий разработали новый метод сбора дополнительной информации из изображений, используемых для обучения моделей машинного обучения, включая те, которые могут анализировать медицинские сканы, чтобы помочь диагностировать и лечить болезни мозга.

Новая активная область в медицине включает подготовку моделей глубокого обучения для выявления проблемных структур при сканировании мозга, связанных с неврологическими заболеваниями и расстройствами, такими как болезнь Альцгеймера и рассеянный склероз.

Но сбор обучающих данных является трудоемким: все анатомические структуры в каждом сканировании должны быть выделены отдельно или отмечены вручную неврологами. И в некоторых случаях, например, при редких заболеваниях головного мозга у детей, в первую очередь может быть доступно только несколько сканирований.

В документе, представленном на недавней Конференции по компьютерному зрению и распознаванию образов, исследователи из Массачусетского технологического института описывают систему, которая использует одно помеченное сканирование вместе с немаркированным сканированием, чтобы автоматически синтезировать массивный набор данных из отдельных обучающих примеров. Набор данных может быть использован для лучшего обучения моделей машинного обучения для поиска анатомических структур - чем больше данных обучения, тем лучше эти прогнозы.

Суть работы заключается в автоматическом генерировании данных для процесса «сегментации изображения», который разделяет изображение на области пикселей, которые являются более значимыми и более простыми для анализа.

Для этого система использует нейронную сеть (CNN), модель машинного обучения, которая стала локомотивом для задач обработки изображений. Сеть анализирует множество немаркированных изображений от разных пациентов и различного оборудования для «изучения» анатомических, яркостных и контрастных вариаций. Затем он применяет случайную комбинацию этих изученных вариантов к одному помеченному сканированию, чтобы синтезировать новые изображения, которые являются реалистичными и точно помеченными.

Эти вновь синтезированные сканы затем подаются на другую CNN, котораяобрабатывает уже готовые изображения. «Мы надеемся, что это сделает сегментацию изображения более доступной в реальных ситуациях, когда у вас нет большого количества обучающих данных», - говорит первый автор Эми Чжао, аспирант кафедры электротехники и компьютерных наук (EECS) и Лаборатория информатики и искусственного интеллекта (CSAIL).

«В нашем подходе вы можете научиться имитировать различия в немаркированных сканированиях, чтобы интеллектуально синтезировать большой набор данных для обучения вашей сети». Чжао говорит, что, существует интерес к использованию этой системы для обучения моделей предиктивно-аналитической работы в больнице общего профиля штата Массачусетс, где может существовать только одно или два помеченных вида особенно редких состояний мозга у детей.

К Чжао присоединились следующие люди: Гуха Балакришнан, постдок в EECS и CSAIL; Профессора EECS Фредо Дюран и Джон Гуттаг, а также старший писатель Адриан Далка, который также является преподавателем радиологии в Гарвардской медицинской школе.

Магия системы

Несмотря на то, что в настоящее время эта система применяется к медицинской визуализации, она фактически стала средством для синтеза обучающих данных для приложения для смартфона, которое может идентифицировать и извлекать информацию о картах из популярной коллекционной карточной игры «Magic: The Gathering», выпущенной в начале 1990-х годов. «Magic» имеет более 20 000 уникальных карт - с каждым месяцем выпускается еще больше - которые игроки могут использовать для создания пользовательских игровых колод.

Чжао, заядлый игрок в «Magic: The Gathering», хотел разработать приложение на базе CNN, которое бы делало фотографии любой карты с помощью камеры смартфона и автоматически получало такую информацию, как цена и рейтинг из онлайн-сервиса. «Когда я выбирал карты в игровом магазине, я устал вводить все их имена в свой телефон и просматривать рейтинги и комбинации», - говорит Чжао.

«Разве это не было бы здорово, если бы я мог отсканировать их с помощью своего телефона и получить эту информацию?» Но он понял, что это очень сложная задача по обучению ИИ. «Вам понадобится много фотографий всех 20 000 карт при разных условиях освещения и ракурсов. Никто не собирается собирать этот набор данных», - говорит Чжао. Вместо этого Чжао обучил CNN меньшему набору данных, состоящему примерно из 200 карт, с 10 различными фотографиями каждой карты, чтобы научиться деформировать карту в различные положения.

Он вычислял различное освещение, углы и отражения - когда карты помещены в протекторы - для синтезированных реалистичных искаженных версий любой карты в наборе данных. Чжао говорит, что это был захватывающий страстный проект: «Но мы поняли, что этот подход действительно хорошо подходит для медицинских изображений, потому что этот тип деформации действительно хорошо подходит для МРТ».

Искажения разума

Магнитно-резонансные изображения (МРТ) состоят из трехмерных пикселей, называемых вокселями. При сегментировании МРТ, эксперты разделяют и маркируют области вокселей на основе анатомической структуры, содержащей их. Разнообразие сканирований, вызванное различиями в отдельных мозгах и используемом оборудовании, создает проблему для использования машинного обучения для автоматизации этого процесса.

Некоторые существующие методы могут синтезировать обучающие примеры из помеченных сканов с использованием «увеличения данных», которое деформирует помеченные вокселы в разные позиции. Но эти методы требуют от экспертов написания от руки различных руководств по расширению, и некоторые синтезированные сканы не похожи на реалистичный человеческий мозг, который может быть вреден для процесса обучения.

Вместо этого система исследователей автоматически учится синтезировать реалистичные сканы. Исследователи обучили свою систему на 100 изображениях без меток реальных пациентов, чтобы вычислить пространственные преобразования - анатомические соответствия от сканирования к сканированию. Это породило столько «потоковых полей», которые моделируют, как вокселы перемещаются от одного сканирования к другому.

Одновременно он вычисляет преобразования интенсивности, которые фиксируют изменения внешнего вида, вызванные контрастом изображения, шумом и другими факторами. При создании нового сканирования система применяет случайное поле потока к исходному помеченному сканированию, которое смещается вокруг вокселей, пока оно структурно не соответствует реальному, немаркированному сканированию.

Затем он перекрывает случайное преобразование интенсивности. Наконец, система отображает метки на новые структуры, следуя тому, как вокселы перемещались в поле потока. В конце концов, синтезированные сканы очень похожи на настоящие сканы без меток, но более точные. Чтобы проверить их точность автоматической сегментации, исследователи использовали оценки Dice, которые измеряют, насколько хорошо одна трехмерная фигура соответствует другой, по шкале от 0 до 1.

Они сравнили свою систему с традиционными методами сегментации - ручными и автоматическими - по 30 различным мозговым структурам через 100 проведенных тестов. Большие структуры были сравнительно точными среди всех методов. Но система исследователей превзошла все другие подходы с более мелкими структурами, таким как гиппокамп, который занимает всего около 0,6 процента мозга по объему.

«Это показывает, что наш метод лучше других, особенно когда вы сканируете более мелкие структуры, которые могут быть очень важны для понимания болезни», - говорит Чжао. «И мы сделали это, хотя нам понадобилось всего лишь одно сканирование, помеченное вручную». В знак уважения к «магическим» корням работы код доступен на Github под названием одной из карточек игры «Мозговой штурм».