Как помочь машинам ADEPT воспринимать некоторые законы физики

Люди с самого раннего детства начинают понимать законы физической реальности. Например, дети уже прекрасно знают о том, как объекты должны двигаться и взаимодействовать друг с другом в определенных условиях, и будут удивлены, если увидят что-то необычное, например, какой-либо фокус с исчезновением.

Теперь исследователи Массачусетского технологического института разработали модель, которая демонстрирует понимание некоторой базовой «интуитивной физики» о том, как объекты должны вести себя. Модель может быть использована для создания более умного искусственного интеллекта и, в свою очередь, для предоставления информации, которая поможет ученым понять, как устроено это базовое понимание у младенцев.

Немного о модели ADEPT

Модель, называемая ADEPT, наблюдает за объектами в определенном радиусе, и делает прогнозы о том, как объекты должны вести себя, основываясь на их базовой физике. При отслеживании объектов модель выводит сигнал в каждом видеокадре, который соответствует уровню «удивления» - чем сильнее сигнал, тем больше удивление. Если объект будет действовать не так, как предсказала модель - скажем, исчезая или перемещаясьза сцену–уровень неожиданности резко возрастет.

Проанализировав видео, показывающие объекты, движущиеся физически правдоподобными и неправдоподобными способами, модель зарегистрировала уровни удивления, которые соответствуют тем моментам, о которых сообщали люди, которые смотрели те же видео.

«К тому времени, когда младенцам исполняется 3 месяца, у них есть представление о том, что объекты не исчезают, и не могут перемещаться друг через друга, либо телепортироваться», - говорит автор приложения Кевин А. Смит, исследователь в Департамент мозговых и когнитивных наук (BCS) и член Центра мозга, разума и машин (CBMM).

«Мы хотели собрать и формализовать эти знания, чтобы встроить детское познание в устройства с ИИ. Сейчас мы приближаемся к человеческому образу того, как модели могут выделять основные неправдоподобные или правдоподобные сцены».

Соавторами его статьи сталиLingjieMei, студентка факультета электроники компьютерных наук, и научный сотрудник BCS ШуньюЯо; Следователь CBMM Элизабет Спелке; Джошуа Б. Тененбаум, профессор вычислительной когнитивной науки и исследователь в CBMM, BCS и Лаборатории информатики и искусственного интеллекта (CSAIL); и исследователь CBMM Томер Д. Ульман, доктор философии.

Несоответствующие реалии

ADEPT опирается на два модуля: модуль «обратной графики», который получает представлениеоб объектах из необработанных изображений, и «физический движок», который прогнозирует будущие представления объектов из распределения возможностей. Инверсная графика в основном извлекает информацию об объектах - такую как форма, расположение и скорость - из введенных данных.

Этот модуль захватывает кадры видео в виде изображений и использует обратную графику для извлечения этой информации из объектов на сцене. Но указывать абсолютно все параметры не нужно. ADEPT требует лишь приблизительной геометрии каждой фигуры для функционирования. Частично это помогает модели обобщать прогнозы для новых объектов, а не только для тех, на которых она обучалась.

Принцип работы ADEPT

«Не имеет значения, является ли объект прямоугольником или кругом, или это грузовик или утка. ADEPT просто видит, что есть объект с определенной позицией, движущийся определенным образом, на основе чего уже начинает работу по прогнозированию», - говорит Смит. «Точно так же молодые младенцы, кажется, не очень заботятся о некоторых свойствах, таких как форма, когда делают подобные физические прогнозы».

Эти грубые описания объектов вводятся в физический движок - программное обеспечение, которое имитирует поведение физических систем, таких как твердые или мягкие тела, и обычно используется для фильмов, видеоигр и компьютерной графики. Физический движок исследователей «подталкивает объекты во времени», говорит Ульман. Это создает диапазон предсказаний или «распределение убеждений» относительно того, что произойдет с этими объектами в следующем кадре.

Далее модель наблюдает фактический следующий кадр. Еще раз, он захватывает представления объекта, которые он затем выравнивает с одним из предсказанных представлений объекта из своего распределения убеждений. Если объект подчиняется законам физики, между двумя представлениями не будет большого несоответствия. С другой стороны, если объект совершил что-то неправдоподобное - скажем, он исчез за стену - будет существенное несоответствие.

ADEPT затем повторно выбирает его распределение убеждений и отмечает очень низкую вероятность того, что объект просто исчез. Если вероятность достаточно мала, модель регистрирует это как маловероятную неожиданность. По сути, неожиданность обратно пропорциональна вероятности наступления события. «Если объект находиться за стеной, ваш физический движок будет уверен в том, что объект все еще находится там.

Если стена исчезнет, а за ней ничего нет, это будет считаться несоответствием», - говорит Ульман. «Затем модель говорит: «В моем предсказании есть объект, но я ничего не вижу. Единственное объяснение состоит в том, что он исчез, так что это удивительно».

Нарушение ожиданий

В психологии развития исследователи проводят тесты «нарушение ожиданий», в которых детям показывают пару видео. Одно видео показывает правдоподобное событие с объектами, придерживающимися их ожидаемых представлений о том, как устроен мир. Другое видео одинаково во всех отношениях, за исключением того, что объекты ведут себя таким образом, что нарушают общие ожидания зрителя.

Исследователи часто используют эти тесты, чтобы измерить, как долго младенец смотрит на сцену после неправдоподобного действия. Исследователи предполагают, что чем дольше они смотрят, тем сильнее они удивлены или заинтересованы в том, что только что произошло. Для своих экспериментов исследователи создали несколько сценариев, основанных на классических исследованиях в области развития, для изучения знаний об основных объектах модели. Они наняли 60 взрослых, чтобы посмотреть 64 видео известных физически правдоподобных и физически неправдоподобных сценариев.

Например, объекты будут двигаться за стеной, и когда стена упадет, они все еще будут там или исчезнут. Участники оценивали свое удивление в разные моменты по возрастающей шкале от 0 до 100. Затем исследователи показали те же видео разработанной модели. В частности, в сценариях изучалась способность модели улавливать понятия постоянства (объекты не появляются или исчезают без причины), непрерывности (объекты движутся по соединенным траекториям) и твердости (объекты не могут перемещаться друг через друга).

ADEPT особенно усердно анализировал видео, где объекты перемещались за стенами и исчезали при удалении стены. Интересно, что модель также зафиксировала некоторые интересные моменты в видео, на которые люди не обратили особого внимания. Например, в видео, где объект, движущийся с определенной скоростью, исчезает за стеной и сразу выходит на другую сторону, объект мог значительно ускориться, если он прошел за стеной, или он мог телепортироваться на другую сторону.

В целом, люди и ADEPT были менее уверены в том, было ли это событие неожиданным. Исследователи также обнаружили, что традиционные нейронные сети, которые изучают физику на основе наблюдений, но не представляют объекты в явном виде, гораздо менее точны в различении удивительных и неудивительных сцен, и их выбор для удивительных сцен не всегда совпадает с людьми.

Далее, исследователи планируют углубиться в то, как младенцы наблюдают и узнают о мире, с целью включения любых новых результатов в их модель. Исследования, например, показывают, что младенцы до определенного возраста на самом деле не очень удивляются, когда объекты полностью изменяются каким-либо образом - например, если грузовик исчезает за стеной, но вновь появляется уже в форме утка. «Мы хотим увидеть, что еще нужно встроить, чтобы понять мир лучше, и формализовать то, что мы знаем о психологии, для создания лучших агентов ИИ», - говорит Смит.