Способ видеть сквозь облака и туман разработали исследователи

Как-будто в комиксах, исследователи из Стэнфордского университета разработали своего рода рентгеновское зрение - только без рентгеновских лучей. Работая с аппаратным обеспечением, аналогичным тому, что позволяет автономным автомобилям «видеть» окружающий мир, исследователи усовершенствовали эту систему с помощью высокоэффективного алгоритма, который может восстанавливать трехмерные скрытые сцены на основе движения отдельных частиц света или фотонов.

Главная особенность новой системы

В ходе испытаний, подробно описанных в статье, опубликованной в Nature Communications, их система успешно воссоздала окружение, скрытое за пеной толщиной в 1 дюйм. Для человеческого глаза это как смотреть сквозь стены. «Многие методы визуализации делают изображения немного лучше, менее шумными, и подобным образом мы делаем невидимое видимым», - сказал Гордон Ветцштейн, доцент кафедры электротехники в Стэнфорде и старший автор статьи.

«Это действительно раздвигает границы того, что может быть возможно с любым типом сенсорной системы. Это похоже на сверхчеловеческое видение». Этот метод дополняет другие системы зрения, которые могут видеть сквозь препятствия в микроскопическом масштабе - для приложений в медицине - потому что новый способ больше ориентирован на крупномасштабные ситуации, такие как навигация на беспилотных автомобилях в тумане или при сильном дожде и спутниковая съемка поверхности планет, даже когда та скрыта за облаками.

Как работает сверхзрение

Чтобы видеть сквозь окружающую среду, где свет рассеивается во все стороны, система соединяет лучи со сверхчувствительным детектором фотонов, который регистрирует каждый бит света, попадающий на него. Когда лазер сканирует препятствие, к примеру, стену из пенопласта, случайный фотон может пройти сквозь пену, отразиться от объекта позади и пройти обратно через пену, вернувшись к детектору. Программное обеспечение с поддержкой алгоритма затем использует эти несколько фотонов - и информацию о том, где и когда они попадают в детектор - для воссоздания скрытых объектов в 3D.

Это не первая система, способная обнаруживать скрытые объекты через рассеивающую среду, но она позволяет обойти ограничения, связанные с другими методами. Например, некоторые требуют знания о том, как далеко находится объект, что скрыт за преградой. Также часто эти системы используют информацию только от баллистических фотонов, которые перемещаются к скрытому объекту и от него через поле рассеяния, но фактически не рассеиваются по пути. «Мы были заинтересованы в том, чтобы получить изображение через рассеивающую среду без этих предположений и собрать все рассеянные фотоны для воссоздания изображения», - сказал Дэвид Линделл, ведущий автор статьи.

«Это делает нашу систему особенно полезной для крупномасштабных приложений, где будет очень мало баллистических фотонов». Чтобы сделать свой алгоритм поддающимся сложностям рассеяния, исследователям пришлось серьезно потрудиться над своим аппаратным и программным обеспечением, хотя аппаратные компоненты, которые они использовали, лишь немного более продвинуты, чем то, что в настоящее время находится в автономных автомобилях. В зависимости от яркости скрытых объектов сканирование в их тестах занимало от одной минуты до одного часа, но алгоритм реконструировал скрытую сцену в реальном времени и мог выполняться на ноутбуке.

«Вы не могли видеть сквозь пену собственными глазами, и даже просто глядя на измерения фотонов с детектора, вы действительно ничего не видите», - сказал Линделл. «Но с помощью всего лишь нескольких фотонов алгоритм реконструкции может воссоздать эти объекты - и вы можете увидеть не только то, как они выглядят, но и где они находятся в трехмерном пространстве».

Как это может пригодиться в космосе

Когда-нибудь иная версия этой системы может быть отправлен в космос, где поможет в изучении поверхностей других планет. В ближайшем будущем исследователи хотели бы поэкспериментировать с различными средами рассеяния, чтобы смоделировать другие обстоятельства, в которых эта технология могла бы быть полезной.

«Мы будем и дальше совершенствовать собственную технологию с помощью других типов геометрии рассеяния», - сказал Линделл. «И тогда мы сможем увидеть не просто объекты, спрятанные за толстым слоем материала, но и объекты, погруженные в плотно рассеивающий материал, что было бы похоже на наблюдение за предметом, который полностью погряз в тумане». Линделл и Ветцштейн также с энтузиазмом относятся к тому, что эта работа представляет собой глубоко междисциплинарное пересечение науки и техники.

«Эти сенсорные системы представляют собой устройства с лазерами, детекторами и передовыми алгоритмами, что ставит их в междисциплинарную область исследований между аппаратным обеспечением, физикой и прикладной математикой», - сказал Ветцштейн. «Все это важные, ключевые области в нашей работе, которые действительно могут повлиять на многое».