MoSculp превращает 2D-видео в 3D-печатные движения

Команда MIT разработала систему, которая создает 3D-печатные «скульптуры движения» на основе 2D-видео.

Технология поможет спортсменам в улучшении своего мастерства

Известный как MoSculp, эта технология призвана помочь людям, таким как спортсмены или танцоры. Она дает возможность улучшить свои навыки, получив лучшее представление о том, как они перемещаются в пространстве.

Как работает технология?

Процесс начинается с обычного 2D-видео человека в движении, снятого обычной камерой в любой обстановке при существующих условиях освещения.

Компьютерная программа анализирует кадры, определяя ключевые области тела, такие как бедро, колено и лодыжку. Используя эти контрольные точки, софт начинает создавать серию трехмерных «скелетов», которые представляют собой серию последовательных поз.

Затем компьютер последовательно сшивает эти позы, сглаживая скелеты обратно в полное представление тела человека и добавляя элементы (следы), показывающие пути движения, которые ведут от одной позы к следующей. Перед тем, как результирующая модель будет напечатана в 3D-формате, пользователи смогут просмотреть ее, выбрав цвета, которые будут использоваться для разных частей.

«Представьте, что у вас есть видео о Роджере Федерере, играющем мяч в теннисном матче», - говорит студент PhD Сьюмин Чжан, ведущий автор статьи по исследованию. «Затем вы могли бы построить скульптуры движения в двух сценариях, чтобы сравнить их и более всесторонне изучить, что и где вам нужно улучшить».

Технология не стоит на месте и совершествуется

MoSculp работает лучше всего с большими движениями, которые присутствуют например в большом теннисе, и в настоящее время может создавать только модели отдельных предметов. Тем не менее, исследователи работали над адаптацией системы к построению единых моделей, изображающих несколько людей в движении.

Эта технология использована в следующем видео.