Недавно разработанные роботы изучают основы манипулирования объектами

Исследователи Массачусетского технологического института собрали набор данных, который фиксирует подробное поведение роботизированной системы, физически толкающей сотни различных объектов.

Используя набор данных - самый большой и самый разнообразный в своем роде - исследователи могут обучить роботов «изучать» динамику толчка, которая является фундаментальной для многих сложных задач по манипулированию объектами, включая переориентацию и анализ объектов.

Для сбора данных исследователи разработали автоматизированную систему, состоящую из промышленного робота-манипулятора с точным управлением, 3D-системы отслеживания движения, датчиков и обычных камер, а также программного обеспечения, которое объединяет все вместе. Благодаря камерам происходит анализ объекта, считывание его характеристик. Перед каждым толчком система оценивает, как это повлияет на объект.

Об Omnipush – специальном наборе данных

Набор данных, называемый «Omnipush», содержит информацию о взаимодействии с 250 объектами, что составляет примерно 62 500 уникальных видов толчков. Исследователи уже используют его, например, для создания моделей, которые помогают роботам предсказывать, как объекты поведут себя после толчка.

«Нам нужно огромное разнообразие данных, чтобы наши роботы могли учиться», - говорит Мария Бауза, аспирант кафедры машиностроения (MechE) и первый автор статьи, описывающий Omnipush, которая будет представлена на предстоящей Международной конференции по Интеллектуальным роботам и системам. «Здесь мы собираем данные из реальной роботизированной системы, где объекты достаточно разнообразны, чтобы охватить богатство форм реального мира.

Это важно, чтобы помочь роботам понять, как работает толчок, и использовать эту информацию непосредственно в реальном мире». К статье Баузы присоединяются: Ферран Алет и Йен-Чен Лин, аспиранты Лаборатории компьютерных наук и искусственного интеллекта и факультета электротехники и компьютерных наук (EECS); Томас Лозано-Перес, профессор инженерной школы педагогического мастерства; Лесли П. Кельблинг, профессор компьютерных наук и инженерии Panasonic; Филипп Изола, доцент в EECS; и Альберто Родригес, доцент в Мехе.

Диверсификация данных

Зачем сосредотачиваться на результате толчка? Родригес объясняет, что моделирование динамики толчка, которая включает в себя трение между объектами и поверхностями, является критически важным фактором для задач более высокого уровня.

Рассмотрим визуально и технически впечатляющего робота, способного играть в Jenga, недавно созданного Родригесом. «Робот выполняет сложную задачу, но ядро механики, управляющей этой задачей, по-прежнему опирается на том, чтобы толкать объект, что непосредственно будет зависеть от силы трения», - говорит Родригес.

База Omnipush основана на аналогичном наборе данных, построенном в Лаборатории манипулирования и механизмов (MCube) Родригесом, Баузой и другими исследователями, которые собирали данные о толчках только по 10 объектам.

После обнародования набора данных в 2016 году они собрали отзывы исследователей. Одной из жалоб было отсутствие разнообразия объектов: роботы, обученные на этом наборе данных, изо всех сил пытались обобщить информацию для новых объектов.

Как происходит получение информации

Для создания своего нового набора данных исследователи используют промышленный роботизированный манипулятор с точным контролем скорости и положения толкателя - вертикального стального стержня. Когда тот толкает объекты, система отслеживания движения «Vicon», которая использовалась в фильмах, виртуальной реальности и для исследований, отслеживает объект и анализирует его физику поведения.

Также есть камера RGB-D, которая позволяет получить больше информации. Устройство механизма не такое уж и сложное. Однородные центральные части, сделанные из алюминия, выглядят как четырехконечные звезды и весят около 100 грамм. Каждая центральная часть содержит маркеры в центре и некоторых точках, поэтому система Viconспособна определять положение объекта вплоть до миллиметра.

Меньшие части в четырех формах - вогнутая, треугольная, прямоугольная и круглая - могут быть магнитно прикреплены к любой стороне центральной части. Каждая из них весит от 31 до 94 граммов, но вес можно увеличить в пределах от 60 до 150 граммов благодаря специальным грузикам, помещаемым в их центр.

Все части подобных головоломке объектов выровнены как по горизонтали, так и по вертикали, что помогает имитировать трение, которое может возникнуть после толчка объекта. Все комбинации разных сторон, весов и массовых распределений разработаны с учетом до 250 уникальных объектов. При каждом толчке механизм автоматически возвращается в случайное положение в нескольких сантиметрах от объекта.

Затем он выбирает случайное направление и толкает его. Начиная с этого места, где он остановился, он выбирает другое случайное направление и повторяет процесс 250 раз. Каждый толчокфиксирует позу объекта в видео формата RGB-D, которые можно использовать для различных целей прогнозирования. Сбор данных производился по 12 часов в день, в течение двух недель, что составило более 150 часов.

Вмешательство человека было необходимо только при ручной перенастройке объектов. Объекты специально не имитируют никаких реальных предметов. Вместо этого они предназначены для учета разнообразия «кинематики» и «массовой асимметрии», ожидаемых от объектов реального мира, с которыми система и будет в дальнейшем работать.

Роботы могут затем экстраполировать, скажем, физическую модель объекта Omnipush с неравномерным распределением массы на любой объект реального мира с аналогичным неравномерным распределением веса.

«Представьте, что вы толкаете стол с четырьмя ножками, где большая часть веса приходится на одну из них. Когда вы толкаете стол, вы видите, что он вращается на тяжелой ноге, и вам нужно изменить свой подход. Понимание того, что массовое распределение и его влияние на результат толчка - это то, что роботы могут изучить с помощью этого набора данных », - говорит Родригес.

Проведение новых исследований

В одном эксперименте исследователи использовали Omnipush для обучения модели, чтобы предсказать окончательную позицию толкаемых объектов, учитывая только начальную позицию и силу толчка. Они обучили модель на 150 объектах Omnipush и протестировали ее на огромном разнообразии предметов. Результаты показали, что обученная Omnipush модель была в два раза точнее, чем модели, обученные на нескольких похожих наборах данных.

В своей работе исследователи также записали критерии точности, которые другие исследователи могут использовать для сравнения. Поскольку Omnipush захватывает видео толчков, одно из потенциальных приложений - это предсказывающие видео. Например, соавтор исследования теперь использует набор данных, чтобы обучить робота, по сути, «представить», как поменяется положение объекта.

После использования Omnipush, робот использует два входных видеокадра, показывая объект в его начальной позиции и конечной позиции. Используя начальную позицию, робот предсказывает все будущие видеокадры, которые гарантируют, что объект достигнет своей конечной позиции. Затем он толкает объект так, чтобы он соответствовал каждому предсказанному видеокадру, пока он не достигнет кадра с конечной позицией.

«Робот словно спрашивает сам себя: «Если я сделаю это действие, где объект будет находиться после этого?». Затем он выбирает действие, которое максимизирует вероятность перемещения объекта в нужное положение», - говорит Бауза. «Он решает, как перемещать объекты, сначала представляя, как изменится положение объекта на изображении после толчка».

«Omnipush включает в себя точные измерения движения объекта, а также визуальные данные для важного класса взаимодействий между роботом и объектами в мире», - говорит Мэтью Т. Мейсон, профессор компьютерных наук и робототехники в Университете Карнеги-Мелон. «Исследователи робототехники могут использовать эти данные для разработки и тестирования новых подходов к обучению роботов, которые будут способствовать дальнейшему прогрессу в роботизированных манипуляциях».