Как научить Вашего робота кормить Вас

Важная и серьезная проблема

По данным переписи 2010 года, около 1 миллиона взрослых в Соединенных Штатах нуждаются в ком-то, кто бы помог им есть. Это непростая и трудоемкая задача, решение которой вопрос необходимости, а не выбора.

Исследователи из Вашингтонского университета работают над роботизированной системой, которая может помочь упростить эту задачу. Определив, какие продукты лежат в тарелке, робот может выработать стратегию использования вилки, чтобы взять и доставить желаемый кусочек в рот человека. Команда опубликовала свои результаты в серии статей.

Одна была недавно опубликована в журнале Института инженеров электротехники и электроники (IEEE Robotics and Automation Letters), а другая будет представлена на Международной конференции ACM/IEEE по взаимодействию человека и робота в Южной Корее.

«Необходимость быть зависимым от попечителя, просто чтобы поесть, лишает человека чувства независимости», - говорит автор разработки Сиддхартха Сриниваса (SiddharthaSrinivasa), профессор Боинг в Школе компьютерных наук и инженерии имени Пола Аллена в Вашингтонском университете.

Наша цель в этом проекте - дать людям немного больше контроля над своей жизнью». Идея состояла в том, чтобы разработать автономную систему кормления, которая будет прикрепляться к инвалидным коляскам людей и кормить людей всем, что они хотят есть.

«Когда мы начали проект, мы поняли: существует так много способов, которыми люди могут съесть кусок пищи в зависимости от его размера, формы или консистенции. Как нам начать? », - сказал соавтор Тапомаюк Бхаттачарджи (Tapomayukh Bhattacharjee), научный сотрудник постдокторантуры в школе Аллена. «Поэтому мы организовали эксперимент, чтобы увидеть, как люди едят обычные продукты, такие как виноград и морковь».

Как справляются с задачей люди

Исследователи расставили тарелки примерно с дюжиной разных видов пищи, начиная от твердой моркови до мягких бананов. На тарелках также были такие продукты, как помидоры и виноград, которые имеют жесткую кожу и мягкое содержимое.

Затем команда дала добровольцам вилку и попросила их взять разные кусочки пищи и скормить их манекену. Вилка содержала датчик, чтобы измерить, сколько люди прилагали силы, когда брали еду вилкой. Добровольцы использовали различные стратегии, чтобы взять еду с различной консистенцией.

Например, люди накалывали на вилку мягкие предметы, такие как бананы, под углом, чтобы они не соскользнули с нее. Для таких предметов, как морковь и виноград, добровольцы, как правило, использовали серии движений, чтобы увеличить силу и наколоть на вилку каждый кусочек.

Стратегия для роботов

«Люди, похоже, использовали разные стратегии не только в зависимости от размера и формы пищи, но и от того, насколько она жесткая или мягкая. Но нужно ли нам делать так же?» - спрашивает Бхаттачарджи.

«Мы решили провести эксперимент с роботом, в котором он накалывает еду, пока вилка не проникнет на определенную глубину, независимо от типа еды». Робот использовал одну и ту же стратегию грубой силы, чтобы попытаться собрать все кусочки пищи, независимо от их консистенции. Он мог подбирать твердую пищу, но ему плохо давалась мягкая пища и пища с жесткой кожей и мягким содержимым.

Таким образом, роботы, как и люди, должны регулировать то, какую силу и с какого угла ее прилагать, чтобы собирать разные виды пищи. Команда также отметила, что действия по накалыванию кусочка и кормлению не зависят друг от друга. Добровольцы часто специально поворачивали кусочек еды так, чтобы его можно было легче было взять и съесть. «Вы можете наколоть морковь на вилку, проткнув ее в самом центре, но человеку будет трудно есть», - сказал Бхаттачарджи.

«С другой стороны, если вы возьмете его на один из концов, а затем поднесете морковку ко рту, то так будет легче откусить». Чтобы разработать стратегию накалывания и кормления, которая меняется в зависимости от продукта питания, исследователи объединили два разных алгоритма. Сначала они использовали алгоритм распознавания RetinaNet, который сканирует тарелку, идентифицирует виды пищи на ней и размещает рамку вокруг каждого предмета.

Затем они разработали SPNet, алгоритм, который проверяет тип пищи в определенной рамке и сообщает роботу, как лучше всего подобрать еду. Например, SPNet говорит роботу наколоть на вилку клубнику или кусочек банана посередине, а морков в один из ее концов.

Команда заставила робота собирать кусочки пищи и кормить ими добровольцев, используя SPNet или более унифицированную стратегию: подход, при котором каждый кусочек еды накалывался в центре независимо от того, из чего он.

Различные стратегии SPNet выступили не хуже , чем и единый подход ко всем продуктам питания. «Многие инженерные проблемы не требуют такого отбора решений, но это исследование очень тесно связано с людьми», - сказал Сриниваса. «Если мы учтем, насколько легко человеку откусить кусочек, то люди не смогут использовать нашу систему.

Существует множество видов продуктов питания, поэтому наша самая большая задача - разработать стратегии, которые могли бы справиться со всеми из них». В настоящее время группа сотрудничает с Центром доступных технологий Taskar (Taskar Centerfor Accessible Technology), чтобы получить обратную связь от лиц, осуществляющих уход, и пациентов в специализированных учреждениях, о том, как улучшить систему для полного соответствия нуждам людей.

«В конечном итоге наша цель состоит в том, чтобы наш робот помогал людям обедать или ужинать самостоятельно», - говорит Шриниваса. «Но дело не в том, чтобы заменить попечителей: мы хотим расширить их возможности. С помощью робота медицинский работник может всего лишь установить тарелку, а затем делать что-то еще, пока человек ест». Соавторами первой статьи являются докторант Гилву Ли (GilwooLee) и ученый-исследователь Ханджун Сонг (HanjunSong), оба из школы Аллена.

Соавторами второго доклада являются Дэниел Галленбергер (Daniel Gallenberger), студент магистратуры TechnischeUniversitätMünchen в Германии, который завершил это исследование в Вашингтонском университете, и Йонгсун Ким (YoungsunKim), научный сотрудник школы Аллена. Эта работа была впервые представлена на недавней конференции NeurIPS, где она получила награду как лучшая демонстрация.