Ученые из Массачусетского технологического института создали систему, которая позволяет двухпалому роботу лепить из пластилина. Новое устройство RoboCraft может сжимать пластилин, отпускать его и делать из него разные буквы.

«Моделирование и манипулирование объектами — это важный навык для роботов, так они смогут быстрее научиться выполнять сложные производственные и бытовые задачи, такие как начинка пельменей, раскатывание суши и изготовление керамики», — говорит Юнчжу Ли, аспирант CSAIL и автор новой статьи о RoboCraft.

Тем не менее, авторы отмечают, что объекты с высокой пластичностью, такие как тесто или пластилин, недостаточно изучены. Поэтому с помощью RoboCraft команда изучает динамические модели на основе многомерных сенсорных данных.

Когда робот использует гладкий материал неопределенной формы, необходимо учитывать всю структуру, прежде чем выполнять над объектом какое-либо моделирование. Авторы превратили изображения в графики мелких частиц, использовали графическую нейронную сеть в качестве динамической модели, чтобы сделать более точные прогнозы об изменении формы материала.

Первая часть — восприятие — заключается в том, чтобы научиться видеть объект (пластилин). Робот использует камеры для сбора визуальных сенсорных данных из окружающей среды, затем эти данные превращаются в маленькие облака частиц, по которым можно делать выводы о форме объекта. Затем нейронная сеть, основанная на графах, использует указанные данные о частицах, чтобы смоделировать динамику объекта и то, как он движется. После этого алгоритмы планируют поведение робота.

Теперь команда хочет научить робота заворачивать в пельмени готовую начинку.