Американские ученные разработали систему дистанционного управления движениями, которой достаточно двумерных изображений. Предварительная публикация исследования размещена на arXiv. Ученые из Университета Карнеги-Меллона создали систему дистанционного управления автоматизированной рукой. Достаточно встать перед камерой и выполнить нужные действия. ИИ на основе двумерного изображения генерирует трехмерную модель движения, формирует алгоритм для роботизированной руки.

Традиционно для обучения и дистанционного управления роботами использовались специальные перчатки, датчики движений или откалиброванные системы, состоящие из нескольких камер. Решение, предложенное в исследовании, не требует сложного оборудования и существенно упрощает процесс дистанционного управления.

«Наша система работает с использованием одной камеры. Поскольку калибровка не требуется, пользователь может стоять где угодно и при этом успешно управлять роботом», — говорит Дипак Патхак, один из разработчиков системы.

Руки человека и робота существенно отличаются по форме, размеру и структуре суставов. Траектории движения, которые зафиксированы камерой, должны быть не просто воспроизведены, но и преобразованы в последовательность действий конструкционных элементов робота. Примечательно, что для обучения своей системы исследователи использовали только видеоролики с YouTube.

«Мы понимаем, что классические модели сбора данных требуют существенных затрат, — отмечают ученые. — В то же время в интернете множество видеозаписей движения человеческих рук».

Первоначальные результаты исследования многообещающие: даже неподготовленные пользователи могут дистанционно управлять роботом.

«Лично для меня самая важная часть исследования — использование неструктурированных данных из интернета для робототехники, — добавляет Патхак. — Наша система удаленного управления не требует перчаток и маркеров и делает обучение роботов более доступным. Мы надеемся, что она поможет в создании автономных механизмов».