Американские инженеры создали алгоритм для роботизированных манипуляторов, позволяющий им захватывать незнакомые предметы, самостоятельно изучая их форму с разных сторон. Алгоритм может принимать команды, привязанные к любым объектам определенного класса, к примеру, захватывать разные модели ботинок за язычок, рассказывают разработчики в статье, опубликованной на arXiv.org.

Создание роботов, умеющих захватывать и перемещать различные предметы — одна из наиболее востребованных задач в робототехнике, которая может пригодиться при создании полностью автоматизированных складов. Некоторые компании, такие как Amazon, даже проводят конкурсы по созданию хватающих роботов. Хотя достаточно ловкие роботы, способные захватывать определенные или произвольные предметы, уже существуют, многие из них обладают серьезными недостатками. Как правило, такие алгоритмы не позволяют указать точку захвата на объекте, а тем более, для всех объектов определенного типа.

Группа из Массачусетского технологического института под руководством Расса Тедрейка (Russ Tedrake) создала для робоманипуляторов новый алгоритм, лишенный многих недостатков, присущих другим аналогичным разработкам. Как и многие такие разработки, он создает 3D-модель предметов в поле зрения, однако исследователи выбрали необычное представление этой модели.

Изначально алгоритм получает изображения с камеры глубины, в которых каждому пикселю присвоены значения трех основных цветов и величина глубины. После этого он переводит это изображение в пространство визуальных дескрипторов. Во время этого превращения каждому пикселю присваивается вектор, который по сути является идентификатором точки в пространстве, свет из которой проецируется на пиксель. Благодаря такому кодированию, алгоритм может легко находить корреляцию между изображением, на котором пользователь указал нужную ему точку, и моделью, созданной алгоритмом, несмотря на изменение освещения, перспективы и других факторов.

Создание трехмерной модели объекта с помощью снимков с разных ракурсов. Peter Florence et al. / arXiv.org, 2018

Особенность примененного исследователями подхода заключается в том, что обучение алгоритма созданию визуальных дескрипторов происходит без учителя — то есть без использования созданного разработчиками набора размеченных данных для обучения. Вместо этого робот самостоятельно собирает изображения с разных ракурсов и даже может самостоятельно поворачивать объект, чтобы рассмотреть его со всех сторон.

Система работает так: сначала пользователь указывает мышкой на фотографии предмета точку, в которой робот должен его схватить. После этого робот осматривает предмет с трех ракурсов, с помощью обученного ранее алгоритма подбирает на изображениях со своей камеры точку на предмете, наиболее похожую на ту, которую указал пользователь на фотографии, и хватает предмет за эту точку.

Пример определения точки на объекте, снятом с другого ракурса. Peter Florence et al. / arXiv.org, 2018

Главным результатом работы стало то, что созданный алгоритм можно применять разными способами. К примеру, он может создавать классоустойчивое представление предметов, при котором он получает исходную фотографию конкретного предмета с указанной пользователем точкой захвата, но может распознавать аналогичные точки на других объектах этого же класса. Алгоритму можно дать задание схватить за язычок конкретный ботинок, но он сможет сделать то же самое, если перед ним лежат ботинки с другими формой, цветом и остальными характеристиками. Тем не менее, алгоритм можно обучить «запоминать» конкретный объект. В таком случае он будет распознавать этот предмет даже среди нескольких предметов такого же класса, к примеру, кружек разного размера и цвета.

Разработчики опубликовали исходный код алгоритма и подробные инструкции по его развертыванию и обучению на GitHub, а в будущем планируют также опубликовать уже обученные модели. Недавно заметного успеха в области алгоритмов для захвата предметов достигли инженеры из Австралии. Они создали алгоритм, который самостоятельно находит оптимальную точку захвата для произвольного и незнакомого ему предмета, причем он может захватывать даже двигающиеся объекты. Испытания на двигающихся бытовых предметах, таких как кружка или отвертка, показали, что алгоритм может успешно справляться с задачей в 88 процентах случаев.

Автор: Григорий Копиев