Браслет с камерами на одной руке построил 3D-модель всего тела Точность модели достигает 6,3 сантиметра

Инженеры создали браслет, способный создавать 3D-модель всего тела. В нем используются камеры, направленные в сторону тела, и нейросеть, которая создает по снимкам модель тела. Статья о разработке опубликована в Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies.

Системы захвата движений позволяют создавать цифровую модель тела человека, которую удобно использовать, например, для создания виртуальных аватаров в играх или кино. Эти системы можно разделить на два основных типа. Первые используют внешние датчики, а в некоторых случаях еще и визуальные маркеры на человеке. Вторые же не требуют внешних устройств и крепятся на теле или одежде. Второй подход гораздо удобнее и универсальнее, но в то же время он технически сложнее.

Часть разработчиков реализует второй подход с помощью устройств, создающих модель тела по косвенным данным. Так, мы рассказывали о том, как это удалось сделать по двум браслетам с акселерометрами и ботинкам с датчиками давления.

Инженеры под руководством Чэн Чжан (Cheng Zhang) решили использовать для создания модели тела визуальные данные, но размещать камеры не отдельно от человека, а прямо у него на запястье. Авторы предполагают, что такое устройство можно было бы реализовать в виде умных часов. Прототип же представляет собой браслет с несколькими камерами (от одной до четырех) и блоком с микроконтроллерами и аккумуляторами, который нужно держать в руке.

braslet1.pngHyunchul Lim et al. / Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 2022

Алгоритм работает следующим образом. Сначала на каждом кадре размечается область, на которой есть человек. Затем он подается на сверточную нейросеть, причем, если используется несколько камер, то кажды с каждой обрабатываются параллельно отдельными «ветвями». На последнем этапе данные с каждой «ветви» объединяются и алгоритм выдает модель из 13 ключевых точек тела.

braslet2.pngСхема работы алгоритма / Hyunchul Lim et al. / Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 2022

Данные для обучения разработчики собрали с помощью отдельной камеры глубины, которая снимала все тело одновременно со съемкой на камеры в браслете, и алгоритма, создающего из кадров аналогичную 3D-модель. Таким образом авторы собрали датасет для обучения из сырых данных с камер браслета и соответствующих им 3D-моделей.

Тестирование показало, что камер только на одной руке достаточно, для создания относительно точной 3D-модели человека: при использовании одной камеры точность составляет 6,9 сантиметра, а с четырьмя камерами она повышается до 6,3 сантиметра.

Пожалуйста, оцените статью:
Пока нет голосов
Источник(и):

N+1