Машинное (радио)зрение видит сквозь стены

Про радиозрение команды лаборатории CSAIL (Computer Science and Artificial Intelligence Lab) уже писали на Хабре (раз и два), сегодня немного свежих подробностей. Алгоритм использует радиоволны, а не видимый свет, чтобы определить, что люди делают, не показывая, как они выглядят.

Машинное зрение имеет впечатляющий послужной список. Оно обладает сверхчеловеческой способностью распознавать людей, лица и предметы. Оно может даже распознавать различные виды действий, хотя и не так хорошо, как люди.

Но его производительность ограничена. Особенно трудно машинному зрению тогда, когда люди, лица или предметы частично закрыты. И когда уровень освещенности падает до 0, они, как и люди, практически слепы.

Но есть и другая часть электромагнитного спектра, которая не настолько ограничена. Радиоволны заполняют наш мир, будь то ночь или день. Они легко проходят сквозь стены, передаются и отражаются человеческими телами. Действительно, исследователи разработали различные способы использования радиосигналов Wi-Fi, чтобы видеть за закрытыми дверями.

Но у этих систем радиовидения есть некоторые недостатки. Их разрешение низкое, изображения шумные и заполнены отвлекающими переотражениями, что затрудняет понимание происходящего.

В этом смысле радиоизображения и изображения в видимом свете имеют свои дополнительные преимущества и недостатки. И это повышает вероятность использования сильных сторон одного для преодоления недостатков другого.

radiozrenie1.pngСлева два человека жмут руки, причем один из них за стеной от камеры. Справа человек в темноте кидает предмет человеку, который звонит по телефону. Снизу — сгенерированная скелетная модель и предсказание действий.

Познакомьтесь с Tianhong Li и его коллегами из MIT, которые нашли способ научить систему радиовидения распознавать действия людей, обучая ее с помощью изображений в видимом свете. Новая система радиовидения позволяет увидеть, чем занимаются люди в широком диапазоне ситуаций, когда визуализация в видимом свете невозможна.

«Мы внедряем модель нейронной сети, которая может обнаруживать действия человека через стены и окклюзии, а также в условиях плохого освещения», — говорят Ли и Ко.

Подробнее
Пожалуйста, оцените статью:
Ваша оценка: None Средняя: 4.5 (2 votes)
Источник(и):

Хабр