Ученые разработали роботизированный датчик, который распознает шрифт Брайля в два раза быстрее, чем большинство людей. Для этого он использует не только необычные тактильные сенсоры, но и высокоэффективную нейросеть.

Робототехника активно развивается, и задачи, которые стоят перед ней, требуют создавать алгоритмы, наделенные некоторыми свойствами человеческого организма. Например, для автоматизации доставки нужно улучшать способность роботов ориентироваться в пространстве. А чтобы осваивать ресурсы океанов, необходимо научить роботов проводить «тактильное зондирование», то есть определять объекты с помощью прикосновений. Ученые уже разработали «магнитную кожу», которая позволяет это делать: с ее помощью алгоритм способен как минимум различать одушевленные и неодушевленные предметы.

Благодаря чувствительности пальцев человек получает огромное количество информации об окружающем мире. Мягкость кожи при этом позволяет регулировать взаимодействие со средой: например, силу, с которой люди сжимают предметы. Создать технологию, у которой будут оба этих свойства одновременно, сложно. Однако ученым из Кембриджского университета (Великобритания) это удалось на высоком уровне.

В статье, которую опубликовал журнал IEEE Robotics and Automation Letters, исследователи описали роботизированный датчик, распознающий шрифт Брайля точнее и быстрее аналогов. Его предшественники читали по одной букве и отрывались от поверхности после каждого символа — люди воспринимают текст на Брайле не так.

Новая технология работает со шрифтом почти как человек, но в два раза быстрее. Для распознавания шрифта Брайля использовали нейросетевую модель YOLO v8, относительно нетребовательную к вычислительным ресурсам. По словам ученых, робот обрабатывает информацию с камеры и сенсорных датчиков одновременно, но когда он двигается, то изображение размывается, распознать буквы становится трудно. Чтобы избежать этой проблемы, исследователи обучили модель на искусственно размытых текстах, которые написаны шрифтом Брайля. Благодаря технологии компьютерного зрения алгоритм смог обнаруживать и классифицировать каждый символ.

Тестировали получившегося робота, быстро перемещая по строкам текста на Брайле. Датчик считывал 315 слов в минуту с точностью 87%. Это в два раза быстрее большинства людей, которые понимают шрифт, и почти с таким же количеством ошибок. Ученые отметили, что при использовании искусственного размытия такой результат можно считать удивительным.

Изначально технология не задумывалась как вспомогательная: чтение шрифта Брайля — просто эффективный способ протестировать чувствительность датчика. Подобные разработки полезны, например, для протезов с искусственной кожей, а также для приложений, которые определяют текстуру поверхности. Тем не менее итоговый алгоритм может стать помощником для слабовидящих людей: ученым удалось достичь баланса скорости и точности, показатели которых близки к человеческим.