Исследователи «декодируют» объекты и ландшафты из воображаемых образов на основе активности мозга. Ученые из Национального института квантовой науки и технологий (QST) и Университета Осаки разработали подход для распознавания с помощью ИИ сложных визуальных образов на основе анализа функциональной магниторезонансной томографии (фМРТ) мозга. По словам исследователей, подход можно будет использовать для изучения иллюзий, галлюцинаций и снов.

Исследователи показали участникам около 1200 изображений, а затем проанализировали и количественно оценили корреляцию между сигналами мозга и зрительными стимулами с помощью фМРТ. Карты связей ученые использовали для обучения генеративного ИИ расшифровке и воспроизведению мысленных образов на основе активности мозга.

В предыдущих исследованиях различные группы ученых воссоздавали изображения, которые видели люди, путем анализа активности их мозга. Но сделать то же самое с мысленными образами было слишком сложно. Немногочисленные публикации ограничивались простыми изображениями — буквами или геометрическими фигурами.

Принцип обучения нейросети (а) и декодирования изображений (б). Иллюстрация: Naoko Koide-Majima et al., Neural Networks

Метод, предложенный японскими исследователями, предполагал восстановление как картинок, которые участникам показывали во время сканирования, так и тех, что их просили представить. Правда, для эксперимента участники должны были представлять изображения, которые им показывали раньше.

Результаты показали, что хотя анализ активности мозга и не воспроизводит в точности исходную картинку, тем не менее получившиеся яркие изображения содержат отчетливые детали исходных снимков. Дальнейшее развитие технологии найдет применение для изучения работы мозга и медицинских исследований, полагают ученые.