Группа ученых в Массачусетском технологическом институте (MIT) разработала нейронную сеть, которая может читать статьи, заполненные специальной терминологией, и составлять к ним простое резюме в одном или двух предложениях. О своей работе они рассказали в журнале Transactions of the Association for Computational Linguistics.

Нейронные сети в целом испытывают трудности с сопоставлением информации, разнесённой в больших массивах данных (или долговременных зависимостей), но именно это необходимо для «осмысления» научной статьи. Их способность к реальной обработке естественного языка ненамного улучшают и предлагавшиеся до сих пор методы, такие как долгая краткосрочная память (LSTM) и управляемые рекуррентные нейроны (GRU).

Команда MIT разработала альтернативный подход, который базируется не на перемножении матриц (как в большинстве обычных нейросетей), а на векторах, вращающихся в многомерном пространстве. Своей ключевой концепции они дали название Вращающийся Блок Памяти (Rotational Unit of Memory, RUM).