ИИ Google создает краткие пересказы любого текста
Алгоритм SummAE подходит для работы с любым типом текстов — от новостей до художественной прозы. Успехи даже нынешней «сырой» версии уже впечатляют специалистов.
Современные алгоритмы уже способны создавать краткие пересказы новостей. Судя по всему, это связано с обилием примеров для тренировки. Однако с другими типами текстов искусственный интеллект пока справляется намного хуже, отмечает Venture Beat.
Важный шаг в разработке универсального алгоритма для написания кратких резюме сделали сотрудники исследовательского проекта Google Brain. Они создали нейросеть под названием SummAE, которая работает без вмешательства человека.
Алгоритм сначала переводит тексты в цифровой вид, а затем на основе этих данных генерирует краткий пересказ. Благодаря двум системам шумоподавления ИИ создает достаточно сложные словосочетания. Это достигается за счет изменения порядка предложений в абзацах и произвольной маскировки отдельных фрагментов текста.
Работу трех вариантов SummAE протестировали на корпусе прозы ROCStories. 98 159 текстов разделили на три группы — набор для обучения, набор для проверки и набор для теста. Для примеров, относящихся к двум последним группам, исследователи подобрали по три написанных человеком резюме.
После 100 000 этапов обучения лучшая версия SummAE достигла значительных успехов. 80% добровольцев, участвовавших в работе над оценкой алгоритма, отметили высокое качество сгенерированных резюме. Тем не менее, авторы отмечают, что SummAE — всего лишь первый этап в работе над проектом и нуждается в усовершенствовании. Помочь с этим может каждый: набор данных и код алгоритма доступны на GitHub.
- Источник(и):
- Войдите на сайт для отправки комментариев