Disney научила алгоритм читать сценарий и «снимать» по нему видео
Исследователи из Disney Research разработали алгоритм, способный создавать короткие анимационные ролики на основе сценария, написанного естественным языком.
Во время работы алгоритм упрощает исходные предложения, а затем сопоставляет каждый объект или действие с аналогами, имеющимися в его библиотеке, и создает на их основе 3D-анимацию, рассказывают авторы статьи , опубликованной на arXiv.org.
Ученые начали решать проблему синтеза изображений или видеозаписей на основе текстового описания достаточно давно, однако пока эта технология находится на начальном этапе развития и ее реализации обладают множеством недостатков. Эту проблему можно разбить на две основные части: обработка естественного языка, позволяющая компьютеру понимать смысл сказанного человеком, а также создание кадров.
При обработке речевой последовательности от человека компьютер пытается понять структуру предложений, а также соотношение между словами в нем, а затем на основе этих знаний выполнить следующую задачу. В данном случае такой задачей является синтез реалистичного изображения или видеоролика, в котором объекты действуют в соответствии с исходным сценарием.
- Источник(и):
- Войдите на сайт для отправки комментариев