Нейросеть научилась превращать одиночную фотографию в трехмерную модель
Друзья, с момента основания проекта прошло уже 20 лет и мы рады сообщать вам, что сайт, наконец, переехали на новую платформу.
Какое-то время продолжим трудится на общее благо по адресу
На новой платформе мы уделили особое внимание удобству поиска материалов.
Особенно рекомендуем познакомиться с работой рубрикатора.
Спасибо, ждём вас на N-N-N.ru
Команда ученых из Университета южной Калифорнии разработала программу, которая позволяет создавать реалистичные трехмерные изображения лица по одной фотографии. Статья исследователей доступна на сайте ArXiv.
Обычно при создании «виртуальных масок» дизайнеры используют качественные фотографии, сделанные в нескольких ракурсах при идеальном освещении. Это необходимо для того, чтобы передать все особенности лица человека, включая его асимметрию, изгибы и мелкие детали, например родинки. Американские ученые предложили метод, который позволяет использовать для этих целей всего один непрофессиональный снимок, сделанный в повседневной обстановке. Для этого они задействовали нейросеть.
Дональд Трамп в молодости. Shunsuke Saito et al / ArXiv.org
Сначала исследователи разработали модель, которая умеет «считывать» форму лица по фото и создавать для него карту альбедо (albedo map), определяющую диффузный цвет (он виден при освещении предмета белым светом). После этого они использовали предварительно подготовленную сверточную нейросеть VGG-19, которая анализировала заготовки лиц и подбирала к ним реалистичные текстуры. Как сообщают авторы статьи, при выполнении этой задачи она опиралась на существующую базу данных лиц, в которой собраны фотографии мужчин и женщин разного возраста и разной национальности.
Разработчики протестировали работу системы, взяв фотографии нескольких знаменитостей и создав для них трехмерных аватаров. Виртуальные двойники появились у Дональда Трампа, Джека Ма, Мохаммеда Али, Иэна Кертиса, а также других известных людей.
Аватар Иэна Кертиса. Shunsuke Saito et al / ArXiv.org
Аватар Мохаммеда Али. Shunsuke Saito et al / ArXiv.org
Джек Ма, Хилари Клинтон и Иэн Кертис. Shunsuke Saito et al / ArXiv.org
Кроме того, исследователи попросили 150 добровольцев оценить реалистичность 11 трехмерных моделей. Испытуемым показывали фотографию «поделенного» пополам лица человека: левая половина всегда была настоящей (ее брали из ранее использованной базы данных для подбора текстур), а правая могла быть как реальной, так и сгенерированной нейросетью. Участникам надо было определить, является ли правая половина лица маской, созданной компьютером.
Тесты показали, что цифровая модель была очень похожа на лица живых людей. Примечательно то, что для получения такого результата хватило одной фотографии. Технология может быть использована в будущем для создания VR-аватаров или для усовершенствования онлайн-игр.
Недавно лаборатория Disney Research представила метод создания виртуальной «вставной челюсти», который тоже подразумевает использование всего одной фотографии. Исследователи надеются, что это поможет сделать нарисованных персонажей более реалистичными. Daydream Labs, в свою очередь, выпустила прототип аватара для виртуальной реальности, у которого есть глаза.
Автор: Кристина Уласович
- Источник(и):
- Войдите на сайт для отправки комментариев