Американские разработчики научили нейросеть достоверно раскрашивать вставленные в картины сторонние объекты — в качестве одного из примеров авторы пририсовали Моне Лизе лицо Бенедикта Камбербэтча.Задача выполняется в три шага: вставка объекта, раскрашивание и коррекция текстуры.

Препринт статьи с описанием работы алгоритма доступен на arXiv.org.

Добавить сторонний объект в фотографию — задача достаточно простая: с ней давно умеют справляться современные графические редакторы. Однако у подобного «дорисовывания» есть важное ограничение: объект нужно не только вставить, но и соблюсти стиль всего произведения. Вручную это сделать очень сложно: допустим, если мы хотим вставить домик на картину Моне, необходимо будет нарисовать его в стиле импрессионизма, а также подобрать цвета так, чтобы он достоверно сливался с окружением (фоном) картины. Сейчас существуют специальные алгоритмы, которые позволяют представить фотографии в определенном художественном стиле, но с задачами локальной разрисовки они справляются плохо.

Для того, чтобы решить эту задачу, разработчики из Корнеллского университета и Adobe Research под руководством Фужуна Луана (Fujun Luan) представили алгоритм, который может достоверно вставлять объекты в картины, сохраняя при этом стилистику целевого произведения. Алгоритм работает в три шага. Первый — самый простой — вставляет нужный объект на картину. Во время второго шага происходит первое раскрашивание вставленного объекта: с помощью метода k-ближайших соседей цвет объекта сопоставляется с цветом окружения и раскрашивается соответствующим образом. Во время третьего шага алгоритм восстанавливает текстуру объекта в соответствии с фоном и избавляет конечный продукт от возможных артефактов — также с помощью ближайших соседей.

Изображения на трех этапах работы алгоритма / Luan et al. / arXiv 2018

В результате исследователям удалось научить нейросеть достоверно переносить объекты на изображения разных стилей. Авторы работы отмечают, что высокого качества по сравнению с другими алгоритмами, представленными ранее, им удалось добиться благодаря переносу стиля не между обширными областями изображения (в этом случае объект смешивается с фоном), а локально — как сравнивая по стилю объект и ближайший к нему фон, так и меняя стиль самого объекта внутри.

Предложенный метод (крайний справа) в сравнении с другими алгоритмами переноса стилей / Luan et al. / arXiv 2018

Результаты работы (17 созданных картин) затем показали добровольцам вместе с похожими картинами, созданными с помощью других подходов. В большинстве случаев (15 из 17) участники опроса считали достоверным перенос объекта, сделанный при помощи нового алгоритма.