Ученые из Университета Васэда создали систему искусственного интеллекта на базе сверточных нейронных сетей, которая может раскрашивать черно-белые фотографии без вмешательства человека. Работа авторов доступна на сайте университета.

Основная проблема раскрашивания фотографий ранее заключалось в том, что для того, чтобы добиться правдоподобного цвета, необходимо было участие человека. Однако ученые создали систему искусственного интеллекта, которая способна самостоятельно анализировать изображение и выбирать подходящие цвета.

Satoshi Iizuka et al / Waseda University, 2016

Результаты использования нейросети. Satoshi Iizuka et al / Waseda University, 2016

Результаты использования нейросети. Satoshi Iizuka et al / Waseda University, 2016

Система состоит из четырех связанных компонентов: сети функций низкого уровня, сети функций среднего уровня, сети глобальных функций и раскрашивающей сети. На вход подается изображение — по словам исследователей, оно может быть любого размера, но лучше всего обрабатываются фотографии с разрешением 224х224 пикселей — и нейросеть идентифицирует его тип. Например, если она определяет, что фотография была сделана в помещении, то компонентам будет дана команда не использовать цвета неба или цвета травы, а вместо этого использовать цвета, характерные для мебели. Также нейросеть распознает, что именно изображено — например, дерево, здание или человек — и подбирает характерный для объекта цвет.

Архитектура нейросети. Satoshi Iizuka et al / Waseda University, 2016

Для того чтобы натренировать нейросети, ученые преобразовывали цветную картинку в черно-белую, подавали ее на вход, затем вычисляли среднеквадратическую ошибку при обработке изображения и давали обратную связь. Для обучения они использовали 2,5 миллиона фотографий из базы данных классифицированных изображений и 20 тысяч фото из этой же базы для тестов. В результате, по оценкам пользователей, исследователям удалось добиться натуральности цвета в 92,6 процентах случаев.

Перенос стилей фотографии. Satoshi Iizuka et al / Waseda University, 2016

Система искусственного интеллекта, кроме того, может использовать входные данные одного изображения для раскрашивания другого, что позволяет переносить стиль на фотографию.

Основное ограничение состоит в том, что нейросеть может раскрашивать только те изображения, которые имеют сходные признаки с теми, что использовались для обучения. Для переноса стилей желательно, чтобы два изображения были сходны по содержанию.

Ранее исследователи из Калифорнийского университета в Беркли также создали программу, способную реалистично раскрашивать черно-белые фотографии. Они использовали сверточную нейронную сеть (CNN), для обучения которой использовались готовые классифицированные наборы изображений. При оценке результатов работы программы участники опроса в 20 процентах случаев посчитали, что снимки раскрашены человеком.

Автор: Кристина Уласович