Разработчики Google представили NIMA — глубокую сверточную нейросеть, которая определяет самые качественные фотографии. Алгоритм ее работы, подробно описанный в блоге компании и препринте на arXiv.org, основывается на двух параметрах: технической составляющей фотографии и ее общей эстетике, оцененной человеком.

Современные технологии позволяют делать снимки отличного качества с помощью камеры смартфона и сопутствующих приложений для обработки изображений. Однако, настоящее качество фотоснимка определяется его эстетикой, которая заключается в правильной композиции и хорошо подобранном освещении — параметрах, автоматическое определение которых является сложной задачей. Ранее другая нейросеть Google, Creatism, научилась создавать эстетически качественные фотографии из снимков, сделанных камерами Google Street View. 

Новая нейросеть, созданная Хуссейном Талеби (Hossein Talebi) и Пейманом Миланфаром (Peyman Milanfar) из Google Research, сможет определить лучшие фотографии из тех, которые пользователь сделал сам: NIMA (Neural Image Assessment) натренирована выбирать из серии снимков тот, который обычный пользователь-человек посчитал бы максимально качественными и эстетичными. Для обучения нейросети разработчики использовали базу данных AVA (Aesthetic Visual Analysis), содержащую около 200 тысяч фотографий, каждая из которых оценена профессиональными фотографами по шкале от 1 до 10. Исследователи обучили нейросеть угадывать рейтинг изображения на основе его анализа: NIMA правильно угадывала балл профессиональных фотографов-людей с точностью в 80 процентов.

Примеры изображений из базы данных AVA и рейтинги: NIMA и настоящий (в скобках). Talebi & Milanfar / arXiv 2017

В качестве тренировочной выборки NIMA использовала серию фотографий одного объекта (например, попугаев) и измененной яркостью или четкостью и ранжировала их по рейтингу, тем самым выбирая наиболее качественную. 

Рейтинг разных изображений попугаев по версии NIMA. Talebi & Milanfar / arXiv 2017

По мнению авторов работы, такая нейросеть может использоваться в современных смартфонах: например, выбирать из серии сделанных пользователем фотографий лучшую или определять, какой фильтр или настройки цветопередачи подходят лучше всего.

Недавно разработчики из Бернского университета представили нейросеть для улучшения качества изображений: алгоритм на основа байесовского глубокого обучения может эффективно исправить даже размытые изображения. 

Автор: Елизавета Ивтушок