Блог компании RUVDS.com. Метод обратной диффузии поистине является самым нашумевшим в этом году методом генерации изображений нейросетями. Его используют: DALLE 2, Midjourney, imagen и другие актуальные модели 2022 года.

В данной статье мы подробно изучим, что под капотом самых современных генеративных моделей и даже напишем небольшую свою.

Под катом будет много кода, программирования, математики, в общем — всё, как вы любите.

Диффузионные модели являются генеративными моделями, что означает использование их для создания данных, подобных тем данным, на которых они обучаются.

Общая концепция обучения:

1. Берём начальное изображение
2. Итеративно добавляем Гаусовский шум, пока от исходного ничего не останется, только каша из пикселей
3. Обучите модель шумоподавления приводить эту кашу к результату, похожему на исходное изображение

Общая концепция генерации: создайте чистый Гаусовский шум и дайте его обученной модели шумоподавления, чтобы получить абсолютно новое изображение