Nvidia представили революционную нейросеть, создающую изображение на основе эскизов

Нейросеть под названием eDiff-I представляет собой диффузионную модель для синтеза изображений с заданным текстом. Руководствуясь тем, что поведение диффузионных моделей различается на разных этапах выборки, учёные решили обучить сразу множество нейросетей, каждая из которых будет подавлять цветовой шум в определённом интервале.

Идея в том, что пользователь прописывает, какую картинку он хочет синтезировать, сопоставляет цвета со словами и рисует схематический набросок необходимого результата. Через пару секунд нейросеть сгенерирует изображение с учетом всех нюансов, прописанных текстовым запросом.

Также eDiff-I может менять стилистику. Одно и то же изображение можно синтезировать в стиле картины Ван Гога, средневековой фрески или старой компьютерной игры.