Исследователи из NVIDIA представили компактную нейросеть Perfusion

Модели преобразований текста в изображения (T2I) позволили пользователям управлять творческими процессами при помощи естественного языка, открыв новую эру гибкости технологий. Однако персонализировать эти модели для того, чтобы они точно соответствовали визуальному представлению пользователя, было непросто.

Процесс персонализации T2I связан с такими трудностями, как баланс между высоким качеством изображения и творческим контролем, объединение в одном изображении нескольких персонализированных идей и оптимизация размеров модели для эффективного использования.

Для преодоления этих препятствий был разработан кардинально новый метод персонализации - нейросеть Perfusion. Ее технология заключается в том, что она использует в базовой модели T2I динамическое обновление ранга-1. Это позволяет пользователям сохранять достоверность визуализации модели на высоком уровне и при этом творчески влиять на создаваемые изображения.

Одной из самых важных задач Perfusion является предотвращение избыточных подгонок. Для этого был разработан новый механизм блокировки ключей. Он позволяет привязывать к вышестоящей категории ключи перекрестного внимания новых понятий. Это снижает риск перебора и повышает устойчивость модели в целом.

Помимо этого Perfusion использует метод управления рангом-1, который позволяет пользователям отслеживать влияние изучаемых понятий в процессе вывода. Эта сверхмощная функция позволяет сочетать несколько индивидуализированных изображений, чтобы создать разнообразные и фантазийные визуальные эффекты, отражающие вклад пользователя.

Важным достоинством Perfusion является то, что модель слаженно сочетает в себе текстовое согласование и визуальную достоверность, при этом сохраняя компактность. Уже обученная нейросеть имеет размер в 100 Кбайт. Это еще более впечатляет тот факт, что Perfusion меньше современных моделей на 5 порядков.

Эффективность Perfusion заключается не только в ее компактных размерах. Модель может охватить разные рабочие точки по правилу Парето без вспомогательных навыков. Таким образом, пользователь может точно настроить желаемый результат и раскрыть весь потенциал процесса персонализации T2I.

Экспериментальные исследования показали, что нейросеть Perfusion превосходит сильные базовые системы по качественным и количественным показателям. Механизм блокировки ключей стал решающим параметром для новых возможностей, позволив выразить персонализированный характер взаимодействия объектов в совершенно новых формах.

Компактная нейросеть Perfusion продемонстрировала свое мастерство в процессе создания великолепных визуальных композиций даже в одноразовых сценах.