Представлен новый инструмент Google StyleDrop, генерирующий изображения из текста

Примерно за три минуты StyleDrop генерирует изображения, соответствующие указанным пользователем параметрам. Оно также способно создавать типографику, которая точно передает стилистические особенности изображений.

Например, пользователь может запросить изображение моста и указать желаемый стиль рисовки. Стили могут включать "плавление золотого рендеринга", "деревянная скульптура", "3D-рендеринг", "мультипликационная техника" и другие. Возможности ограничены только воображением.

После этого StyleDrop создаст впечатляющие визуализации объектов в выбранном стиле, например, мост в стиле Дали с использованием эффектов капель или же его мультяшную версию. То же самое можно сделать и с буквами, чтобы они отражали те же характеристики стиля.

StyleDrop работает в сотрудничестве с Google Muse, генеративным трансформатором зрения, который был представлен ранее в этом году и обладает высокой степенью фотореализма. Muse прошла обучение на наборе данных, состоящем из 3 миллиардов параметров, что позволяет ей генерировать изображения высокого качества.

Исследователи оценили точность и качество результатов StyleDrop, используя стандартную метрику CLIP для оценки соответствия текста и стиля, а также учитывая отзывы пользователей. Проведенные оценки показали, что StyleDrop "убедительно превосходит" другие ведущие методы создания изображений и текста, такие как DreamBooth, Imagen и Stable Diffusion.

Разработчики рассматривают эту программу, которая пока не была выпущена для широкой публики, как ценнейшую помощь для арт-директоров и графических дизайнеров. Они могут использовать ее для создания фотореалистичных изображений определенных продуктов или концепций, включая текст, который передает одинаковые цвета, структуру и стиль.

Для примера можно представить, что есть продуктовая компания, которая выпускает новый бренд газировки. Художник может в нескольких словах описать стеклянную бутылку с гладкими формами, окруженную тысячами тюльпанов на голландском поле, а сопроводительный текст будет состоять из букв, выполненных в 3D-графике в стиле импрессиониста Моне. За три минуты, с правильной формулировкой, можно создать новую рекламную кампанию с теплым, ярким, живописным изображением небоскреба.

Однако в докладе признается, что проблема защиты авторских прав является актуальной. В нем отмечается, что разработчики осознают возможные трудности, связанные с возможностью копирования стилей отдельных художников без их согласия, и настоятельно призывают использовать их технологию без нарушений авторских прав.

Данное признание указывает на осознание разработчиками потенциальных этических и юридических проблем, которые могут возникнуть при использовании такой технологии.