Японские исследователи создали AI-инструмент AniFaceDrawing для рисования аниме

Новый инструмент ИИ предлагает помощь в создании аниме-портретов на основе рукописных набросков. Этот инструмент, разработанный на основе платформы глубокого обучения "от эскиза к изображению" (S2I), использует двухэтапную стратегию. Стратегия сочетает в себе предварительно обученную сеть генерации состязательных стилей (StyleGAN) с новой "развязкой на уровне штрихов". Это позволяет связать вводимые штрихи эскизов с атрибутами в скрытом структурном коде StyleGAN.

Пользователи этого инструмента могут легко манипулировать параметрами атрибутов, что дает им большую автономию в создании изображений. Эта стратегия обучения позволяет автоматически сопоставлять грубые наброски с редкими штрихами аниме-портретов без необходимости в семантических метках.

Процесс обучения включал создание кодировщика изображений на основе предварительно подготовленной модели StyleGAN и моделирование рисования изображений без дополнительных данных для обучения кодировщика эскизов. Это позволило создать высококачественные портреты, которые соответствуют различным представлениям учителя-кодировщика.

Создатели инструмента AniFaceDrawing провели исследование с привлечением пользователей для проверки его эффективности и удобства. Команда провела эксперимент, в котором 15 аспирантов создавали цифровые аниме-портреты с помощью инструмента.

Участники имели возможность переключаться между режимами грубого и детального наведения для рисования линий. Инструмент предоставлял подсказки для конкретных частей лица и портрета в полный рост.

Результаты исследования показали, что система всегда обеспечивала высококачественные аниме-портреты и успешно улучшала пользовательские эскизы. Участники оценили инструмент положительно и посчитали его удобным и соответствующим их ожиданиям.

Отметим, что даже новички могут создавать высококачественные цветные рисунки с помощью этой системы. В будущем эти результаты могут содействовать демократизации искусственного интеллекта, помогая пользователям преодолевать технологические барьеры и расширяя их творческий потенциал при решении задач.