Google представил ИИ-модель для генерации видео по тексту

Компания Google представила новый инструмент, с помощью которого пользователи могут генерировать видео из текстового запроса. ИИ-модель получила название Google Lumiere, и, по первым отзывам, превосходит аналогичные инструменты.

Lumiere отличается от конкурентов способностью преобразовывать статичные слова в динамичный, связный и визуально интересный контент. Другие ИИ-модели, созданные для тех же целей, обычно генерирует случайные клипы.

Также Lumiere, в отличие от аналогов, генерирует целое видео за один проход. Остальные нейросети для генерации видео создают несколько ключевых кадров, а затем работают с ними.

Нейросеть от Google предлагает несколько режимов:

- Преобразование текста в видео;

- Конвертирование статических изображений в динамические;

- Создание видеороликов в заданном стиле на основе образца;

- Редактирование существующих видео по письменным подсказкам;

- Анимация определённых областей статического изображения или видео;

Модель была обучена на наборе данных, который включил 30 млн видеороликов с текстовыми описаниями. Конечное видео будет иметь длину 80 кадров с частотой 16 кадров в секунду. Итоговый ролик будет длиться 5 секунд, разрешение - 1024 × 1024 пикселей.

Ранее издание involta.media опубликовало статью о том, что новое ИИ-приложение Alinea будет помогать пользователям с инвестициями.

0 комментариев