Новая нейросеть Upscale-A-Video улучшает качество видео

Данный метод получил название Upscale-A-Video. Он позволяет доработать видео после съемки и улучшить его качество. В основу Upscale-A-Video создатели нейросети заложили систему скрытой диффузии с текстовым управлением, которая адаптирована под требования обработки видео.

Эта система помогает решить одну из самых сложных задач - сохранить достоверность и временную согласованность в условиях присущей диффузионным моделям случайности.

Для того чтобы создать реалистичные детали и текстуры, пользователи могут воспользоваться текстовыми подсказками. Также новый фреймворк помогает контролировать уровень шума во время диффузии, помогая сохранять баланс между восстановлением и генерацией по мере необходимости. Данный аспект является одним из ключевых в вопросе баланса между реалистичностью и качеством масштабируемого видео.

Нейросеть показала наилучшие результаты среди похожих инструментов, существующих на данный момент. Upscale-A-Video превосходит существующие методы как в синтетических, так и в реальных бенчмарках, а также в видео, созданных ИИ. На практике инструмент будет полезен в процессе любительского и профессионального монтажа видео.

Ранее издание involta.media сообщило, что нейросеть YandexGPT отвечала на вопросы пользователей на 63% лучше GPT 3.5.