Alibaba выпустила нейросеть, анимирующую фото людей

При загрузке пользователем изображения в EMO она создает объекту на фото реалистичную мимику и добавляет голове движения. Также нейросеть генерирует звуковое сопровождение, которое соответствует движениям. В результате объект на фото начинает говорить и петь, таким образом из фото создается видеоряд.

Такого эффекта удается достичь благодаря встроенной в ИИ-модель функции прямого синтеза из фото в видео. В процессе генерации нейросеть обходит такие промежуточные этапы, как создание 3D-моделей или лицевых опорных точек.

Отметим, что EMO в процессе работы учитывает индивидуальные особенности объекта на изображении, такие как форма рта человека. Данный метод позволяет передавать уникальные движения и особенности личности через речь.

EMO проходила обучение на данных, которые включают 250 часов видеозаписей выступлений, фильмов, телешоу и концертов настоящих людей.

По мнению исследователей Alibaba, ИИ-модель показывает наилучшие результаты по "оживлению" картинок среди конкурентов. Разработчики добавили, что единственной проблемой, которая может быть связана с EMO, является злоупотребление моделью и создание дипфейков с ее помощью.

Ранее мы сообщали, что нейрочип позволил управлять гаджетами силой мысли пациенту с заболеванием Стивена Хокинга.