Робот EMO научился синхронизировать движения губ с произносимыми словами

Он представляет собой голову с 26 мини-моторами под силиконовой кожей, которые формируют мимику и движения губ. Сначала EMO наблюдал за собой перед зеркалом, совершая тысячи случайных выражений лица. Так он изучал, какие комбинации моторных активаций создают определённые движения. Этот метод называют моделью «от видения к действию» (VLA).

Затем робот анализировал видео на YouTube, чтобы сопоставить движения губ с произносимыми звуками. Искусственный интеллект объединял эти данные с моделью VLA, позволяя EMO воспроизводить движения губ при синтезированном голосе.

Технология пока несовершенна: сложные звуки, например «B» и «W», даются роботу с трудом. По мере практики он станет лучше имитировать речь и вести диалог. Сочетание синхронизации губ и диалогового ИИ создаёт более естественное взаимодействие и помогает передавать эмоциональные оттенки общения.

Ранее издание involta.media опубликовало статью о том, что Boston Dynamics наняла бывшего руководителя программы Optimus из Tesla.