Умные наушники переводят речь собеседников в реальном времени

Исследователи из Вашингтонского университета разработали прототип наушников, способных в режиме реального времени определять количество говорящих людей и переводить их речь.

Устройство создано на базе серийных компонентов: наушников Sony WH-1000XM4 с шумоподавлением и бинауральных микрофонов Sonic Presence SP15C, которые имитируют слух человека. Аудиосигнал обрабатывается нейросетями, работающими на ноутбуке с процессором Apple M2. Задержка перевода — от 1 до 4 секунд, в зависимости от настроек.

Система выделяет отдельные голоса, сохраняет интонацию и учитывает движение головы пользователя. Алгоритмы сканируют окружающее пространство на 360 градусов и адаптируются к изменению числа участников беседы.

В данный момент поддерживаются испанский, французский и немецкий языки. Разработчики планируют расширить функциональность до сотни языков. Технология имеет открытый исходный код.

0 комментариев