Слуховые аппараты нового поколения позволят читать по губам через маски

Международная команда инженеров и специалистов в области вычислительной техники разработала технологию, которая сочетает радиочастотное зондирование с искусственным интеллектом для определения движений губ.

Система, интегрированная с традиционными технологиями слуховых аппаратов, может помочь устранить так называемый «эффект коктейльной вечеринки» - распространенный недостаток традиционных слуховых аппаратов.

В настоящее время слуховые аппараты помогают людям с нарушениями слуха, усиливая все окружающие звуки вокруг них, что может быть полезно во многих аспектах повседневной жизни.

Однако во время вечеринок широкий спектр усиления слуховых аппаратов может затруднить пользователям фокусировку на определенных звуках, например, разговоре с конкретным человеком.

Одним из потенциальных решений эффекта коктейльной вечеринки является создание «умных» слуховых аппаратов, которые сочетают обычное усиление звука со вторым устройством для сбора дополнительных данных для повышения производительности. В то время как другие исследователи добились успеха в использовании камер для чтения по губам, сбор видеозаписей людей без их явного согласия вызывает опасения по поводу личной неприкосновенности. Камеры также не могут читать по губам через маски, что является повседневной проблемой для людей, которые носят их в эпоху COVID-19.

В новой статье, опубликованной сегодня в журнале Nature Communications, команда под руководством Университета Глазго описывает, как они намерены использовать передовые сенсорные технологии для чтения по губам. Их система сохраняет конфиденциальность, собирая только радиочастотные данные, без сопутствующей видеозаписи.

Чтобы разработать систему, исследователи попросили добровольцев мужского и женского пола повторить пять гласных звуков (A, E, I, O и U) сначала без маски, а затем в ней.

Когда добровольцы повторяли гласные звуки, их лица сканировались с помощью радиочастотных сигналов как от специального радарного датчика, так и от передатчика Wi-Fi. Затем 3600 образцов данных, собранных во время сканирования, были использованы для «обучения» алгоритмов машинного обучения и глубокого обучения распознаванию характерных движений губ и рта, связанных с каждым гласным звуком.

Поскольку радиочастотные сигналы могут легко проходить через маски добровольцев, алгоритмы также могут научиться считывать формирование гласных у пользователей в масках.

Система оказалась способной правильно читать по губам добровольцев большую часть времени. Данные Wi-Fi были правильно интерпретированы алгоритмами обучения до 95% времени для немаскированных губ и 80% для замаскированных. Между тем, данные радара были правильно интерпретированы до 91% без маски и в 83% случаев с маской.