Новая BCI-система позволяет парализованным людям говорить и петь без задержек

Технология была испытана на пациенте с боковым амиотрофическим склерозом. Система считывает необработанные нейронные сигналы с четырёх микроэлектродных массивов, имплантированных в зону мозга, контролирующую движение органов речи. Сигналы обрабатываются с минимальной задержкой и преобразуются в голос через алгоритмы искусственного интеллекта.

В отличие от попыток читать мысли, устройство интерпретирует команды мозга, связанные с движением мышц при речи. Голос пользователя воспроизводится с помощью технологии клонирования, обученной на записях, сделанных до развития болезни. Вся процедура от считывания сигналов до синтеза речи занимает менее 10 миллисекунд, что обеспечивает практически мгновенный отклик.

Помимо речи, система распознаёт попытки пользователя петь, определяя три заданные ноты и модулируя голос для создания мелодий. При этом технология учитывает интонационные особенности, включая вставки междометий и выделение слов, а также различает вопросительные и утвердительные предложения. Модель успешно воспроизводит даже неучтённые в обучении слова, повышая выразительность синтезированной речи.

Исследователи подчёркивают, что на данный момент технология опробована только на одном пациенте и планируют расширить испытания на большее число людей с разными нарушениями речи.