ИИ-модель MindSpeech декодирует мысли в текст с рекордной точностью

Исследование было основано на использовании системы функциональной ближней инфракрасной спектроскопии (fNIRS), которая позволяет неинвазивно мониторить мозговую активность. Во время эксперимента участники представляли себе предложения по заданным темам, а система фиксировала связанные с этим мозговые сигналы.

Затем эти сигналы поступали в ИИ-систему, построенную на основе модели Llama2 Large Language Model (LLM), которая использовала их для генерации текста. Этот процесс включал преобразование мозговых сигналов в текстовые «вставки», которые направляли работу языковой модели, помогая ей формировать связные предложения, соответствующие воображаемой речи участников.

Результаты исследования оказались впечатляющими: MindSpeech смог декодировать воображаемую речь с высокой степенью точности. Например, для одного из участников модель достигла оценки BLEU-1 в 0,265, что значительно превышает случайные значения.

Эти результаты показывают, что MindSpeech способна интерпретировать сложные мысли и преобразовывать их в связный текст, что открывает новые горизонты для взаимодействия с ИИ. В будущем такая технология может применяться для улучшения вспомогательных средств коммуникации для людей с нарушениями речи, а также для создания более естественных интерфейсов мозг-компьютер.

Хотя MindSpeech уже показал значительные результаты, впереди еще много работы. Следующим шагом будет улучшение чувствительности и обобщаемости модели, а также ее адаптация для более широкого круга пользователей и реальных приложений. Развитие этой технологии обещает приблизить людей к созданию универсального интерфейса для телепатической связи с ИИ, что может кардинально изменить способы взаимодействия с технологиями в будущем.

Источник: unite.ai