Китайские ученые представили неинвазивный нейронный декодер MindGPT

Впервые осуществлена попытка создать декодер, способный восстанавливать восприятие речи, в том числе даже в немых фильмах.

Для того чтобы предугадать тонкую семантическую связь между словами и их реакциями на мозг, необходимо провести большое количество исследований при помощи функциональной магнитно-резонансной томографии (фМРТ).

Вместо этого ученые изучили, являются ли (и в какой степени) амодальные языковые карты семантически маркированными статичными визуальными сенсорными впечатлениями, к примеру, одним изображением.

Сначала в качестве генератора текста решили применить большую языковую модель GPT-2, предварительно обученную на наборе данных WebText. С ее помощью можно ограничивать шаблоны предложений, чтобы они стали похожи на сформированный естественный язык.

После этого нужно было избавиться от смыслового разрыва между языковыми и визуальными представлениями мозга. Для это использовался фМРТ-кодер с перекрестными слоями внимания, которые управляются CLIP. Легкой и эффективной эту нейронную формулу декодирования делает очень малое число обучаемых параметров.

Исследователи выяснили, что даже при минимальном количестве данных для обучения фМРТ-картинкам хорошо обученный MindGPT способен регистрировать визуальные подсказки изображений.