Ученые из Google совместно с японскими исследователями разработали модель ИИ Brain2Music, которая позволит записывать музыку из мыслей. Прогресс был достигнут в лабораторных условиях, для создания модели ученые использовали человеческие мозговые волны.

Как работает модель

Ученые воспроизвели музыкальные семплы в 10 жанрах для пяти человек. В процессе прослушивания специалисты наблюдали за мозговой активностью испытуемых при помощи МРТ.

Далее полученные показания использовались для обучения глубокой нейросети, которая идентифицировала мозговую активность, которая была связана с различными характеристиками музыки (жанр, настроение, инструментовка).

Далее ученые использовали модель MusicLM, которая была разработана Google. Она способна генерировать музыку исходя из текстовых описаний и тоже может измерять музыкальные факторы.

База данный платформы MusicLM была связана с показаниями МРТ. Это позволило модели ИИ реконструировать музыку, которую прослушивали испытуемые. Таким образом контекст для воспроизведения музыки был передан с помощью мозговой активности, а не текста.

Модель получила название Brain2Music.

Источник: https://techxplore.com/

Со слов исследователей, сгенерированная музыка похожа на музыкальные стимулы, которые чувствуют люди. Также таким способом удалось определить области мозга, которые отражают исходящую из текста информацию.

Brain2Music смогла создать удивительно похожие на представленные испытуемым отрывки из песен на основе мозговых волн. Например, одной из песен для прослушивания была "Oops!…" Бритни Спирс, и модель ИИ воссоздала звук и инструментал, но текст получился смазанным.

Будущее модели

На данный момент ИИ пока не может идеально синтезировать музыку из мозговых волн, но новое исследование показало, что со временем это станет реальностью. Дальнейшая работа над инструментом поможет улучшить временную согласованность между реконструкцией и стимулом.

Также ученые считают, что с течением времени ИИ научится синтезировать музыку прямо из воображения человека. Это поможет авторам песен просто представить ее в голове и получить готовую запись, которую нужно будет немного доработать.