Швейцарские ученые проанализировали версии языковой модели Llama 2* и выяснили, что обработка запросов, переданных алгоритму от пользователей, происходит на английском языке, даже в том случае, когда запросы формулируются на других языках, пишет "Коммерсантъ".

Анализ стал возможен, так как языковая модель имеет открытый код. Анализ был проведен на всех этапах обработки запроса.

По словам исследователей, алгоритм устроен так, что сначала письменные подсказки переводятся в токены, затем они помещаются в контекст, после чего происходит процесс последовательного формирования ответа. Языковой модели были заданы вопросы на русском, французском и немецком языках. Во всех случаях процесс обработки происходил через английское подпространство.

По мнению швейцарских исследователей, работа языковой модели через подсистемы, использующие английский язык, создает предпосылки к распространению связанных с английским языком мировоззренческих установок и шаблонов. Исследователи полагают, что существуют фундаментальные риски, связанные с распространением генеративных ИИ с англоцентрическими ценностями.

* - продукт компании Meta, которая запрещена в РФ.