Обречены ли модели искусственного интеллекта всегда галлюцинировать?

Большие языковые модели часто галлюцинируют – придумывают что-то, что не соответствует действительности. Это происходит, потому что искусственный интеллект постоянно обучается и дорабатывается. Но можно ли решить эту проблему?

«Галлюцинации» LLM (больших языковых моделей) могут быть безобидными – например, утверждение, что мост Золотые Ворота в 2016 году был перевезен через Египет, а могут вызывать серьезные опасения. Ошибки искусственного интеллекта можно использовать для распространения вредоносного кода среди ничего не подозревающих разработчиков ПО, а неправильные медицинские советы приводят к неприятным последствиям.

Дело в том, что генеративный ИИ не обладает интеллектом, а представляет собой статистическую систему, которая предсказывает слова, музыку, изображения и другие данные на основе закономерностей, выведенных из общедоступных данных. Поэтому языковые модели могут генерировать что-то грамматически правильное, но бессмысленное, или распространять неправду из-за неточностей в обучающих данных. Это происходит не злонамеренно, а потому, что для ИИ нет понятия истинного или ложного.

Инженер Института искусственного интеллекта Аллена Ву Ха утверждает, что есть реальные способы уменьшить галлюцинации, хотя и не избавиться от них полностью. Например, для вопросно-ответной системы можно добиться высокой точности ответов. Но для этого нужна качественная база знаний, соединенная с LLM.

«Любая развернутая система на основе LLM будет галлюцинировать. Реальный вопрос заключается в том, перевешивает ли польза негативный результат. Если модель не причиняет очевидного вреда, но в остальном она полезна, то, возможно, компромисс стоит того», — объяснил Ву Ха.

Другой способ – обучение с подкреплением на основе обратной связи с человеком (RLHF). В этом случае подсказки из предопределенного набора данных передаются через LLM для создания нового текста. Затем люди-аннотаторы ранжируют результаты LLM с точки зрения их общей «полезности». На основе оценок ответы, генерируемые LLM, определяются как «хорошие» и «плохие».

В целом необходимо учитывать, что люди тоже иногда «галлюцинируют» – когда неправильно запоминают и искажают факты. Поэтому удивительно ожидать идеальных ответов от модели, обученной человеком. Остается лишь скептически относиться к «предсказаниям» больших языковых моделей и продолжать работать в направлении совершенствования систем.

0 комментариев