Новые модели OpenAI генерируют ложные данные в два раза чаще старых версий

Внутренние тесты компании показали, что модель o3 генерировала ложные данные в 33% случаев, а o4-mini — в 48%, что в два раза больше, чем у предыдущих моделей. "Галлюцинации" — это выдуманные факты, что затрудняет использование моделей в задачах, где важна точность, например, в юридических или научных сферах.

Причина увеличения галлюцинаций не ясна, но исследователи предполагают, что методы обучения с подкреплением могут усугублять проблему. Несмотря на это, модели o3 и o4-mini показывают хорошие результаты в программировании и математике. Один из способов улучшения точности — внедрение функции веб-поиска, как у GPT-4, что может снизить количество ошибок. Важно, что использование поиска может быть ключом к решению проблемы галлюцинаций в моделях.