Новое исследование нашло способ распознавать галлюцинации ИИ

Команда из Оксфордского университета создала статистическую модель, которая определяет, когда large language model (LLM) – технология, обеспечивающая работу чат–ботов, — может выдать неверный ответ на запрос пользователя.

Галлюцинации являются серьезной проблемой для генеративного ИИ, поскольку эти продвинутые модели могут выдавать выдуманные ответы, которые кажутся достоверными. Используя статистическую модель, исследователи стремятся смягчить эту проблему и повысить надежность контента, генерируемого ИИ.

В то время как студенты все больше полагаются на инструменты генеративного ИИ для проведения исследований и выполнения заданий, отраслевые эксперты и ученые, занимающиеся ИИ, все больше беспокоятся о возможности возникновения галлюцинаций в медицинском и юридическом контекстах.

Исследователи из Оксфордского университета разработали метод, позволяющий различать случаи, когда модель ИИ уверена в своем ответе, и случаи, когда она просто выдумывает информацию. Доктор Себастьян Фаркуар, ведущий автор исследования, объяснил, что LLM способны выражать идеи самыми разными способами, что затрудняет определение того, уверены ли они в себе или просто предполагают.

Предыдущие методы не позволяли провести различие между неопределенностью в том, что должна говорить модель, и тем, как она должна это говорить. Однако новый подход, разработанный исследователями, решает эту проблему. По словам доктора Фаркуар, необходима дальнейшая работа по совершенствованию моделей и уменьшению количества ошибок.

Семантическая неопределенность может помочь в решении конкретных проблем с надежностью, но это лишь один из аспектов проблемы. Наиболее серьезные сбои в работе систем ИИ происходят, когда система выполняет какое-либо действие неправильно, но при этом сохраняет уверенность и последовательность в своем поведении. В этой области еще предстоит проделать значительный объем работы.

Источник: Daily Mail.