Исследование Writer показывает, что память ИИ ухудшает качество моделей

Вместо повышения точности такие механизмы иногда усиливают ошибки и смещают ответы в сторону пользовательских заблуждений. Причина в том, что при накоплении контекста модель начинает сильнее опираться на сохранённые предпочтения, даже если они не относятся к текущему запросу.

В экспериментах тестировали сценарии с искусственно заданными фактами о пользователе и проверяли, как ИИ отвечает на новые вопросы. В ряде случаев модель начинала повторять ранее записанные утверждения, игнорируя фактическую задачу. Особенно заметный эффект возникал при использовании инструментов сжатия памяти и внешних хранилищ контекста.

Во второй части работы показано, что избыток сохранённой информации снижает способность к анализу. Модель хуже распознаёт финансовые и технические ошибки и чаще соглашается с неверными вводными данными. Авторы делают вывод, что память в ИИ требует строгого отбора информации, иначе она превращается в источник искажений.