Современные нейросети научились имитировать человеческое общение

В рандомизированных экспериментах с участием почти 500 человек участники в чатах общались с двумя собеседниками, один из которых был человеком, а другой системой искусственного интеллекта. Продолжительность бесед составляла от 5 до 15 минут.

Модель GPT-4.5 в 73% случаев была принята за человека, а LLaMa 3.1 405B справилась с задачей в 56% чатов. Для сравнения, реальные люди распознавались на сопоставимом уровне.

При этом эффективность сильно зависела от подсказок. С ними показатели достигали 36–38% для менее продвинутых моделей, без них заметно снижались. Авторы отмечают, что успех связан не с логикой, а с имитацией человеческих черт, таких как ошибки, юмор и неуверенность.