Ответы ChatGPT на запросы разработчиков ПО были неверны в 52% случаев

На данный момент модель ИИ от OpenAI имеет огромную популярность, но качество его работы мало исследовано. Специалисты из Университета Пердью в США решили исправить это.

Команда института провела большой анализ ответов ChatGPT на 517 заданий с помощью системы вопросов и ответов программирования Stack Overflow.

В итоге ученые узнали, что 52% ответов ChatGPT содержат неточности, при этом подробные ответы были предоставлены чат-ботом только на 77% вопросов. Отметим, что чат-бот допускал большинство ошибок по той причине, что не понимал суть вопроса. В случае, когда чат-бот не понимал суть вопроса, он вообще не пытался решить проблему, а сразу давал неправильный ответ.

Исследователи также выяснили, что ChatGPT ограничен в своих рассуждениях. Часто он предлагал решение, код или формулу, которые оказывали негативное влияние на конечный результат. Это значит, что ChatGPT не может "смотреть в будущее" и думать наперед.

Отметим, что исследование выявило наличие проблем с качеством ответов чат-бота. В своих ответах он был многословен и непоследователен. Углубленный ручной анализ помог определить, что ChatGPT допускал большое количество концептуальных и логических ошибок. Лингвистический анализ помог обнаружить, что чат-бот предоставляет очень формальные ответы.

Несмотря на низкий процент качественных ответов на вопросы по теме программного обеспечения, пользователи все равно в 40% случаев предпочитают использовать чат-бот. После опроса разработчики ПО пришли к выводу, что ChatGPT удобен и дает ответы быстро, а его комментарии полны и обладают четким языковым стилем.