USD
99.1
+0.82
EUR
103.66
+0.42
Категория: AI и робототехникаAI и робототехника
14 августа 2023 г. в 15:43

Ответы ChatGPT на запросы разработчиков ПО были неверны в 52% случаев

Ответы ChatGPT на запросы разработчиков ПО были неверны в 52% случаев
mac.softpedia.com
Новое исследование ученых показало, что чат-бот от OpenAI стал хуже реагировать на запросы пользователей. В эксперименте ChatGPT дал 52% неправильных ответов на вопросы касательно ПО от разработчиков.
На данный момент модель ИИ от OpenAI имеет огромную популярность, но качество его работы мало исследовано. Специалисты из Университета Пердью в США решили исправить это.
Источник: rally36.ru
Источник: rally36.ru
Как проходило исследование
Команда института провела большой анализ ответов ChatGPT на 517 заданий с помощью системы вопросов и ответов программирования Stack Overflow.
В итоге ученые узнали, что 52% ответов ChatGPT содержат неточности, при этом подробные ответы были предоставлены чат-ботом только на 77% вопросов. Отметим, что чат-бот допускал большинство ошибок по той причине, что не понимал суть вопроса. В случае, когда чат-бот не понимал суть вопроса, он вообще не пытался решить проблему, а сразу давал неправильный ответ.
Исследователи также выяснили, что ChatGPT ограничен в своих рассуждениях. Часто он предлагал решение, код или формулу, которые оказывали негативное влияние на конечный результат. Это значит, что ChatGPT не может "смотреть в будущее" и думать наперед.
Отметим, что исследование выявило наличие проблем с качеством ответов чат-бота. В своих ответах он был многословен и непоследователен. Углубленный ручной анализ помог определить, что ChatGPT допускал большое количество концептуальных и логических ошибок. Лингвистический анализ помог обнаружить, что чат-бот предоставляет очень формальные ответы.
Источник: https://www.news18.com/
Источник: https://www.news18.com/
Несмотря на низкий процент качественных ответов на вопросы по теме программного обеспечения, пользователи все равно в 40% случаев предпочитают использовать чат-бот. После опроса разработчики ПО пришли к выводу, что ChatGPT удобен и дает ответы быстро, а его комментарии полны и обладают четким языковым стилем.
0 комментариев