ChatGPT опережает по популярности экспертную площадку Stack Overflow

Недавно стало известно, что после создания чат-бота от OpenAI сайт для общения по теме ПО начал терять популярность. В среднем Stack Overflow с начала этого года каждый месяц терял 6% своих пользователей.

Сотрудники университета Пердью (США) провели исследование, которое помогло понять, кто дает более точные ответы на вопросы о программировании - ChatGPT или Stack Overflow.

Оказалось, что большая часть ответов от чат-бота была некачественной или абсолютно неправильной. Но после опроса пользователей обеих платформ стало ясно, что они все равно предпочитают задавать вопросы по теме чат-боту, а не проверенной платформе. С их слов, это связано с простотой и полнотой ответов ChatGPT.

Отметим, что даже в случае, когда чат-бот давал очевидно неправильные ответы, 2 из 12 пользователей все равно предпочитали пользоваться им.

Один из авторов исследования сообщил, что участники не обратили внимания на некорректность ответов чат-бота из-за его "уверенности". Способность ChatGPT общаться с пользователем по-дружески завоевывает внимание и вызывает доверие. Также участники верят в правильность ответов от бота из-за его обучения на большом количестве учебников.

Исследователи пришли к выводу, что LLM способны видоизменять данные, на которых обучаются. Программирование постоянно видоизменяется, и ChatGPT не успевает усваивать новую информацию и путается в ней.

Но скорость его ответов поражает пользователей. ChatGPT выдает большие и сложные инструкции по кодированию за несколько секунд. При этом проверенные сайты, такие как Stack Overflow, требуют долгого ожидания ответа, которое может составить и несколько часов, и несколько дней.

Из-за склонности чат-бота к ошибочным ответам конечные пользователи могут столкнуться с проблемами. Эксперты, которые разбираются в программировании, были настолько обеспокоены этим вопросом, что запретили использовать ответы от чат-ботов на сайтах, подобных Stack Overflow.

Некоторые исследователи объединились и призывают создателей ChatGPT отказаться от своего заявления, в котором они отказываются от ответственности за результаты работы бота. По их мнению, OpenAI должна скорректировать действия чат-бота и предупреждать пользователей о возможности ошибок.

В отчете ученых указано, что ИИ наиболее эффективен, когда находится под руководством людей. Ответственное использование ChatGPT повысит производительность людей и самого ИИ, при этом доставив минимальное количество проблем.