Исследователи сообщили, что ChatGPT предоставляет ошибочные результаты по медицинским вопросам

Канадские специалисты выяснили, что чат-бот от OpenAI часто предоставляет ошибочные результаты по медицинским вопросам.

Исследование

Ученые задали ChatGPT 20 медицинских вопросов. Вопросы были отобраны из существующих исследований, исследователи также попросили чат-бот дать ссылки для подкрепления своих ответов. После этого специалисты оценили ответы ChatGPT по стобалльной шкале.

Средний балл, который ученые поставили чат-боту, составил 60%. Он дал ответы с фактическими ошибками и сфабрикованными ссылками. Было обнаружено пять крупных и семь незначительных ошибок.

Из ссылок, которыми чат-бот подкрепил свои ответы, 69% были сфабрикованы. Чат-бот сделал вид, что они существуют на самом деле. Он использовал имена существующих авторов, которые работают в медицине, подстроил названия и придумал веб-сайты.

Отметим, что даже некоторые реальные ссылки содержали ошибки (восемь из 18).

Оправдания ChatGPT

Исследователи решили задать вопрос чат-боту о точности ссылок, которые он предоставил. Сначала ChatGPT сообщал, что те же ссылки предоставляют другие порталы, а после уточнил, что чат-бот иногда неточен в своих ответах.

Ученые отметили, что предоставление настоящих ссылок очень важно в любой науке, потому что показывает, насколько исследователь осведомлен в своей теме. Для любого исследователя предоставление поддельных ссылок является мошенничеством.

Один из авторов эксперимента добавил, что ученые, которые используют чат-бот в своей работе, могут быть введены в заблуждение ложной информацией. Правильно составленные и последовательные ссылки скрывают низкое качество контента.

"Эти результаты вызывают тревогу, учитывая, что доверие является основой научной коммуникации. Пользователи ChatGPT должны обращать особое внимание на предоставленные ссылки, прежде чем включать их в медицинские рукописи ", - говорит доктор Джоселин Гравел, ведущий автор исследования.

Это исследование было первым, изучающим качество ответов по теме медицины от чат-бота OpenAI.

0 комментариев