USD
100.03
+0.66
EUR
106.2
+1.10
Категория: ЗдоровьеЗдоровье
16 мая 2023 г. в 22:35

Radiology: ChatGPT сдал экзамен по радиологии и почти поступил в Королевский колледж Канады

Radiology: ChatGPT сдал экзамен по радиологии и почти поступил в Королевский колледж Канады
www.suedwesttextil.de
Последняя версия ChatGPT успешно сдала экзамен для комиссии по радиологии, продемонстрировав потенциал больших языковых моделей, но также выявив ограничения, препятствующие надежности.
Данные двух новых исследований опубликованы в журнале Radiology.
Чтобы оценить эффективность чат-бота на экзаменах по радиологии и изучить сильные стороны и ограничения, исследователи сначала протестировали ChatGPT на основе GPT-3.5, наиболее часто используемой в настоящее время версии.
Исследователи использовали 150 вопросов с несколькими вариантами ответов, разработанных в соответствии со стилем, содержанием и сложностью экзаменов Канадского королевского колледжа и Американского совета по радиологии, сообщает Medical Xpress.
Исследователи обнаружили, что ChatGPT на основе GPT-3.5 правильно ответил на 69% вопросов, что близко к проходному баллу в 70%, используемому Королевским колледжем Канады. Модель относительно хорошо справилась с вопросами, требующими мышления низшего порядка, но испытывала трудности с вопросами, требующими мышления высшего порядка.
В частности, она не справилась с вопросами, включающими описание результатов визуализации, расчеты, классификацию и применение концепций.
Низкие показатели по вопросам мышления более высокого порядка неудивительны, учитывая отсутствие предварительной подготовки по радиологии.
0 комментариев