USD
99.1
+0.82
EUR
103.66
+0.42
Категория: ЦифровизацияЦифровизация
1 августа 2023 г. в 16:32

GPT-3 решает тест на мышление лучше студентов вузов, но ошибается в детских задачах

GPT-3 решает тест на мышление лучше студентов вузов, но ошибается в детских задачах
midjourney.com
Нейросеть GPT-3 решает задачи на логику лучше старшекурсников американского университета, но не справляется с простыми детскими тестами.
К такому выводу пришли специалисты Калифорнийского университета после оценки способностей языковой модели от компании OpenAI. Они предложили GPT-3 решить задачи, используемые для диагностики умственных способностей по Шкале прогрессивных матриц Рейвена. Об этом пишет RTVI со ссылкой на журнал Nature Human Behaviour.
Уникальность заданий заключается в одинаковой интерпретации людьми, независимо от образования. К примеру, в одном из тестов следует определить, какая фигура стоит в пустой клетке, на основе предыдущих в ряду. Графические задания перевели в текстовый формат, чтобы облегчить прочтение для нейросети и обеспечить чистоту эксперимента.
Фото: freepik.com
Фото: freepik.com
GPT-3 ничуть не уступала реальным людям, а также делала одинаковые ошибки. Она верно решила 80% заданий, в то время как студенты – только 60%. Кроме того, нейросеть в среднем лучше выпускников справлялась с решением теста SAT, который применяется для поступления в американские вузы.
При этом языковая модель не смогла выполнить простые задания на понимание свойств физического пространства. В одном из тестов требовалось найти способы переместить шарики из чашки при помощи разных предметов, таких как длинная труба, картон и ножницы. Чат-бот генерировал абсурдные ответы.
Ранее издание Involta media рассказало, что эксперты в области искусственного интеллекта поделились прогнозами о том, как новые технологии изменят мир к 2029 году.
0 комментариев