CRPS: научное письмо, созданное ИИ, может быть идентифицировано с точностью более 99%

Мир был поражен дебютом чат-бота с искусственным интеллектом ChatGPT, способного генерировать текст и вести разговоры, неотличимые от человеческих. Информация об этом размещена на сайте Tech Xplore.

Однако, согласно исследованию, опубликованному 7 июня в журнале Cell Reports Physical Science, существуют явные признаки, которые помогают отличить чат-ботов ИИ от людей. Исследователи разработали инструмент, основанный на этих признаках, который с точностью более 99% способен идентифицировать академическое научное письмо, созданное искусственным интеллектом.

"Мы изо всех сил пытались создать доступный метод, чтобы при небольшом руководстве даже старшеклассники могли создать детектор искусственного интеллекта для различных типов письма", - говорит первый автор Хизер Дезер, профессор Канзасского университета. "Необходимо заниматься написанием ИИ, и людям не нужна степень в области компьютерных наук, чтобы внести свой вклад в эту область".

Несмотря на то, что в Интернете доступны различные инструменты обнаружения текстового ИИ и они работают довольно неплохо, они не были специально разработаны для анализа академического письма. Для заполнения этой пробела команда исследователей стремилась создать инструмент с более высокой производительностью именно для этой цели. Они сосредоточились на типе статей, называемых "Перспективы", которые представляют обзоры конкретных исследовательских тем, написанные учеными. Для обучения модели команда выбрала 64 точки зрения и создала 128 статей на одни и те же темы исследований, используя ChatGPT. При сравнении этих статей исследователи обнаружили один из признаков написания ИИ - его предсказуемость.

«Сейчас есть довольно вопиющие проблемы с написанием ИИ», - говорит Дезер. «Одна из самых больших проблем заключается в том, что он собирает текст из многих источников, и нет никакой проверки точности - это похоже на игру "Две истины и ложь"»

В отличие от искусственного интеллекта, у людей присутствуют более сложные структуры абзацев, отличающиеся по количеству предложений и общему числу слов в абзаце, а также имеющие переменную длину предложений. Также есть различия в предпочтениях использования знаков препинания и лексики. Например, ученые часто используют слова "однако", "но" и "хотя", в то время как ChatGPT склонен использовать "другие" и "исследователи" в своем письменном стиле. Команда исследователей учитывала 20 различных характеристик модели при проведении анализа.

При проведении тестирования модель достигла 100% точности в отделении перспективных статей, созданных искусственным интеллектом, от статей, написанных людьми. В отношении определения отдельных пунктов в статье модель показала точность на уровне 92%. Кроме того, модель исследовательской группы значительно превзошла доступные текстовые детекторы искусственного интеллекта на рынке в аналогичных тестах.

В дальнейшем команда планирует расширить применение модели. Они намерены протестировать ее на более обширных наборах данных и различных типах академического научного письма. В свете постоянного развития и совершенствования чат-ботов с искусственным интеллектом, исследователи также интересуются тем, насколько их модель будет оставаться актуальной и эффективной.

0 комментариев