С помощью искусственного интеллекта легко обмануть инструменты обнаружения текста

Сообщается о возникающих опасениях, связанных с использованием студентами чат-бота ChatGPT для быстрого создания эссе. В ответ на эти опасения стартапы выпускают инструменты, которые обещают определить, был ли текст написан человеком или машиной.

Однако новое исследование, проведенное Деборой Вебер-Вульф и ее коллегами, показывает, что обмануть эти инструменты довольно легко. Они оценили способность 14 инструментов, таких как Turnitin, GPT Zero и Compilatio, обнаруживать текст, написанный с помощью ChatGPT OpenAI.

“Если автоматические системы обнаружения будут использоваться в образовательных учреждениях, крайне важно понимать уровень ложноположительных результатов, поскольку неправильное обвинение учащегося в списывании может иметь ужасные последствия для его академической карьеры. Процент ложноотрицательных результатов также важен, потому что, если слишком много текстов, сгенерированных ИИ, выдаются за написанные человеком, система обнаружения бесполезна”, — сообщает эксперт.

Исследователи выяснили, что большинство инструментов с трудом распознают текст, который был игриво изменен людьми с помощью инструмента перефразирования. Это означает, что студентам достаточно немного адаптировать эссе, сгенерированные искусственным интеллектом, чтобы обойти обнаружение.

Инструменты хорошо работают в распознавании текста, написанного людьми (с точностью около 96%), но показали низкую эффективность в распознавании текста, сгенерированного искусственным интеллектом, особенно если он был изменен. Их точность распознавания текста ChatGPT составила 74%, но снизилась до 42% при незначительных изменениях в сгенерированном тексте.

Это исследование также подчеркивает устаревшие методы оценки учебных работ в университетах, отмечает Витомир Кованович. Он также отмечает, что важно учитывать ложноположительные и ложноотрицательные результаты, так как неправильное обвинение студента или недостаточное обнаружение текстов, сгенерированных искусственным интеллектом, можно считать серьезной проблемой.

0 комментариев