Исследования показали, что служба Mechanical Turk использует ИИ

Сервис Mechanical Turk от Amazon позволяет пользователям разбить сложные задачи на множество небольших подзадач, каждая из которых занимает всего несколько секунд и оплачивается небольшой суммой. Преданные и усердные работники выполняют тысячи таких задач, обеспечивая себе скромный, но стабильный заработок. Информация об этом была размещена на сайте Tech Crunch.

Обычно это были задачи, которые трудно было автоматизировать. Например, CAPTCHA, идентификация эмоционального тона предложения или простая задача "нарисуйте круг вокруг кошки на этом изображении". Это были вещи, которые люди могли выполнять быстро и надежно. Mechanical Turk широко использовался для задач, требующих относительно сложной разметки данных и для исследователей, желающих получить человеческие оценки или решения в большом масштабе.

Служба получила свое название в честь знаменитого шахматного "автомата", который, по сути, использовал человеческое умение в своей основе для проведения игр. Современная версия этого автомата была разоблачена ПО. Иногда автоматизация оказывается сложной или невозможной, но в таких случаях можно создать своего рода "человеческую машину".

Однако исследование, проведенное учеными из EPFL в Швейцарии, показывает, что работники Mechanical Turk автоматизируют свою работу, применяя большие языковые модели, такие как ChatGPT. Возник вопрос о возможности использования сервиса MTurk в качестве "человека в цикле" для улучшения или проверки фактов, предоставляемых языковыми моделями, которые, в основном, не всегда надежны.

Сомнительно полагаться на краудсорсинг для проверки результатов работы языковых моделей или создания набора данных, который можно использовать в качестве "золотого стандарта" для сравнения. Однако, появилось предположение, что сами работники используют языковые модели, например, для повышения своей производительности и, следовательно, дохода на краудсорсинговых платформах.

Для получения общего представления о проблеме исследователи поставили перед туркерами задачу "абстрактного обобщения". Согласно различным анализам, описанным в неопубликованной или рецензируемой статье, они оценивают, что от 33% до 46% работников Mechanical Turk использовали языковые модели (LLM) при выполнении этой задачи.

Для некоторых это может быть предсказуемым фактом. Возможность автоматизации в туркинге, вероятно, существовала с самого начала этой платформы. Быстрота и надежность стимулируются, и если есть возможность создать сценарий, который обрабатывает определенные запросы с точностью 90%, можно заработать значительную сумму денег. С учетом ограниченного наблюдения за процессами отдельных участников, было неизбежно, что некоторые задачи фактически не будут выполняться людьми, как это заявляется.

Однако, задачи, которые ранее считалась выполнимыми только человеком - адекватное обобщение статьи, теперь становится возможно и для ИИ. Это утверждение подвергает сомнению не только ценность Mechanical Turk, но и раскрывает еще один фронт в неизбежном кризисе "обучения ИИ данным, создаваемым ИИ" в своеобразной петле Уробороса.

Исследователи (Вениамин Веселовский, Маноэль Орта Рибейро и Роберт Уэст) предупреждают, что с появлением современных языковых моделей (LLM), эта задача становится особенно подходящей для скрытой автоматизации и, следовательно, вероятность стать жертвой таких методов особенно высока. Однако современное состояние продолжает развиваться: LLM становятся все более популярными с каждым днем, и мультимодальные модели, способные работать не только с текстом, но и с входными и выходными данными в виде изображений и видео, продолжают развиваться. Поэтому результаты следует рассматривать как "сигнал тревоги", который должен побудить платформы, исследователей и сообщество к поиску новых способов гарантировать, что человеческие данные остаются именно человеческими.

Угроза того, что искусственный интеллект сам себя питает, долгое время являлась объектом теоретических размышлений и почти мгновенно стала реальностью с широким распространением языковых моделей (LLM). Примером этого является случай с домашним животным Bing ChatGPT, которое процитировало свою собственную дезинформацию в качестве поддержки новых дезинформационных утверждений о заговоре COVID.

Если не получается быть на 100% уверенным, что что-то было создано человеком, вероятнее всего, следует предположить обратное. Это огорчающий принцип, с которым люди должны считаться, но он становится реальностью.