Без реальных данных будущие ИИ-модели могут оказаться "безумными"

Исследование показало, что эти модели, обучающиеся на синтетических данных, создаваемых машинами, начинают страдать от ухудшения качества своих выходных данных.

Называемый "Модельным Расстройством Аутофагии (MAD)", этот эффект напоминает коровье бешенство, когда системы ИИ "пожирают" сами себя, что приводит к созданию контента с низким качеством и разнообразием. Исследователи предупреждают: без доступа к свежим данным из реального мира, новые генеративные модели могут оказаться в состоянии, близком к "безумству".

Команда разработала визуальную генеративную модель ИИ, обучая ее на трех типах данных и заметила, что в результате повторных циклов выходы модели искажались, а сгенерированные лица становились все более схожими.

Исследователи подчеркивают, что свежесть данных критически важна для поддержания качества генерации. Даже фиксированные реальные данные без обновления теряют свою эффективность, что подтверждает необходимость постоянного обновления источников обучения.

Хотя исследование сосредоточено на изображениях, специалисты уверены, что аналогичные проблемы возникнут и у больших языковых моделей. Эксперты уже предупреждали о потенциальных угрозах от исчерпания данных для обучения, а результаты данного исследования подтверждают необходимость осознания ограничений технологий ИИ.

Источник: ICLR.