Ученые создали метод CAMIA для выявления использования данных в ИИ

Это актуально на фоне тревог по поводу того, что модели могут непреднамеренно сохранять и воспроизводить конфиденциальную информацию. CAMIA анализирует поведение ИИ при генерации текста, отслеживая, как быстро он переходит от неуверенности к точным предсказаниям. Особенно метод полезен в тех случаях, когда модели выдают уверенные ответы на неочевидные запросы — это может свидетельствовать о «запоминании» обучающего материала.

CAMIA стала первой атакой на конфиденциальность, адаптированной к особенностям генеративных моделей. Она точнее других методов определяет следы «памяти» ИИ и делает аудит моделей более надёжным.