Ученые Гарварда объяснили устойчивость современных нейросетей

Ученые использовали методы статистической физики и теорию перенормировки для анализа обучения ИИ. Модель показала, что случайные многомерные флуктуации данных не мешают, а стабилизируют обучение и помогают избегать переобучения. Обычно крупные модели должны запоминать данные вместо поиска закономерностей, однако на практике производительность растет вместе с объемом данных и параметров.

Исследователи считают, что это связано с тем, что в системах с миллионами переменных сложные процессы сводятся к нескольким ключевым параметрам.