Ученые объяснили устойчивость больших нейросетей через физику

Работа использует методы статистической физики и теории перенормировки. ИИ сегодня рассматриваются как «чёрные ящики». Известны эмпирические законы, например рост качества при увеличении данных и параметров, но отсутствует фундаментальное объяснение этих эффектов.

В качестве модели применялась упрощённая регрессия с регуляризацией. Она показала, что в высокоразмерных пространствах случайные флуктуации данных не мешают обучению, а стабилизируют его и уменьшают риск переобучения.

Авторы связывают этот результат с эффектом перенормировки: сложные системы сводятся к небольшому числу устойчивых параметров, что объясняет способность крупных моделей лучше обобщать данные при росте масштаба.

Ранее издание involta.media опубликовало статью о том, что ФМРТ-нейрообратная связь предложила новый подход к лечению депрессии.