Эксперты НИУ ВШЭ ускорили процесс обучения нейросети на несколько порядков

Сотрудникам НИУ ВШЭ удалось на четыре порядка улучшить эффективность обучения нейросети StyleGAN2. Программа предназначена для генерации картинок. Результаты работы российские ученые представили на конференции NeurIPS 2022 в своем докладе.

Генеративная нейросеть StyleGAN2 создает реалистичную картинку из преобразованного случайного шума. Специалисты НИУ ВШЭ рассказали о новом подходе ее дообучения: им удалось сократить обучаемые параметры за счет обучения нового доменного вектора. Таким образом процесс познания нейросетью удалось оптимизировать на четыре порядка.

В архитектуре StyleGAN2 существуют особые трансформации, отвечающие за контроль семантических признаков выходного изображения, среди которых возраст, пол и подобное. Именно на обучение этого вектора и сделали упор авторы исследования. Благодаря ее обучению результат не уступал тому, как если бы ученые проводили дообучение всех параметров нейросети.

Авторы исследования надеются, что в будущем их изобретение позволит существенно упростить эксплуатацию нейронных сетей и ускорить их обучение.

Напомним, что эксперты НИЯУ МИФИ работают над созданием накопителей энергии нового типа.