Новый инструмент выявляет ошибки нейросетей

Ученые провели эксперименты с нейронной сетью, которая обучена анализировать примерно 1,3 млн изображений в базе данных ImageNet. Они разработали метод для выявления изображений, которые с высокой долей вероятности принадлежат более чем к одной классификации.

Обратившись к математической области топологии, изучающей свойства геометрических объектов, исследователи попытались отобразить связи, которые нейросеть установила между каждым изображением и каждой классификацией.

Разработанный инструмент позволил ученым построить своеобразные карты для расширения регионов данных. На них каждая группа изображений была представлена одной точкой, каждой из которых присвоили определенный цвет согласно классификации.

Чем эти точки ближе друг к другу, тем более схожими, по мнению нейросети, являются группы. На большинстве участков этих карт были видны скопления точек одного цвета.

Выяснилось, что нейросети ошибочно определяют идентичность изображений в разных базах данных. Например, одна нейросеть неоднократно ошибочно классифицировала изображения автомобилей как кассетные плееры. Это происходило потому, что картинки были взяты из онлайн-объявлений с метками "стерео оборудование для автомобилей".

Кроме того, инструмент помог исследователям увидеть, что сами базы обучающих данных содержат ошибки.