Техасские ученые разработали систему, генерирующую изображения по звукам улиц

В отличие от существующих систем ИИ, создающих звуковые эффекты для изображений, эта модель преобразует звук в визуальные сцены. Система обучалась на аудиовизуальных клипах с YouTube, содержащих изображения и звуки городских и сельских улиц.

Используя алгоритмы глубокого обучения модель научилась определять, какие звуки связаны с теми или иными объектами на изображениях, а также как звуковая среда соотносится с визуальной.

Для оценки качества работы нейросети ее разработчики собрали фокус-группу, которая по сгенерированным звукам оценивала окружающую обстановку. В 80% случаев они верно определяли соответствие звука и изображения.

Ранее издание involta.media опубликовало статью о том, что Hyundai и Kia представили экзоскелет X-ble Shoulder для защиты рабочих от травм.