Необычная камера показывает мир глазами незрячих людей: она рисует изображение по звукам

Устройство представляет собой пластиковый корпус с небольшим экраном и довольно большой рупор, установленный на месте объектива. Камера не «видит» изображение, а только слышит звуки вокруг себя, поэтому она получила имя Blind Camera (blind в переводе с английского языка – «слепой»). Пока разработка существует в единственном экземпляре. Камера полностью портативная – для работы ей не нужно ни подключение к электросети, ни связь со сторонними нейросетями.

«Начинка» инновационного изобретения состоит из карманного компьютера на основе Raspberry Pi 3 B и собственной бортовой системы искусственного интеллекта. Чтобы сделать снимок, достаточно направить рупор в сторону объекта, который нужно сфотографировать, и нажать кнопку затвора. После этого камера «послушает» окружающую ее действительность и передаст данные на декодер. Здесь искусственный интеллект проанализирует информацию, переведет ее в формат изображения и покажет «фотографу». Экран камеры служит, с одной стороны, видоискателем, а с другой – отображает статус готовности снимка и позволяет его увидеть в режиме предварительного просмотра.

Для обучения нейросети камеры Диего Писанти написал собственную модель, использующую Python 3 и специально предназначенную для этого библиотеку Tensorflow 2. Она использует видеоролики, снятые в разных точках Мехико, поэтому пока это достаточно локальный проект. Но не исключено, что в дальнейшем можно продолжить обучение искусственного интеллекта и «показать» ему и другие локации. Пока Blind Camera анализирует звуки, сравнивает их с теми, которые она уже «слышала», и генерирует свое приблизительное изображение по ассоциации с тем, что она уже знает.

Конечно, качество изображений, которые генерирует «слепая» камера, пока оставляет желать лучшего. Ей не хватает четкости и детализации, ведь действует нейросеть лишь по аналогии с увиденными ранее изображениями. Например, изображение, созданное после прослушивания звуков метро, представляет собой размытую картинку поезда, как будто мчащегося на большой скорости. Природные объекты камера тоже не очень хорошо считывает. Возможно, изобретатель планирует доработать камеру и наделить ее дополнительными возможностями. Например, модификация рупора поможет ему улавливать даже негромкие звуки. А добавление геолокации повысит четкость изображений и их сходство с реальными объектами. Кроме того, было бы полезно обучить нейросеть распознавать звуки в разных частях света, а не только в Мексике.

У «слепой» камеры есть перспективы для применения. Примерно так же воспринимают мир слабовидящие и незрячие люди – они ориентируются на свое воображение, но основываются на звуках, которые слышат вокруг себя. Кроме того, изображения, которые создает Blind Camera, пока относятся к категории скорее искусства, чем фотографии, поэтому она интересна для творческого сообщества. У изобретения могут быть и другие возможности, о которых пока не сообщается.