Оптическая нейросеть ONN фильтрует информацию перед обработкой

Отсеивая ненужную информацию до того, как камера обнаружит визуальную картинку, предварительный процессор ONN может достигнуть коэффициента сжатия до 800 к 1. Это равноценно сжатию входного изображения размером 1600 пикселей всего до 4 пикселей. Такое изобретение - еще один шаг к тому, чтобы повторить архитектуру зрения человека.

Смысл работы ONN заключается в процессе обработки света при помощи серии матрично-векторных умножений для сжатия данных до необходимого наименьшего размера. Технология схожа с тем, как работает человеческое зрение, отбрасывая избыточные или неактуальные данные. Это дает возможность ONN быстро отсортировывать важную информацию, получая представление исходных данных в сжатом формате.

Помимо этого ONN - намного менее энергозатратный метод сравнительно с современными системами, которые сохраняют изображения, а после передают их на электронный цифровой процессор, извлекающий информацию.

Исследователи испытали датчик изображений на основе оптической нейронной сети в эталонных системах машинного зрения, применили его для распределения изображений клеток в проточных цитометрах и показали его способность измерять и распознавать объекты в 3D-сценах.

Также было протестировано восстановление исходного изображения по данным, которые были сгенерированы кодерами ONN, обученными исключительно классификации изображений.

Несмотря на то, что результат не был идеальным, он оказался весьма интересным, поскольку позволяет предположить, что более качественное обучение и совершенствование модели ONN могут дать более точный результат.

Оптические нейронные сети имеют потенциал в таких ситуациях, при которых требуется зондирование или вычисления малой мощности, к примеру, при зондировании изображений на спутниках, где необходимы приборы с небольшим потреблением энергии.

В таких сценариях способность ONN сжимать пространственную информацию может быть объединена со способностью камер событий сжимать временную информацию, поскольку последняя срабатывает только при изменении входного сигнала.

Результаты исследования опубликованы в журнале Nature Photonics.