Новые VueBuds распознают объекты и переводят надписи в режиме реального времени

Устройство основано на модифицированной модели Sony WF-1000XM3, в которую добавлены сверхмалые камеры размером с рисовое зерно.

Камеры фиксируют изображение в низком разрешении (чёрно-белом) и с углом обзора около 98–108 градусов. Данные передаются по Bluetooth на смартфон или другое устройство, где обрабатываются ИИ-моделью. Ответ система выдаёт голосом почти в реальном времени — примерно за 1 секунду.

VueBuds позволяют пользователю задавать вопросы о том, что находится перед ним: распознавать объекты, читать текст, переводить надписи и объяснять окружающую сцену. В одном из примеров система переводила текст с упаковки еды и определяла объекты на рабочем столе.

Авторы отмечают, что устройство потребляет менее 5 мВт энергии благодаря низкому разрешению и кратковременной активации камер. В тестировании с 90 участниками система показала качество ответов, сопоставимое со смарт-очками уровня Ray-Ban.