Ученые разработали новую модель, которая обучает четвероногих роботов более четко видеть в 3D

Этот прорыв позволяет роботам легко и автономно перемещаться по сложной местности, включая лестницы, каменистую почву и пересеченные дорожки, преодолевая препятствия на своем пути. Данное исследование будет представлено на Конференции по компьютерному зрению и распознаванию образов (CVPR) 2023, которая пройдет в городе Ванкувер, Канада, с 18 по 22 июня.

У робота есть передовая глубинная камера, установленная на его голове. Камера наклонена вниз под определенным углом, что обеспечивает ей обзор как спереди, так и местности под роботом.

Для улучшения восприятия трехмерного пространства робота исследователи разработали модель, которая начинает с 2D-изображений, полученных с камеры, и преобразует их в 3D-пространство. Для этого модель анализирует короткую видеопоследовательность, состоящую из текущих и нескольких предыдущих кадров, и извлекает 3D-информацию из каждого 2D-кадра. Эта информация включает в себя данные о движении ног робота, такие как угол соединения, скорость соединения и расстояние от земли. Модель сравнивает информацию из предыдущих кадров с информацией из текущего кадра, чтобы оценить преобразование в трехмерном пространстве между прошлым и настоящим моментом.

Модель объединяет всю эту информацию, чтобы использовать текущий кадр для создания предыдущих кадров. В процессе движения робота модель сравнивает синтезированные кадры с уже запечатленными в камере кадрами. Если они гармонично сочетаются, то модель понимает, что она правильно усвоила 3D-представление картины вокруг. В случае несоответствия модель вносит корректировки до тех пор, пока не достигнет правильного результата.

Для управления движением робота используется 3D-представление. Путем синтеза визуальной информации из прошлого робот может вспомнить, что он видел, а также действия, которые его ноги предпринимали ранее, и использовать эту память для определения своих следующих движений.

Новое исследование основано на предыдущей работе команды, где исследователи разработали алгоритмы, объединяющие компьютерное зрение и проприоцепцию. Проприоцепция включает чувство движения, направления, скорости, местоположения и прикосновения, и эти данные используются для обеспечения способности четвероногого робота ходить и бегать по неровной местности, избегая препятствий. В этом исследовании ученые достигли прогресса в улучшении 3D-восприятия робота и его сочетания с проприоцепцией, что позволяет роботу преодолевать более сложную местность, чем раньше.

Однако данный подход имеет свои ограничения. Один из авторов исследования отмечает, что их текущая модель не имеет способности направлять робота к определенной цели или месту назначения. В процессе движения робот просто следует прямому пути, и если встречает препятствие, то избегает его, выбирая другой прямой путь.