Создана платформа мультисенсорного моделирования для обучения и тестирования домашних роботов

Возможно, спустя годы роботы будут делать дома у людей уборку, работать в офисе или выполнять другие задачи, которые отнимают много времени. Но прежде, чем роботов можно будет использовать в реальных условиях, алгоритмы ИИ, которые управляют их движениями и позволяют им решать конкретные задачи, должны быть обучены и протестированы в моделируемых условиях. Хотя на данный момент существует множество платформ для обучения этим алгоритмам, очень немногие из них учитывают звуки, которые роботы могут улавливать и взаимодействовать с ними во время выполнения задач.

Команда исследователей из Стэнфордского университета недавно разработала Sonicverse, имитируемую среду для обучения роботов, работающих на базе ИИ, которая включает в себя и визуальные, и слуховые элементы. Платформа была представлена на ICRA 2023, она способна значительно упростить обучение алгоритмам, предназначенным для реализации в роботах, которые используют камеры и микрофоны для навигации по окружающей среде.

Руохан Гао, один из исследователей, создавших платформу, отметил, что в то время как мы, люди, воспринимаем мир как взглядом, так и при помощи слуха, очень немногие предыдущие работы касались воплощенного обучения с помощью звука. Существующие имитаторы встроенного искусственного интеллекта либо предполагают, что среда тихая и агенты не могут обнаружить звук, либо развертывают аудиовизуальные агенты только в симуляции. Целью работы исследователей было представить новую платформу мультисенсорного моделирования с реалистичным интегрированным аудиовизуальным моделированием для обучения домашних агентов, которые могут как видеть, так и слышать.

Sonicverse, платформа моделирования, созданная Гао совместно с другими специалистами, моделирует как визуальные элементы заданной среды, так и звуки, которые агент мог бы обнаружить в процессе исследования этой среды. Исследователи думали, что это поможет обучать роботов более эффективно и в более реалистичных виртуальных пространствах, что будет способствовать улучшению их последующей производительности в реальном мире.

В отличие от предыдущих проведенных на эту тему работ, на этот раз ученые хотят продемонстрировать, что агенты, обученные симуляции, могут успешно выполнять аудиовизуальную навигацию в сложных условиях реального мира. Sonicverse является новой платформой мультисенсорного моделирования, которая моделирует непрерывный рендеринг звука в 3D-средах в режиме реального времени. Она может служить испытательным стендом для большого количества задач, которые связаны с внедрением искусственного интеллекта и взаимодействием человека с роботом при помощи аудиовизуального восприятия, такого как аудиовизуальная навигация.

Для оценки своей платформы исследователи использовали ее для обучения смоделированной версии TurtleBot, робота, созданного Willow Garage, эффективно передвигаться в помещении и достигать целевого местоположения, не сталкиваясь с препятствиями. Далее ими был применен ИИ, обученный в их симуляциях, к реальному TurtleBot, и протестированы его возможности аудиовизуальной навигации в офисной среде.

Результаты тестов, проведенных учеными,в будущем могут помочь при помощи новой платформы обучать роботов более эффективно решать реальные задачи, используя как визуальные, так и слуховые стимулы. Платформа Sonicverse на данный момент уже доступна онлайн и вскоре может быть использована другими командами робототехники для обучения и тестирования встроенных агентов ИИ.

Такой формат обучения с использованием нескольких модальностей имеет большой потенциал для открытия многих новых приложений для будущих домашних роботов. В следующих исследованиях Гао с коллегами планируют интегрировать в симулятор мультисенсорные объектные ресурсы, чтобы получить возможность моделировать мультисенсорные сигналы как на уровне пространства, так и на уровне объекта, а также включать другие сенсорные модальности, такие как тактильное восприятие.