Исследователи из Университета Карнеги-Меллон и Google DeepMind разработали инновационную систему под названием RoboTool, предназначенную для творческого использования инструментов роботами, сообщает TechXplore.

Инструмент RoboTool состоит из четырех ключевых компонентов: анализатора, планировщика, калькулятора и кодера. Анализатор обрабатывает инструкции пользователя на естественном языке, выделяя ключевые элементы. Планировщик создает комплексную стратегию выполнения задачи, используя данные от анализатора. Калькулятор определяет параметры, необходимые для каждого навыка робота, такие как целевые позиции. Кодер преобразует план и параметры в исполняемый код. Эта система, построенная на базе больших языковых моделей, позволяет роботам решать задачи более творческим способом, не ограничиваясь стандартными подходами.

RoboTool может принести значительный вклад в область робототехники, позволяя роботам более эффективно решать разнообразные задачи в реальном мире. С помощью этого инструмента роботы могут адаптировать свои стратегии для более сложных сценариев. Например, система смогла создать рычаг для подъема тяжелых коробок и палку из магнитных кубиков для нажатия недоступной кнопки.

«RoboTool также может улучшить навигацию робота по обломкам или разрушенным конструкциям, импровизируя с доступными инструментами, чтобы добраться до застрявших людей», — говорят ученые.

Эта система использует преимущества больших языковых моделей, таких как GPT-4, для обработки естественного языка и создания более творческих и инновационных подходов к использованию инструментов роботами.