В обычной роботизированной ячейке команды выполняются через программные интерфейсы, где можно ограничивать опасные движения. Исследователи во главе с Ицзя Фанем предложили CaPtain — систему, в которой небольшая модель зрения и языка сама выбирает вызовы таких инструментов. Вокруг модели работает программная обвязка[2]: набор средств восприятия, геометрии и разрешённого движения. Это отличается от подхода, когда нейросеть напрямую выдаёт все движения суставов.
Модель сначала обучали на примерах последовательностей вызовов, затем улучшали многошаговым обучением с подкреплением. При обучении специальный оценщик использовал внутреннее состояние симулятора, чтобы распределять вклад отдельных команд в итоговый результат. При реальном исполнении агент не видит этого скрытого состояния. На отложенных заданиях LIBERO исходная модель имела 0% успеха, после первого этапа 55,4%, после второго 73,8%.
Для потенциального клиента привлекательна возможность заменить часть ручного программирования последовательностью более общих команд. Но интеграция всё равно требует строгого перечня разрешённых инструментов, журналов действий и испытаний при ошибках распознавания. Авторы также сообщают 78,5% на другом наборе LIBERO-PRO и 83,3% на SimplerEnv WidowX[3] без обучения на целевой среде. Эти числа относятся к разным тестам и не должны трактоваться как гарантированная производительность.
Публикация включает сообщение о переносе на реального робота и доступности кода, данных и весов. Она не содержит независимой оценки промышленной безопасности или расчёта стоимости внедрения. Главный предмет проверки при пилоте — не только успешность выполнения задания, но и то, какие команды система способна отправить оборудованию при неверном наблюдении.