Создание достоверной виртуальной среды для обучения робота требует значительных усилий специалистов. Пранджал Аггарвал и Шон Веллек предложили Gym-Anything: программирующие агенты строят симуляции^[1], а проверяющая процедура оценивает качество физической модели и задания. Авторы выбирали виды работ с опорой на структуру экономики США, чтобы выйти за пределы привычных учебных сценариев.

RoboWorld содержит 25 симуляций, 175 учебных сред и 25 отдельных тестовых сред. По словам авторов, даже сильнейшие проверенные модели не выполнили ни одного тестового задания; средняя награда составила 0,06. Это численная оценка внутри симулятора, а не процент успеха реального робота. Исследователи также проверили обучение на повторных попытках, помощь наставника с доступом к внутреннему состоянию симулятора и программно созданные демонстрации.

Несколько подходов улучшили результаты в экспериментальной постановке, но перенос на физическое оборудование пока не гарантирован. Автоматически созданный мир может неверно отражать трение, контакт и неожиданные события настоящего производства.

Самое интересное здесь — различие между выученным примером и новым поведением. Обобщение^[2] означает, что система справляется с условиями, которых не было в точности в учебных данных. Однако один эффектный ролик не показывает, сколько попыток завершилось неудачей. Полезно спросить, как выглядели контрольные задания, менялись ли предметы и освещение, кто выбирал удачные демонстрации и какие сравнения проводились. Тогда новая технология становится понятной как проверяемая гипотеза, а не как обещание робота, который уже умеет всё. Прежде чем полагаться на оценки симулятора, необходимо сравнить воспроизведение контактов, трения и условий задачи с измерениями реального оборудования. Низкая оценка в тесте показывает пробел именно в этом испытании.