ロボットが練習する仮想の場所を作るには、専門家の時間がかかることがある。Pranjal Aggarwal氏とSean Welleck氏は、プログラムを書くAIエージェントに環境を作らせ、別の確認作業で物理的な条件や課題の設定を点検するGym-Anythingを提案した。扱う仕事の種類は、米国の経済活動に関する資料も参考にして選んでいる。

RoboWorldには25種類のシミュレーション^[1]、学習用の175環境、テスト用の25環境がある。研究者によれば、評価した最も強いモデルでもテスト課題を一つも達成できず、平均報酬は0.06だった。報酬は仮想環境の中で決めた得点であり、本物の工場で作業に成功する割合ではない。失敗した試行を次に生かす方法や、内部情報を見られる先生役から学ぶ方法も試した。

研究条件の中では複数の改善方法に効果があったと報告している。しかし、作られた仮想世界が本物の現場と同じように動くか、そこで覚えた技能が実機でも安全に使えるかは別問題だ。

技術者が注目すべきなのは、良い数字だけでなく再現できる条件だ。装置の構成、学習データ、評価の手順、制御の速さ、実験を止める条件をそろえなければ、公平な比較は難しい。平均値が良くても、まれに起こる失敗を見落としてはいけない。計算に使う時間や試行回数も同じ条件で比べる必要がある。別の研究者が別の装置で再現するまでは、発表された改善は研究者が選んだ実験条件の中での証拠として読むべきだ。 まず確かめたいのは、物が触れる時の動きや摩擦、課題の条件が現実に近いかどうかだ。低い点数は今回のテストで弱点が見つかったことを示す。 研究の比較では、使った道具や試した回数が違うだけで結果が変わることがある。平均の成功率が高くても、少ない回数で大きな失敗が起きないか、別の場所でも同じように動くかを調べたい。発表された数字をそのまま製品の性能と考えず、条件を読んで判断することが大切だ。