工場のロボットは、危険な動作を制限できるソフトウェアの命令を通して動くことがあります。イージャ・ファン氏らが提案したCaPtainでは、小型の画像・言語モデルが、そのような道具を選んで呼び出します。モデルの周囲には、カメラ情報の処理、位置の計算、許可された移動を管理するプログラムがあります。関節の動きをすべて直接出す方式とは異なり、利用できる操作を決める場所が明確です。

研究者はまず道具を呼び出すお手本で学習させ、次に複数回の命令を通じて成功を増やす追加学習を行いました。学習中だけ、シミュレーターの内部情報を使う評価器で各命令の役割を調べます。実行時のモデルにはその特別な情報を与えません。LIBEROの未使用課題では、学習前0％、最初の学習後55.4％、次の学習後73.8％と報告されました。

導入する企業にとっては、細かな作業手順を一つずつ手作業で書く負担を減らせる可能性があります。ただし、使用できる命令の一覧、実行記録、認識をまちがえた場合の試験は必要です。別のLIBERO-PROでは78.5％、対象環境で追加学習しないSimplerEnv WidowX^[2]では83.3％と報告しています。これらは異なる試験であり、生産ラインの処理能力を保証する数字ではありません。

論文では実機への移行と、コード、データ、モデルの重みの公開も報告しています。しかし、産業安全規格への適合や導入費用を独立に評価したものではありません。試験導入では作業の成功率に加え、カメラがまちがった情報を出したとき、どの命令まで機械へ送れるかを確かめる必要があります。