「箱を探して持ってきて」と頼むと、ロボットは移動先、つかみ方、作業が終わったかの確認を順番に考える必要がある。Google Cloudは10月27日、こうした手順を考えるGemini Robotics Embodied Reasoning 2のパブリックプレビュー^[1]を発表した。モーターを直接動かす装置ではなく、別の制御プログラムを呼び出すモデルだ。

プログラム同士の呼び出し口をAPI^[2]という。モデルは動画を見て、移動や物体操作の機能を選び、結果を確かめる。複数の機能をまとめて使うことをオーケストレーション^[3]と呼ぶ。複数ロボットの協力も想定されるが、実際にできることは各機体によって異なる。

Googleは動画中の重要な瞬間を見つけるテストで正解率91.3%、時間の平均誤差0.96秒と報告した。これは特定の映像テストの成績で、どんな仕事も91.3%成功する意味ではない。今回の新情報は主にクラウドでの提供開始であり、通信の遅れや緊急停止への対策は現場で必要だ。