だれかが物をたなに並べる動画を見たとします。でも、手をどの方向へ何センチ動かしたかは書かれていません。ロボットにとっても、映像だけから作業を覚えるのはむずかしいことです。ジュン・ツェンさんたちの研究チームは、練習したことのない作業でも、動画が助けになるかを調べました。大切なのは、見た場面と実際の手の動きをつなぐことです。

研究では、動画から次にどんな場面になるかを予想するしくみと、その場面に近づくための動きを考えるしくみを組み合わせました。これを動画からの学習と考えることができます。ただし、人の動きをそのまままねするわけではありません。人とロボットでは手の形や動かせる場所がちがうため、ロボットに合った命令を別に決める必要があります。

新しい作業を行うコンピューター上の試験では、最初の成功率は25.07％でした。その作業の動画を追加すると55.90％になりました。さらに、動きの命令が付いたお手本を作業ごとに一つ加えると70.70％になりました。成功率とは、決められた回数のうち、うまくできた割合のことです。この数字は研究で使った試験の結果です。

WorldBridge^[1]は、映像の続きを予測する部分と動作を作る部分を分け、構造化された注意機構でつなぎます。両者はフローマッチングで共同学習され、短期と長期の視覚記憶も使います。研究では、新しい課題の動画だけを追加する条件と、動作ラベル付きのお手本を一つ加える条件を分けました。後者では成功率が70.70％になりますが、学習に使える情報量が異なります。同じ条件の数字として扱うと、動画そのものの効果を誤って評価します。

だからといって、どんなロボットでも動画を一度見れば料理や家具の組み立てができるわけではありません。動画に写っていない力のかけ方や、初めて見る道具への対応には、まだ調べることがあります。今回わかったのは、動画だけでも新しい作業の練習に役立つ場合があるということです。

興味深いのは、「次に何が起こるかを見ること」と「それを起こす動作を知ること」の違いです。動画には物の位置の変化が写りますが、関節の命令や加えた力は記録されていません。モデルは映像と行動の間にある不足した情報を推定します。動作命令付きのお手本を一つ加えると成功率は70.70％になります。少ない実機の情報でも役立つ一方、見た目が自然な動画の予測が、実際の手で実行できるとは限りません。

RoboTwin 2.0^[2]の全データ条件で報告された96.23％は、新規課題の比較とは別の試験設定です。異なるロボットの手やカメラ、実機への移行で同じ改善が得られるとは確認されていません。再現には動画の種類、動作ラベルの数、試験課題の分離を明記する必要があります。

別の全データ条件では96.23％も報告されていますが、未知の課題と同じ試験ではありません。普通の家庭の動画からそのまま作業を覚えられるかは、まだ確かめられていません。家庭の動画には、ロボットが使う正確な動作命令がほとんど付いていないためです。