人の指とロボットの指は、長さも曲がり方も同じではない。人の動きをそのまま写しても、物に触れる位置がずれてしまうことがある。Haozhe Zhang氏らが発表した方法は、人が身につける記録装置とロボット側の装置を組み合わせ、見え方だけでなく、指先がどこに触れたかも記録する方法だ。

中心となる指先の位置を合わせる方法という仕組みは、指先が触れた部分の位置関係を合わせて、人の作業例をロボットの動きに変換する。研究者によれば、この変換のために物の正確な三次元模型や位置の推定、物理シミュレーションを用意する必要はない。変換した映像と動作のデータを使い、画像や指示から動きを選ぶモデルを追加学習させる。

本物の物を使う四つの課題では、人の作業例を変換したデータだけで学習した場合の平均成功率は72.5％だった。ロボットを直接操作して集めた同じ数の例では77.5％だったが、人の作業例は七倍の速さで集められた。ただし、これは決まった課題と装置での結果であり、どんな形の手や物にもそのまま使えると証明されたわけではない。

新しい技術を考える時には、一度できたことと、何度でも安定してできることを分けたい。初めて行く学校で道を探す時、目印を一つ覚えただけでは、通れない道があったら困る。ロボットの学習も同じで、見たことのない物や少し違う場所で試す必要がある。論文の数字は、そこで決めた試験の結果だ。どんな時に失敗したのか、人が助けた場面はあったのか、何を変えて試したのかを考えると、発明がどこまで進んだかをもっと正確に理解できる。 作業例を速く集められても、実際の物にきちんと触れられるかは確認が必要だ。成功率の差は記録が七倍速いという利点と一緒に考えたい。 参考として、この仕組みの名前はTouchBridgeだ。