人の指とロボットの指は、長さも曲がり方も同じではない。人の動きをそのまま写しても、物に触れる位置がずれてしまうことがある。Haozhe Zhang氏らが発表したTouchBridgeは、人が身につける記録装置とロボット側の装置を組み合わせ、見え方だけでなく、指先がどこに触れたかも記録する方法だ。

中心となるTac-Retargetという仕組みは、指先が触れた部分の位置関係を合わせて、人の作業例をロボットの動きに変換する。研究者によれば、この変換のために物の正確な三次元模型や位置の推定、物理シミュレーションを用意する必要はない。変換した映像と動作のデータを使い、画像や指示から動きを選ぶモデルを追加学習させる。

本物の物を使う四つの課題では、人の作業例を変換したデータだけで学習した場合の平均成功率は72.5％だった。ロボットを直接操作して集めた同じ数の例では77.5％だったが、人の作業例は七倍の速さで集められた。ただし、これは決まった課題と装置での結果であり、どんな形の手や物にもそのまま使えると証明されたわけではない。

導入を考える企業にとっては、今ある仕事の流れにどう組み込むかが重要だ。センサーや制御装置の接続だけでなく、担当者の教育、操作の記録、困った時に人が止める方法も必要になる。小さな実証では、許せる危険の範囲、一回の成功にかかる費用、停止した時の影響を先に決めておきたい。研究室の点数だけで投資回収を計算することはできない。顧客が実際に扱う物やデータで再現できるかを確かめ、導入後の保守や更新の負担も見積もる必要がある。 作業例を速く集められても、実際の物にきちんと触れられるかは確認が必要だ。成功率の差は記録が七倍速いという利点と一緒に考えたい。