ロボットの手は、指の数や曲がる部分の数が機種によって違う。それでも、両手で物を持ち、向きを変える時には、手首と指をうまく合わせる必要がある。Xiaoyu Yang氏とNan Wu氏が提案した方法は、人の動きから学ぶ段階と、仮想環境での練習、ロボットでの記録、カメラを見ながら動きを直す段階をつなぐ方法だ。

最初の学習では、前の一秒間に記録された五枚の画像と三十個の手の状態を使い、次の一秒の両手の動きを予測する。ロボットに合わせる時には、手首の動きに関する共通の部分を残し、指の制御だけをそれぞれの構造に合わせる。実験には、六つの制御入力を持つ一つ目の手の手と、十六の関節を持つ二つ目の手の手を使った。

直接予測する方法では、ふたを開けて戻す課題の成功率は40.6％、一つ目の手で物の向きを変える課題は100％、二つ目の手では93.3％だった。別の生成方法は二つ目の手で90％を示した。ただし、課題が違う数字を並べても、どちらの手がいつも優秀かは分からない。研究では、動きを途中で考え直す時に、前の計画と急に食い違わないようにすることも重要だと報告している。

新しい技術を考える時には、一度できたことと、何度でも安定してできることを分けたい。初めて行く学校で道を探す時、目印を一つ覚えただけでは、通れない道があったら困る。ロボットの学習も同じで、見たことのない物や少し違う場所で試す必要がある。論文の数字は、そこで決めた試験の結果だ。どんな時に失敗したのか、人が助けた場面はあったのか、何を変えて試したのかを考えると、発明がどこまで進んだかをもっと正確に理解できる。 手首の共通した動きと、それぞれの指に合わせた制御を分けることが研究のポイントだ。成功率は物の形や制御方法によって変わる。 参考として、この仕組みの名前はAcrossDEX 1.0だ。