見ただけの動画から、ロボットはなぜ新しい作業を学べるのか
だれかが物をたなに並べる動画を見たとします。でも、手をどの方向へ何センチ動かしたかは書かれていません。ロボットにとっても、映像だけから作業を覚えるのはむずかしいことです。ジュン・ツェンさんたちの研究チームは、練習したことのない作業でも、動画が助けになるかを調べました。大切なのは、見た場面と実際の手の動きをつなぐことです。
読む版を選ぶ
Physical AI — 素晴らしい未来への道。



予報 · 2026-11-03 · MSK
朝 · 09:00
2.1°
曇り
風: 北 1.81 m/s · 38%
昼 · 12:00
3.2°
雨
風: 北 1.46 m/s · 33%
夕方 · 18:00
3.3°
曇り
風: 西 1.9 m/s · 0%
一日: 1.8–4.1 °C
降水確率: 38%
雨の降るあいだ、私たちにできるのは、人間であることを学ぶことだけ。
号 № 6 ·
rev. 1 · アーカイブ
五つの研究から、大きなモデルだけでは現実の動作を十分に説明できない理由を探ります。
だれかが物をたなに並べる動画を見たとします。でも、手をどの方向へ何センチ動かしたかは書かれていません。ロボットにとっても、映像だけから作業を覚えるのはむずかしいことです。ジュン・ツェンさんたちの研究チームは、練習したことのない作業でも、動画が助けになるかを調べました。大切なのは、見た場面と実際の手の動きをつなぐことです。
コップを持つときは、指を曲げるだけでは足りません。ふれる場所が悪いと、コップがすべってしまいます。ジーシュエン・シューさんたちの研究チームは、物のどこに指がふれたかに注目しました。指先の近くにある小さなカメラの映像などを使い、人の手の動きをロボットに教える方法を考えました。
ロボットを動かすのは、学習済みのモデルだけではありません。道具を呼び出し、失敗を記録し、やり直すタイミングを決める周辺プログラムも必要です。ケホン・ゴン氏らのTinyAstralは、大きなモデルの重みを変えずに、まずこの周辺プログラムを改善しました。その後、改良した仕組みの中で働く小さなモデルを学習させました。
人が多い通路で、一人の人についていくロボットを考えてみましょう。似た服の人が前を通ったら、だれを追えばよいか分からなくなるかもしれません。ミンヤン・リューさんたちの研究チームは、人を見失わないようにする学習と、安全な動きがいつも同じ方向に進むのかを調べました。
小さな車輪のロボットと、大きくて曲がり方がちがうロボットを、同じせまい通路で走らせるとします。「右に曲がる」という命令だけでは、二台が同じように進むとはかぎりません。ジードン・ワンさんたちの研究チームは、形や動き方がちがうロボットに、一つの道案内のしくみを使えないか考えました。
動画、指先の接触、周辺ソフトが知識を実際の動きへ結びつけます。
キーワード
この号の大切なことばを、簡潔に解説します。