同じ線を何度もなぞれるだけでは、ロボットが新しいお願いに対応できるか分からない。Xiangyu Xu氏らが発表した研究では、白い画面に言葉で指示された物や配置を描く。正しい絵は一種類とは限らず、線を描く順番もいくつか考えられる。そこで、決まった動きを暗記するだけでは十分ではない。

研究者は282種類の描画課題について、仮想環境で28,200件の動作例を用意し、画像と言葉から動きを決める五つのモデルを比べた。学習する例の種類を増やした時の変化や、物の位置関係を理解できるか、知っている形を新しい組み合わせで描けるかを調べた。モデルによって失敗のしかたが違い、新しい配置に対応できた例も報告されている。

本物のFranka Pandaというロボットアームでも、人が途中で関わった時に反応しながら絵を描く実験を行った。ただし、絵を描くことは動きの範囲を決めやすい特別な課題だ。食器を片づけたり、倉庫で荷物を扱ったりする力が同じようにあるとは言えない。

面白いのは、覚えた例をそのまま繰り返すことと、初めての状況に対応することの違いだ。学習した時と同じではない条件でも動ける力を、ここでは応用力として考えたい。見事な動画が一つあっても、何回失敗したかは分からない。テストで使った物や明るさを変えたのか、成功例を誰が選んだのか、どんな別の方法と比べたのかを聞くと、研究の意味がもっとよく分かる。新しい技術を楽しみながら、何が実証されて何がまだ不明なのかを分けて読むことが大切だ。 注目したいのは絵の上手さだけではなく、知っている形を新しい並び方で描けるかどうかだ。線の正確さと言葉の理解は別々に比べたい。