同じ線を何度もなぞれるだけでは、ロボットが新しいお願いに対応できるか分からない。Xiangyu Xu氏らが発表した研究では、白い画面に言葉で指示された物や配置を描く。正しい絵は一種類とは限らず、線を描く順番もいくつか考えられる。そこで、決まった動きを暗記するだけでは十分ではない。

研究者は282種類の描画課題について、仮想環境で28,200件の動作例を用意し、画像と言葉から動きを決める五つのモデルを比べた。学習する例の種類を増やした時の変化や、物の位置関係を理解できるか、知っている形を新しい組み合わせで描けるかを調べた。モデルによって失敗のしかたが違い、新しい配置に対応できた例も報告されている。

本物のロボットアームというロボットアームでも、人が途中で関わった時に反応しながら絵を描く実験を行った。ただし、絵を描くことは動きの範囲を決めやすい特別な課題だ。食器を片づけたり、倉庫で荷物を扱ったりする力が同じようにあるとは言えない。

新しい技術を考える時には、一度できたことと、何度でも安定してできることを分けたい。初めて行く学校で道を探す時、目印を一つ覚えただけでは、通れない道があったら困る。ロボットの学習も同じで、見たことのない物や少し違う場所で試す必要がある。論文の数字は、そこで決めた試験の結果だ。どんな時に失敗したのか、人が助けた場面はあったのか、何を変えて試したのかを考えると、発明がどこまで進んだかをもっと正確に理解できる。 注目したいのは絵の上手さだけではなく、知っている形を新しい並び方で描けるかどうかだ。線の正確さと言葉の理解は別々に比べたい。 参考として、この仕組みの名前はBURGERだ。