あるロボットは積み木を速く運び、別のロボットはこわれやすい物をていねいにつかむ。どちらが優れているだろうか。仕事も条件も違うのに、成功した回数だけを比べても答えは出ない。研究者は、実験で何を調べたのかを細かく見直す評価方法を考えた。

この方法では、ロボットの動きを決める学習モデルを五つの観点から比べる。結果がどれほど確かか、新しい仕事に合わせるのにどれくらい費用がかかるか、別の研究チームでも同じような実験ができるか、といった点が重要になる。再現性とは、条件と手順をそろえて実験をくり返したとき、近い結果が得られることだ。

論文には、費用や再現性について十分な情報が書かれていないこともある。そんなとき、分からない数値を勝手に作って合計点を出してはいけない。研究者の方法は、根拠が足りなければ無理に総合順位を付けない。順位を決めないことも、正しい評価の一つなのである。

ロボットの動画を見るときにも、この考え方は役に立つ。何回試したのか、失敗した場面はあるのか、撮影前にどれほど準備したのかを聞いてみよう。評価方法そのものがロボットを賢くするわけではない。参考として、研究者はこの評価の仕組みをRoboSeedと呼んでいる。