ロボットが物を落としたら、時間は進んでも仕事は進んでいない。10月29日に発表されたEvent2Rewardは、停滞や後戻り、回復を区別して強化学習^[1]の報酬^[2]を作る方法だ。報酬は、行動が目標に近づいたかを伝える信号である。

研究者は失敗を含む約10万件の実機動作記録を調べ、近くの状態どうしの進み具合を比較した。LIBEROの40課題では、作業完了時だけ報酬を与える基準手法より平均成功率が18.16ポイント高かった。

実機では30分の学習後、精密な挿入の3課題で平均60%、物体操作の3課題で90%の成功率だった。ただし、危険な失敗を自由に試せるわけではなく、安全制限と別の環境での検証が必要だ。