部屋の地図を見ればドアの位置は分かるが、どちらに開くのか、どれほどの力が必要なのかは分からない。Dibyendu Ghosh氏が提案したPhysVLMMは、動く部品の性質について、まだ分からない部分も含めて記録する方法だ。ロボットが引く力を測ると情報が更新され、計画を立てる仕組みは、決めた危険度の範囲で動かせそうかを問い合わせられる。

動く様子を見ただけでは仕組みを一つに決められない。実際に引いて測った情報も、その部品と引いた方向についての証拠に限られる。そこで複数の可能性と確からしさを残し、形が似た未確認の部品にも一部の情報を共有する。証拠が足りなければ答えを保留できる。

18軒の本物のドアと引き出しでは、部品のつなぎ目の種類を86％で判定した。比較した画像一枚の方法は48％だった。動きの予測誤差は比較対象より小さく、計算時間も一例当たり13ミリ秒と報告された。ただし、すべての家庭や機械で安全に使えると証明した結果ではない。

導入を考える企業にとっては、今ある仕事の流れにどう組み込むかが重要だ。センサーや制御装置の接続だけでなく、担当者の教育、操作の記録、困った時に人が止める方法も必要になる。小さな実証では、許せる危険の範囲、一回の成功にかかる費用、停止した時の影響を先に決めておきたい。研究室の点数だけで投資回収を計算することはできない。顧客が実際に扱う物やデータで再現できるかを確かめ、導入後の保守や更新の負担も見積もる必要がある。 引く力、動く方向、予測の不確かさを別々に測ることが大切だ。知らないドアを開ける前には、間違って安全と判断した場合も調べる必要がある。