Обычная карта помещения говорит роботу, где находится дверь, но не сообщает, насколько тяжело она открывается и в какую сторону движется. Дибьенду Гхош предложил PhysVLMM — метод хранения вероятностных представлений о механике подвижных деталей прямо в карте сцены. После измеренного усилия система обновляет знания, а планировщик спрашивает, допустимо ли действие при заданном риске.
Наблюдать движение недостаточно, чтобы однозначно восстановить динамику предмета. Даже измеренное подтягивание раскрывает сведения лишь об испытанной детали и направлении. Поэтому алгоритм хранит распределение возможных свойств, переносит часть информации на похожие непроверенные детали и может отказаться от ответа при недостатке доказательств.
В экспериментах с дверями и ящиками 18 домов тип соединения определялся в 86% отложенных попыток против 48% у метода по одному изображению. Ошибка прогноза реакции на тягу составила CRPS 0,323 против 0,544 у дифференцируемой симуляции[1], а расчёт занимал 13 миллисекунд вместо 230 секунд на случай. Это результаты конкретных испытаний, а не универсальная гарантия безопасности.
Самое интересное здесь — различие между выученным примером и новым поведением. Обобщение[2] означает, что система справляется с условиями, которых не было в точности в учебных данных. Однако один эффектный ролик не показывает, сколько попыток завершилось неудачей. Полезно спросить, как выглядели контрольные задания, менялись ли предметы и освещение, кто выбирал удачные демонстрации и какие сравнения проводились. Тогда новая технология становится понятной как проверяемая гипотеза, а не как обещание робота, который уже умеет всё. Сила, направление движения и уровень неопределённости должны оставаться измеряемыми величинами. Важно отдельно проверить последствия ошибочного разрешения действия.


