Чтобы выбрать действие, роботу полезно предсказывать, как изменится окружающая сцена. WorldFlow — исследовательская модель от 29 октября, которая одновременно строит будущие кадры видео и прогнозирует движение выбранных точек в трёхмерном пространстве[2]. Она описывает возможные изменения, но не выдаёт команды двигателям.
Авторы объединили изображения и пространственные смещения в общей генеративной архитектуре. Обучение использовало 1,44 миллиона примеров объектов, а тестовый набор WorldFlowBench — 1678 примеров из 11 источников. На SpatialCog средняя ошибка[3] смещения составила 0,060 метра, на 54,2% меньше результата сильнейшего внешнего метода в сравнении авторов.
Прежде чем подключать такую модель к реальному роботу, нужно проверить задержку вычислений, перекрытия объектов, точность камер и накопление ошибок. Достоверность прогнозов и надёжность самостоятельной манипуляции — разные показатели.


