Представь, что тебе показали видео, как человек раскладывает вещи по полкам, но не рассказали, какие именно движения нужно повторить. Роботу тоже трудно учиться только по картинке. Группа исследователей во главе с Цзюнем Цэнем изучила, может ли видео помочь роботу справляться с заданиями, которых не было среди обычных тренировочных примеров.
Для этого учёные использовали обучение по видео: система пытается представить, как будет выглядеть следующий момент действия. Другая часть системы подбирает движения, которые могли бы привести к такой картине. Это не означает, что робот просто копирует человека: у него другие руки, размеры и возможности, а движение приходится рассчитывать отдельно.
В виртуальном испытании с новыми заданиями первоначальная система выполняла их успешно в 25,07% случаев. Когда ей добавили видео этих заданий без записанных команд, результат поднялся до 55,90%. А после одного примера с командами для каждого нового задания он достиг 70,70%. Эти числа относятся к определённому компьютерному набору испытаний, а не ко всем роботам.
WorldBridge объединяет два экспертных компонента: предсказатель визуальной последовательности и генератор действий. Их связывают структурированное внимание и совместное согласование потоков, а память поддерживает два временных масштаба. Авторы отдельно измеряют пользу видео неизвестных задач и одного дополнительного примера с размеченными действиями. Последний поднимает успех до 70,70%, но требует иной объём супервизии, поэтому сравнение с режимом без меток должно явно фиксировать бюджет данных.
Исследование показывает, почему видео может быть полезным учебным материалом. Но пока нельзя утверждать, что любой робот научится по одному ролику собирать шкаф или готовить обед дома. В статье проверяли конкретные задания и условия.
Указанные 96,23% для полной конфигурации RoboTwin 2.0[2] относятся к другому протоколу, а не к испытанию на новых задачах. Переход на другой захват, камеру или реальный манипулятор в этих цифрах не проверен. Воспроизводимый эксперимент обязан разделять видео, метки действий и тестовые задания.