Представь, что тебе показали видео, как человек раскладывает вещи по полкам, но не рассказали, какие именно движения нужно повторить. Роботу тоже трудно учиться только по картинке. Группа исследователей во главе с Цзюнем Цэнем изучила, может ли видео помочь роботу справляться с заданиями, которых не было среди обычных тренировочных примеров.
Для этого учёные использовали обучение по видео: система пытается представить, как будет выглядеть следующий момент действия. Другая часть системы подбирает движения, которые могли бы привести к такой картине. Это не означает, что робот просто копирует человека: у него другие руки, размеры и возможности, а движение приходится рассчитывать отдельно.
В виртуальном испытании с новыми заданиями первоначальная система выполняла их успешно в 25,07% случаев. Когда ей добавили видео этих заданий без записанных команд, результат поднялся до 55,90%. А после одного примера с командами для каждого нового задания он достиг 70,70%. Эти числа относятся к определённому компьютерному набору испытаний, а не ко всем роботам.
WorldBridge[1] объединяет два экспертных компонента: предсказатель визуальной последовательности и генератор действий. Их связывают структурированное внимание и совместное согласование потоков, а память поддерживает два временных масштаба. Авторы отдельно измеряют пользу видео неизвестных задач и одного дополнительного примера с размеченными действиями. Последний поднимает успех до 70,70%, но требует иной объём супервизии, поэтому сравнение с режимом без меток должно явно фиксировать бюджет данных.
Исследование показывает, почему видео может быть полезным учебным материалом. Но пока нельзя утверждать, что любой робот научится по одному ролику собирать шкаф или готовить обед дома. В статье проверяли конкретные задания и условия.
Здесь любопытно различие между «увидеть, что должно произойти» и «знать, как этого добиться». Видео показывает изменение предметов, но не содержит усилий и команд суставам. Модель пытается восстановить недостающий переход от картинки к действию. Один пример с командами повышает успех до 70,70%, что подчёркивает ценность даже небольшого количества физически привязанных данных. Однако видеопрогноз может выглядеть правдоподобно и при этом быть невыполнимым конкретной рукой.
Указанные 96,23% для полной конфигурации RoboTwin 2.0[2] относятся к другому протоколу, а не к испытанию на новых задачах. Переход на другой захват, камеру или реальный манипулятор в этих цифрах не проверен. Воспроизводимый эксперимент обязан разделять видео, метки действий и тестовые задания.
В работе отдельно приведены 96,23% для полной конфигурации другого испытания. Это не результат на тех же новых задачах. Вопрос о том, сможет ли такой метод научиться по обычному домашнему видео, остаётся открытым: у бытовых роликов нет строгой записи движения робота.