Представь, что тебе показали видео, как человек раскладывает вещи по полкам, но не рассказали, какие именно движения нужно повторить. Роботу тоже трудно учиться только по картинке. Группа исследователей во главе с Цзюнем Цэнем изучила, может ли видео помочь роботу справляться с заданиями, которых не было среди обычных тренировочных примеров.

Для этого учёные использовали обучение по видео^[1]: система пытается представить, как будет выглядеть следующий момент действия. Другая часть системы подбирает движения, которые могли бы привести к такой картине. Это не означает, что робот просто копирует человека: у него другие руки, размеры и возможности, а движение приходится рассчитывать отдельно.

В виртуальном испытании с новыми заданиями первоначальная система выполняла их успешно в 25,07% случаев. Когда ей добавили видео этих заданий без записанных команд, результат поднялся до 55,90%. А после одного примера с командами^[2] для каждого нового задания он достиг 70,70%. Эти числа относятся к определённому компьютерному набору испытаний, а не ко всем роботам.

Исследование показывает, почему видео может быть полезным учебным материалом. Но пока нельзя утверждать, что любой робот научится по одному ролику собирать шкаф или готовить обед дома. В статье проверяли конкретные задания и условия. Видео без команд оказалось полезным, но один пример с командами дал дополнительное улучшение.