Как роботы учатся: видео, прикосновение и маленькие модели

Пять исследований помогают понять, почему одного большого алгоритма недостаточно для уверенного действия в мире.

Новости

Как видео помогает роботу делать то, чему его не учили

Представь, что тебе показали видео, как человек раскладывает вещи по полкам, но не рассказали, какие именно движения нужно повторить. Роботу тоже трудно учиться только по картинке. Группа исследователей во главе с Цзюнем Цэнем изучила, может ли видео помочь роботу справляться с заданиями, которых не было среди обычных тренировочных примеров.

Почему роботу недостаточно повторить форму человеческой ладони

Когда берёшь стакан, важно не просто согнуть пальцы. Нужно коснуться его в подходящих местах, иначе он выскользнет. Исследователи во главе с Чжисюанем Сюем решили учить роботизированные руки по тому, как меняются места прикосновения к предмету. Для этого они использовали изображения с камер у кончиков пальцев и описание поверхности контакта.

Маленький робот-агент почти догнал большого после улучшения окружающего кода

У робота есть не только обученная нейросеть, но и программная обвязка: код, который вызывает инструменты, запоминает ошибки и решает, когда повторить попытку. Кэхун Гун и коллеги в исследовании TinyAstral попробовали улучшить именно эту окружающую часть, не меняя параметры большой модели. Затем они обучили маленькую модель действовать внутри уже улучшенной системы.

Почему робот, который лучше следит за человеком, может чаще сталкиваться

Представь робота, который должен идти за определённым человеком в людном коридоре. Если перед ним пройдёт кто-то в похожей одежде, робот может ошибиться. Группа исследователей во главе с Минъяном Люем проверила, как улучшение слежения за человеком влияет на безопасность движения.

Почему одну карту мира нельзя просто передать любому роботу

В узком коридоре маленький робот на колёсах и большой робот с другой системой поворота не могут ехать совершенно одинаково. Команда «поверни направо» приведёт к разным движениям. Группа Чжидуна Вана предложила учить одну программу планировать путь для нескольких видов роботов, не забывая об их различиях.

Анализ

Между знанием и движением есть промежуточный слой

Видео, контакты пальцев и программная обвязка помогают переводить знания в физические действия.

Понятия и термины

Словарь выпуска

Ключевые понятия этого выпуска — коротко и по существу.

WorldBridge: Модель, связывающая предсказание видео с действиями робота.
RoboTwin 2.0: Виртуальный набор заданий для оценки управления роботами.
Contact Imitation Interface: Метод переноса навыков через геометрию прикосновения.
контактная поверхность: Участок предмета, где пальцы передают усилие.
TRACE: Фильтр риска для слежения за человеком.
Hourglass: Общая навигация с отдельной моделью движения каждой платформы.
модель мира: Программа, предсказывающая изменение сцены после движения.
TinyAstral: Метод переноса улучшенной обвязки в небольшого робота-агента.
программная обвязка: Инструменты, память и обработка ошибок вокруг обученной модели.
дистилляция: Обучение маленькой модели по поведению большой.
процентный пункт: Разница между значениями успешности, выраженными в процентах.