Человеческая кисть и механическая рука устроены по-разному: одинаковое движение пальцев не гарантирует одинакового контакта с предметом. Команда Хаочжэ Чжана предложила TouchBridge, совместно разработав носимое устройство для записи действий человека и соответствующий интерфейс роботизированной руки. Оба собирают визуальные и тактильные сигналы, чтобы переводить демонстрации между разными конструкциями.
Компонент Tac-Retarget сопоставляет участки контакта кончиков пальцев и их взаимное расположение, используя измеренные прикосновения. Авторы подчёркивают, что для преобразования не нужны трёхмерная модель предмета, точная оценка его позы или физический симулятор. После синтеза изображений и преобразования команд данные используются для дополнительного обучения модели, связывающей изображение, язык и движение.
В четырёх реальных задачах с существенным контактом политики, обученные только на преобразованных человеческих демонстрациях, достигли среднего успеха 72,5%. Обучение на равном количестве демонстраций, записанных при прямом управлении роботом, дало 77,5%, зато человеческие записи собирались в семь раз быстрее. Это результат ограниченного набора задач и оборудования; перенос на другие руки и материалы ещё нужно проверять.
Самое интересное здесь — различие между выученным примером и новым поведением. Обобщение[1] означает, что система справляется с условиями, которых не было в точности в учебных данных. Однако один эффектный ролик не показывает, сколько попыток завершилось неудачей. Полезно спросить, как выглядели контрольные задания, менялись ли предметы и освещение, кто выбирал удачные демонстрации и какие сравнения проводились. Тогда новая технология становится понятной как проверяемая гипотеза, а не как обещание робота, который уже умеет всё. Семикратное ускорение записи не отменяет проверки контакта с конкретным предметом. Разница между 72,5% и 77,5% важна вместе со стоимостью ошибок и дообучения.