Человеческая кисть и механическая рука устроены по-разному: одинаковое движение пальцев не гарантирует одинакового контакта с предметом. Команда Хаочжэ Чжана предложила подход, совместно разработав носимое устройство для записи действий человека и соответствующий интерфейс роботизированной руки. Оба собирают визуальные и тактильные сигналы, чтобы переводить демонстрации между разными конструкциями.
Компонент способ сопоставления контактов сопоставляет участки контакта кончиков пальцев и их взаимное расположение, используя измеренные прикосновения. Авторы подчёркивают, что для преобразования не нужны трёхмерная модель предмета, точная оценка его позы или физический симулятор. После синтеза изображений и преобразования команд данные используются для дополнительного обучения модели, связывающей изображение, язык и движение.
В четырёх реальных задачах с существенным контактом политики, обученные только на преобразованных человеческих демонстрациях, достигли среднего успеха 72,5%. Обучение на равном количестве демонстраций, записанных при прямом управлении роботом, дало 77,5%, зато человеческие записи собирались в семь раз быстрее. Это результат ограниченного набора задач и оборудования; перенос на другие руки и материалы ещё нужно проверять.
Важное различие — один раз выполнить действие и уверенно повторять его в разных условиях. Представь, что ты ищешь дорогу в незнакомом музее: запомнить один поворот недостаточно, если проход закрыли. Робота тоже нужно проверять с другими предметами и в немного изменённой обстановке. Числа в исследовании относятся только к описанному испытанию[1]. Полезно спросить, где система ошибалась, помогал ли человек и что изменилось между тренировкой и проверкой. Так можно понять, чему действительно научилась машина, не принимая красивую демонстрацию за готовое решение. Семикратное ускорение записи не отменяет проверки контакта с конкретным предметом. Разница между 72,5% и 77,5% важна вместе со стоимостью ошибок и дообучения. Для справки: разработчики назвали эту систему TouchBridge.