Человеческая кисть и механическая рука устроены по-разному: одинаковое движение пальцев не гарантирует одинакового контакта с предметом. Команда Хаочжэ Чжана предложила TouchBridge, совместно разработав носимое устройство для записи действий человека и соответствующий интерфейс роботизированной руки. Оба собирают визуальные и тактильные сигналы, чтобы переводить демонстрации между разными конструкциями.
Компонент Tac-Retarget сопоставляет участки контакта кончиков пальцев и их взаимное расположение, используя измеренные прикосновения. Авторы подчёркивают, что для преобразования не нужны трёхмерная модель предмета, точная оценка его позы или физический симулятор. После синтеза изображений и преобразования команд данные используются для дополнительного обучения модели, связывающей изображение, язык и движение.
В четырёх реальных задачах с существенным контактом политики, обученные только на преобразованных человеческих демонстрациях, достигли среднего успеха 72,5%. Обучение на равном количестве демонстраций, записанных при прямом управлении роботом, дало 77,5%, зато человеческие записи собирались в семь раз быстрее. Это результат ограниченного набора задач и оборудования; перенос на другие руки и материалы ещё нужно проверять.
Для заказчика главный вопрос — как этот подход войдёт в существующий процесс без скрытых расходов. Интеграция[1] включает датчики, интерфейсы управления, обучение сотрудников, журналирование и порядок ручного вмешательства. Пилотное испытание[2] должно заранее определять допустимый риск, стоимость одной успешной операции и последствия остановки оборудования. Если публикация сообщает только результаты лабораторного теста, расчёт окупаемости делать рано. Поставщику следует предложить воспроизводимую демонстрацию на предметах и данных самого клиента, а также план обслуживания после внедрения. Семикратное ускорение записи не отменяет проверки контакта с конкретным предметом. Разница между 72,5% и 77,5% важна вместе со стоимостью ошибок и дообучения.