Когда берёшь стакан, важно не просто согнуть пальцы. Нужно коснуться его в подходящих местах, иначе он выскользнет. Исследователи во главе с Чжисюанем Сюем решили учить роботизированные руки по тому, как меняются места прикосновения к предмету. Для этого они использовали изображения с камер у кончиков пальцев и описание поверхности контакта.
Один этап их метода записывает, где пальцы человека касались вещи. Другой помогает роботу выбрать свои места прикосновения и движения кисти. Это важно потому, что человеческая ладонь и рука робота могут сильно отличаться. Слепое повторение углов человеческих суставов не обязательно позволит роботу удержать тот же предмет.
Метод сравнили с другими вариантами на шести сочетаниях заданий и роботизированных рук. Авторы сообщили, что средний успех на заключительном этапе вырос как минимум на 50 процентных пунктов[1]. Процентный пункт означает разницу между долями успеха: например, рост с 20% до 70% равен 50 пунктам.
Архитектура разделяет интерфейс демонстрации и интерфейс обучения. Первый совмещает общую геометрию контакта с цветными изображениями от камер у кончиков пальцев и при переносе сначала согласует контакт, а затем позу. Второй использует планировщик относительных траекторий контактных поверхностей[2] и низкоуровневое управление кистью и пальцами. Авторы опубликовали программное обеспечение и аппаратные чертежи, что облегчает независимые эксперименты с другими кистями.
В опытах участвовали определённые модели рук и набор заданий. Это не доказательство, что новый способ уже умеет обращаться с любой посудой или инструментом. Но внимание к самому прикосновению помогает объяснить, почему похожее движение пальцев иногда даёт совсем разный результат.
В человеческом захвате важны силы и положение точек контакта, а не только похожая поза. Именно поэтому одинаково согнутые пальцы могут удержать одну чашку и уронить другую. В Contact Imitation Interface[3] исследователи записывают, как контакт перемещается по поверхности предмета, а затем находят подходящее движение уже для роботизированной кисти. Камеры у кончиков пальцев помогают видеть взаимодействие вблизи, а отдельный контроллер координирует кисть и пальцы.
Результат «не менее 50 пунктов» относится к заключительному этапу шести пар рука–задача, а не к любой манипуляции целиком. Изменение материала предмета, ошибок калибровки и начального подвода руки требует отдельной проверки. Метод сохраняет прежде всего характер соприкосновения, а не визуальное сходство человеческих и роботизированных поз.
Описанный выигрыш относится к конкретным шести сочетаниям руки и задачи. Он не отвечает, что произойдёт с мокрым стаканом, мягкой тканью или неожиданно скользкой поверхностью. Эти случаи потребуют новых опытов, даже если движения пальцев выглядят знакомыми.