Когда берёшь стакан, важно не просто согнуть пальцы. Нужно коснуться его в подходящих местах, иначе он выскользнет. Исследователи во главе с Чжисюанем Сюем решили учить роботизированные руки по тому, как меняются места прикосновения к предмету. Для этого они использовали изображения с камер у кончиков пальцев и описание поверхности контакта.

Один этап их метода записывает, где пальцы человека касались вещи. Другой помогает роботу выбрать свои места прикосновения и движения кисти. Это важно потому, что человеческая ладонь и рука робота могут сильно отличаться. Слепое повторение углов человеческих суставов не обязательно позволит роботу удержать тот же предмет.

Метод сравнили с другими вариантами на шести сочетаниях заданий и роботизированных рук. Авторы сообщили, что средний успех на заключительном этапе вырос как минимум на 50 процентных пунктов. Процентный пункт означает разницу между долями успеха: например, рост с 20% до 70% равен 50 пунктам.

Архитектура разделяет интерфейс демонстрации и интерфейс обучения. Первый совмещает общую геометрию контакта с цветными изображениями от камер у кончиков пальцев и при переносе сначала согласует контакт, а затем позу. Второй использует планировщик относительных траекторий контактных поверхностей и низкоуровневое управление кистью и пальцами. Авторы опубликовали программное обеспечение и аппаратные чертежи, что облегчает независимые эксперименты с другими кистями.

В опытах участвовали определённые модели рук и набор заданий. Это не доказательство, что новый способ уже умеет обращаться с любой посудой или инструментом. Но внимание к самому прикосновению помогает объяснить, почему похожее движение пальцев иногда даёт совсем разный результат.

Результат «не менее 50 пунктов» относится к заключительному этапу шести пар рука–задача, а не к любой манипуляции целиком. Изменение материала предмета, ошибок калибровки и начального подвода руки требует отдельной проверки. Метод сохраняет прежде всего характер соприкосновения, а не визуальное сходство человеческих и роботизированных поз.