Две роботизированные кисти могут иметь разное количество суставов, но им приходится решать похожие задачи: удерживать предмет, поворачивать его и согласовывать движение обеих рук. Сяоюй Ян и Нань У предложили AcrossDEX 1.0, объединяющий предварительное обучение на движениях людей, обучение в симуляции^[1], сбор демонстраций робота и управление с обратной связью^[2] по изображению.

На этапе предварительного обучения система предсказывает одну секунду движения двух рук по пяти изображениям и тридцати размеченным состояниям кистей из предыдущей секунды. Для переноса между конструкциями сохраняются общие представления движения запястий, а управление пальцами учитывает особенности конкретной руки. Авторы проверяли шестиканальные кисти Inspire и кисти Allegro с шестнадцатью суставами.

В испытаниях прямая регрессия дала 40,6% успеха при открывании и возвращении крышки, 100% при переориентации предмета кистью Inspire и 93,3% кистью Allegro. Метод flow matching показал 90% на переориентации Allegro. Это разные задачи и настройки, поэтому цифры нельзя напрямую считать общим рейтингом рук. Исследование также подчёркивает пользу согласования соседних фрагментов плана.

Самое интересное здесь — различие между выученным примером и новым поведением. Обобщение^[3] означает, что система справляется с условиями, которых не было в точности в учебных данных. Однако один эффектный ролик не показывает, сколько попыток завершилось неудачей. Полезно спросить, как выглядели контрольные задания, менялись ли предметы и освещение, кто выбирал удачные демонстрации и какие сравнения проводились. Тогда новая технология становится понятной как проверяемая гипотеза, а не как обещание робота, который уже умеет всё. Общие представления запястья и отдельные параметры пальцев позволяют изучать перенос между конструкциями. Результаты зависят от предмета и метода управления.