Две роботизированные кисти могут иметь разное количество суставов, но им приходится решать похожие задачи: удерживать предмет, поворачивать его и согласовывать движение обеих рук. Сяоюй Ян и Нань У предложили подход, объединяющий предварительное обучение на движениях людей, обучение в симуляции, сбор демонстраций робота и управление с обратной связью по изображению.
На этапе предварительного обучения система предсказывает одну секунду движения двух рук по пяти изображениям и тридцати размеченным состояниям кистей из предыдущей секунды. Для переноса между конструкциями сохраняются общие представления движения запястий, а управление пальцами учитывает особенности конкретной руки. Авторы проверяли шестиканальные кисти первой конструкции и кисти второй конструкции с шестнадцатью суставами.
В испытаниях[1] прямая регрессия дала 40,6% успеха при открывании и возвращении крышки, 100% при переориентации предмета кистью первой конструкции и 93,3% кистью второй конструкции. Метод flow matching показал 90% на переориентации второй конструкции. Это разные задачи и настройки, поэтому цифры нельзя напрямую считать общим рейтингом рук. Исследование также подчёркивает пользу согласования соседних фрагментов плана.
Важное различие — один раз выполнить действие и уверенно повторять его в разных условиях. Представь, что ты ищешь дорогу в незнакомом музее: запомнить один поворот недостаточно, если проход закрыли. Робота тоже нужно проверять с другими предметами и в немного изменённой обстановке. Числа в исследовании относятся только к описанному испытанию. Полезно спросить, где система ошибалась, помогал ли человек и что изменилось между тренировкой и проверкой. Так можно понять, чему действительно научилась машина, не принимая красивую демонстрацию за готовое решение. Общие представления запястья и отдельные параметры пальцев позволяют изучать перенос между конструкциями. Результаты зависят от предмета и метода управления. Для справки: разработчики назвали эту систему AcrossDEX 1.0.