Вставить маленький сетевой разъём в нужное гнездо труднее, чем кажется. Нужно правильно повернуть его, подвести ровно и не промахнуться. Исследователи под руководством Аммара Аббаса сравнили способы обучения руки робота с пятью пальцами. Они провели около 1700 попыток на настоящем оборудовании, а не только на экране.
Всего учёные испытали 281 вариант управляющей программы из семи групп. Они меняли, какую информацию программа получает от камер и как записывает движение пальцев. Это называется представлением данных: одну и ту же задачу можно описать разными числами и картинками. Иногда способ описания влиял на результат сильнее, чем обычная настройка обучения.
Исследователи также проверили 67 показателей, которые можно вычислить без настоящей попытки вставить разъём. Только пять показателей, связанных с плавностью и прямотой движения, хорошо совпадали с успехом, и то лишь внутри одной группы программ. Поэтому красивое движение на экране ещё не гарантирует, что пальцы попадут в гнездо.
Для методов на облаках точек[1] обрезка нужной области, система координат относительно основания робота и нормализация признаков дали по 70–100 процентных пунктов улучшения в отдельных контролируемых сравнениях. Для модели, связывающей зрение, текст и действие, переход от относительных команд к абсолютным дал до 70 пунктов. Это результаты разных экспериментов; их нельзя суммировать или переносить на любую архитектуру. Авторы проверяли семь семейств политик, что позволяет увидеть различия между способами представления данных.
Результаты относятся к определённой руке, разъёму и способам испытаний. Они не говорят, что одна программа лучше для любых предметов. Зато теперь яснее, почему перед использованием робота нужно дать ему поработать с настоящими вещами.
Из 67 автономно вычисляемых метрик только пять надёжно коррелировали с успехом, и только внутри одной семьи моделей. Корреляции от −0,70 до −0,80 для плавности и прямоты предсказанной траектории не означают, что эти показатели заменят испытание на оборудовании. Особенно уязвима попытка выбирать модель исключительно по потере на проверочной выборке.