Когда робот повторяет один знакомый жест, трудно понять, способен ли он действовать по новому заданию. Команда Сянъюя Сю предложила испытание^[1], в котором манипулятор получает словесное описание рисунка и сам выбирает последовательность штрихов. Одинаковое пустое поле допускает разные правильные изображения и порядки движения, поэтому запоминания одной траектории недостаточно.

Авторы собрали 28 200 виртуальных демонстраций по 282 задачам рисования и сравнили пять моделей, связывающих зрение, язык и действия робота. Они изучали влияние разнообразия примеров, понимание пространственных отношений и способность выполнять незнакомые сочетания знакомых предметов. Исследование обнаружило различия между моделями и отдельные случаи переноса навыков на новые композиции.

В работе также показана политика, перенесённая на настоящий манипулятор роботизированный манипулятор: робот рисовал, реагируя на вмешательство человека. Но рисунок — специально выбранная задача с контролируемыми движениями, а не универсальный тест работы на кухне или складе. Оценка показывает, какие свойства управления можно измерить сравнительно дёшево, не доказывая общей самостоятельности.

Важное различие — один раз выполнить действие и уверенно повторять его в разных условиях. Представь, что ты ищешь дорогу в незнакомом музее: запомнить один поворот недостаточно, если проход закрыли. Робота тоже нужно проверять с другими предметами и в немного изменённой обстановке. Числа в исследовании относятся только к описанному испытанию. Полезно спросить, где система ошибалась, помогал ли человек и что изменилось между тренировкой и проверкой. Так можно понять, чему действительно научилась машина, не принимая красивую демонстрацию за готовое решение. Здесь важно не качество красивого рисунка само по себе, а способность перенести знакомые элементы на новую композицию. Точность линий и понимание инструкции нужно различать. Для справки: разработчики назвали эту систему BURGER.