Один робот быстро переносит кубики, другой аккуратно берёт хрупкий предмет. Как понять, какой из них лучше? Сравнить только число удачных попыток недостаточно, если задания и условия разные. Исследователи предложили подход, который заставляет внимательнее смотреть на то, что именно измеряли.

Вместо одной оценки они рассматривают пять направлений сравнения моделей, управляющих действиями роботов. Среди важных вопросов — насколько убедительно проверен результат, сколько стоит подготовка к новой задаче и сможет ли другая команда повторить опыт. Повторяемость означает, что при известных условиях другие исследователи могут получить сопоставимые результаты.

Авторы подчёркивают, что в публикациях не всегда достаточно данных для честного сравнения. Если сведения о стоимости или повторяемости отсутствуют, нельзя просто придумать числа и сложить всё в одну таблицу. Поэтому предложенный подход иногда отказывается от общего рейтинга, вместо того чтобы объявить победителя без доказательств.

Это полезно и зрителю робототехнических видео. Прежде чем восхищаться результатом, стоит спросить: сколько раз пробовали, какие попытки^[1] не получились и что пришлось настроить заранее? Метод оценки сам по себе не делает робота умнее. Для справки: авторы назвали систему сравнения RoboSeed.