У робота есть не только обученная нейросеть, но и программная обвязка^[1]: код, который вызывает инструменты, запоминает ошибки и решает, когда повторить попытку. Кэхун Гун и коллеги в исследовании TinyAstral^[2] попробовали улучшить именно эту окружающую часть, не меняя параметры большой модели. Затем они обучили маленькую модель действовать внутри уже улучшенной системы.

Программирующие агенты изучали журналы попыток и предлагали исправления обвязки. Каждое изменение принимали только после парного статистического сравнения. После этого собрали примеры действий большой модели, включая восстановление после неудач, и использовали их для обучения компактного ученика. Такой перенос знаний от большой модели к маленькой называют дистилляцией^[3]. Он не означает, что у робота изменились моторы или датчики.

На виртуальном наборе RoboTwin успешность учителя выросла с 33,4% до 63,6% после улучшения обвязки. Ученик с 4 млрд параметров достиг 62,8% в той же системе. В измеренных запусках он использовал примерно пятую часть времени ускорителя, нужного учителю. Это показатель вычислительной нагрузки, а не цены всего робота и его обслуживания.

Необычная деталь в том, что иногда выигрыш создаёт не более крупная нейросеть, а хорошо организованная работа вокруг неё. Однако исследования на виртуальных заданиях не гарантируют, что автоматически исправленный код будет безопасен при работе с людьми. Для проверки нужны исходные журналы, условия сравнения и версии программной обвязки.