Гуманоид учится двигаться

Движение записывается на человеке, переносится на гуманоида и доводится обучением с подкреплением. Удар, хук, форма и сложная стойка — всё это один конвейер, который уже проверен на двух платформах и выведен на реальное железо.

роль
пайплайн движений, конфигурации обучения, деплой на робота
период
2026
стек
Isaac Lab · PPO · GMR · MuJoCo · MNN
статус
10 политик на железе
Гуманоид выполняет движение
гуманоид в работе · движение из записи человека
01 — задача

Движение, которое нельзя запрограммировать руками

Боевая связка — это не набор углов суставов, а динамика: перенос веса, скрутка корпуса, торможение после удара. Вручную такое не пишут — это записывают на человеке и переносят на гуманоида. Задача была построить конвейер, в котором запись движения доходит до работающей политики без ручной доводки каждой позы.

Пайплайн собирался на гуманоидах как классе машин: те же принципы работают и на тяжёлой платформе с двумя группами приводов, и на более компактной.

Поводом стал турнир: URKL — международный чемпионат по битве роботов. Отсюда и характер движений — удары, хуки и связки, которые в поединке нужно не только повторить, но и удержать под нагрузкой.

02 — ограничения

Между человеком и роботом пять несовпадений

  • Пропорции. Запись сделана на человеке, робот другой: длины звеньев и пределы суставов не совпадают, поэтому нужен ретаргетинг с обрезкой по лимитам и контролем отрыва стопы.
  • Баланс. Удар и хай-кик выполняются на одной ноге — политика должна удерживать корпус, а не только повторять позу.
  • Порядок суставов. В траекториях он алфавитный и неизменяемый. Если политика обучена в другом порядке, неверные суставы получают неверные команды — робот дёргается, и это выглядит как «неправильное обучение».
  • Перенумерация в SDK. Суставы Isaac и суставы SDK — разные индексы: часть J20–J28 переезжает в J18–J24. Маппинг — отдельный источник ошибок, не связанный с обучением.
  • 50 Гц на железе. Управление идёт с периодом 20 мс, поэтому сеть компактная, а результат экспортируется в формат, который читает SDK.
03 — пайплайн

От костюма захвата до политики

BVH запись костюм Nokov Ретаргетинг GMR · IK Траектория NPZ · 50 Гц Обучение Isaac Lab · PPO Экспорт MNN · ONNX SDK робота 50 Гц · PD MuJoCo проверка позы Гуманоид геймпад · аварийный стоп новая итерация
04 — что учили

Шесть ударных траекторий и четыре формы

Короткие траектории — отдельные удары, от одной до трёх с половиной секунд. Длинные — цельные формы: чжицюань на 23 секунды, удар с разворотом на 540°, ката хейан-шодан и связка для показательных выступлений. Всего десять обученных и задеплоенных политик.

10
политик обучено и выведено на робота
25
приводов в управлении
50 Гц
частота управления на железе
6
ударных траекторий из мокапа
05 — обучение в цифрах

Награда выросла в пять раз за десять тысяч итераций

4096
параллельных сред в симуляции
92 → 485
награда от начала обучения к концу прогона
0.48 → 6.78
отслеживание ориентации корпуса
750
шагов в эпизоде — доходит до конца без падений
награда на 214-й итерации92
награда на 9 999-й итерации485

Учили PPO в четырёх тысячах сред одновременно: сеть 512–256–128, шаг управления 5 мс с децимацией 4, то есть те же 50 Гц, что и на роботе. Такое совпадение частот — не деталь: если обучать на другой частоте, политика на железе ведёт себя иначе, и разница списывается на «плохое sim-to-real» вместо настройки.

Политика не воспроизводит траекторию буквально — она выдаёт поправку к ней: желаемая поза сустава равна опорной плюс действие, умноженное на масштаб. Это позволяет сохранить выразительность записи и одновременно дать сети свободу удерживать баланс, которого в человеческой записи нет.

результат

Десять политик работают на T800: удары, связки и формы запускаются с геймпада, любая комбинация сбрасывается в пассивный режим одной кнопкой, а после трека робот сам переходит в ходьбу. Тот же конвейер перенесён на вторую платформу — PM01: траектория, конфигурации обучения и деплой собрались без переделки подхода, меняются только модель и маппинг суставов.

06 — кадры
политика на второй платформе — PM01: движения из той же записи
07 — на железе
Инженер рядом с гуманоидом T800
T800 вживую

Вывод на робота — отдельный этап, где всё, что сходилось в симуляции, проверяется на железе: задержки, трение, просадка приводов под весом корпуса.

Управление — геймпадом: под каждый трек заведена комбинация, аварийный сброс в пассив доступен из любого состояния, после завершения трека робот сам переходит в ходьбу. Это не «демо на сцене», а рабочий режим, в котором рядом с роботом могут находиться люди.

08 — вывод

RL не учит движение — он его доводит

Выразительность приходит из записи живого человека, а обучение с подкреплением решает другую задачу: удержать это движение в физике робота. Поэтому основная инженерия оказалась не в гиперпараметрах, а в согласованности представлений — порядок суставов, маппинг индексов, частота управления. Ошибка в любом из них выглядит как «плохо обученная политика», хотя модель тут ни при чём.