BAAI RoboBrain Orca: Мультимодальная модель представления мира
RoboBrain Orca исследует переход от прогнозирования изолированных выходных данных к моделированию переходов состояний мира. Вместо того чтобы рассматривать язык, изображения и действия как отдельные цели, она пытается изучить общее скрытое представление мира, которое может поддерживать множество интерфейсов считывания. Статья объясняет процесс обучения Orca, включая непрерывное видео, аннотации событий и данные VQA. Также рассматриваются три основных выхода: текстовое логическое рассуждение, прогнозирование изображений будущего состояния и генерация действий робота. Самая важная идея заключается не в том, что Orca завершила моделирование мира. Она заключается в том, что Orca предлагает проверяемый путь для построения и оценки скрытой модели мира, охватывающей язык, зрение и действие. **Короче: Orca — это ранняя попытка заставить ИИ понимать изменение состояния до того, как он генерирует слова, изображения или действия.**
BAAI RoboBrain Orca: Мультимодальная модель представления мира
Введение
Современные системы ИИ уже способны на многое впечатляющее. Языковая модель может отвечать на вопросы и писать код. Модель изображений или видео может генерировать реалистичный визуальный контент. Роботизированная модель может научиться захватывать, размещать или перемещать объекты.
Однако эти способности часто проистекают из отдельных целей прогнозирования. Языковая модель предсказывает следующий токен. Видеомодель предсказывает следующий кадр. Политика робота предсказывает следующее действие. Каждая цель полезна, но оставляет более глубокий вопрос: понимает ли модель, как меняется сам мир?
Проект BAAI RoboBrain Orca, представленный в техническом отчете «Orca: The World is in Your Mind», исследует эту проблему с точки зрения представления мира. Orca позиционируется не просто как более мощный чат-бот, более качественный генератор изображений или политика прямого имитационного обучения для роботов. Его основная идея более фундаментальна: сначала изучить общее скрытое представление состояний мира, а затем преобразовать это представление в понимание языка, прогнозирование изображений и генерацию действий.
История проекта
Исходная статья исходит из простого, но важного наблюдения: ИИ может генерировать результаты, но генерация результатов — это не то же самое, что понимание мира.
Например:
- Если чашка опрокинута, может ли модель предположить, что вода может пролиться?
- Если робот не справился с первой попыткой захвата, знает ли модель, что объект все еще находится в сцене?
- Если в видео о приготовлении пищи происходит переход от мытья овощей к их нарезке, понимает ли модель это как развитие события, а не только как визуальное изменение?
- После выполнения действия может ли модель отследить, как изменились объекты, отношения и ход выполнения задачи?
Эти вопросы указывают на более широкую цель. Полезная модель мира должна не просто предсказывать внешний результат. Она должна строить внутреннее представление о состоянии мира и его переходе.
Страница проекта и технический отчет Orca описывают это как переход от Next X Prediction к Next State Prediction. Вместо отдельного прогнозирования следующего токена, следующего кадра или следующего действия, Orca пытается понять, как состояние мира развивается в условиях естественной динамики, событийных условий и целей задачи.
Домашняя страница проекта: https://orca-wm.github.io
Технический отчет: https://arxiv.org/abs/2606.30534
Реакция исследовательского сообщества
После публикации Orca привлекла внимание исследовательских сообществ, интересующихся моделями мира, мультимодальным представлением и воплощенным интеллектом. Обсуждение было сосредоточено не столько на том, может ли Orca генерировать визуально привлекательные результаты, сколько на ее попытке связать текст, изображения, видео и действия как разные проекции одной и той же лежащей в основе реальности.
Статья также появилась на Hugging Face Papers, где привлекла заметное внимание сообщества. Это важно, поскольку сегодня мировые модели всё чаще оцениваются не только по качеству выходных данных, но и по тому, могут ли их обученные представления переноситься между задачами.
От прогнозирования следующего X к прогнозированию следующего состояния
За последние несколько лет многие прорывы в области ИИ можно описать как формы «предсказания следующего X».
Языковые модели предсказывают следующий токен, что даёт им способности к письму, рассуждению, диалогу и программированию. Видеомодели предсказывают или синтезируют будущие кадры, что помогает им создавать более связное движение. Воплощённые модели часто предсказывают следующее действие, позволяя роботам выполнять задачи манипуляции.
Orca утверждает, что этого недостаточно для агентов, которые должны действовать в реальном мире. Язык, изображения и действия — это лишь разные интерфейсы к миру. Более глубокая цель — это само состояние мира.
В концепции Orca прогнозирование следующего состояния означает обучение внутреннего представления состояния, которое может поддерживать физически и семантически согласованные переходы. Это состояние не тождественно предложению, изображению или траектории действий. Оно ближе к сжатому латентному представлению мира.
После того как такое представление изучено, различные модули считывания могут использовать его по-разному:
- Модуль считывания языка может объяснять или рассуждать о состоянии.
- Модуль считывания изображений может предсказывать вероятное будущее визуальное состояние.
- Модуль считывания действий может помочь роботу выбрать, что делать дальше.
Именно поэтому проект использует фразу «Мир в твоём сознании». Мир не рассматривается как разрозненные токены, кадры и метки действий. Он моделируется как латентное пространство, которое может быть считано через несколько модальностей.
Чему RoboBrain Orca пытается сначала обучить модель?
Если сравнить робота с ребёнком, то многие современные подходы похожи на то, чтобы сразу отправить ребёнка к рабочему столу и попросить его повторять конкретную задачу, пока он не станет в ней хорош.
Orca следует иному порядку. Прежде чем учить робота конкретным действиям, она пытается дать модели более общее образование об изменениях в мире.
Оно включает такие базовые закономерности, как:
- объекты могут падать;
- жидкости могут течь;
- закрытие объекта не означает его исчезновения;
- контакт может изменять положение объектов;
- события имеют временную последовательность;
- прогресс задачи меняется по мере изменения окружения.
Мотивация проста. Если модель сначала узнает, как изменяются состояния мира, то для обучения конкретным задачам потребуется гораздо меньше данных.
данных о действиях может быть достаточно, чтобы связать это представление с управлением роботом. Это может снизить затраты на обучение и улучшить обобщение.
Два режима обучения и три типа обучающих сигналов
Orca использует два взаимодополняющих режима обучения: бессознательное обучение и сознательное обучение.
Бессознательное обучение фиксирует плотные естественные переходы из непрерывных наблюдений. Модель наблюдает, как развиваются сцены, объекты, окклюзия, контакт и движение, не требуя меток действий или явных инструкций по задаче.
Сознательное обучение добавляет семантическую структуру. Оно использует описания событий, язык и контроль в стиле VQA, чтобы модель могла связывать визуальные изменения с человеческими концепциями, инструкциями и причинно-следственным значением.
Вместе эти режимы обучения поддерживаются тремя основными типами сигналов.
1. Непрерывное видео для естественных переходов состояний
Первым сигналом является непрерывное видео реального мира. Это дает модели плотный опыт естественных изменений состояний, таких как движение объектов, эволюция сцены, эффекты контакта и окклюзия.
Этот тип обучения не требует, чтобы модель заранее знала цель задачи. Он ближе к пассивному наблюдению: модель учится тому, как изменяется мир, наблюдая за его изменениями.
2. Данные событий для семантических переходов состояний
Вторым сигналом является организация на уровне событий. Реальные процессы не являются просто изолированными кадрами. Люди естественным образом описывают их как события: мытье овощей перед их нарезкой, открытие крана до того, как вода изменит состояние пищи, или движение руки до того, как объект изменит положение.
Контроль на основе событий помогает Orca изучать значимые переходы состояний в определенных семантических условиях.
3. VQA и языковой контроль для рассуждения и выражения
Третьим сигналом является понимание на основе языка. Язык не является конечной целью Orca, но он представляет собой важный интерфейс между состояниями мира и человеческими намерениями.
Контроль VQA помогает согласовать визуальные состояния, структуру событий и естественный язык. Другими словами, модель должна не только замечать, что что-то изменилось, но и описывать и рассуждать о том, почему это изменение имеет значение.
Масштаб данных для обучения миру
Для поддержки обучения состояниям мира Orca использует крупномасштабный репозиторий данных для обучения миру. В оригинальной статье и на официальной странице проекта описаны следующие ресурсы.
| Тип ресурса | Масштаб | Роль в обучении |
|---|---|---|
| Непрерывное видео | Около 125 тысяч часов | Плотное наблюдение за естественными переходами состояний |
| Аннотации событий | Около 160 миллионов событий | Семантический контроль для |
осмысленные переходы состояний |
| Примеры VQA | Около 11,5 млн примеров | Согласование языка и понимание состояний, обусловленных вопросами |
Эти источники данных охватывают эгоцентрическое взаимодействие, экзоцентрические манипуляции, видео выполнения роботами, естественные динамические сцены, переходы на уровне событий и общие вопросы по визуальным ответам.
Важно то, что Orca обучается не только на траекториях роботов или исключительно на ответах на визуальные вопросы. Он пытается изучить более широкое скрытое пространство мира на основе множества различных сигналов из реального мира.
Масштабируемость: может ли скрытое представление мира постоянно улучшаться?
Представление мира полезно только в том случае, если его можно проверить и улучшить. Поэтому в экспериментах Orca ставятся два ключевых вопроса.
- Масштабируется ли парадигма обучения с увеличением объема данных и размера модели?
- Улучшает ли лучшее представление мира производительность на последующих задачах?
Результаты масштабирования показывают, что по мере увеличения объема предобучающих данных потери продолжают снижаться как для модели на 0,8B, так и для модели на 4B. Модель на 4B также достигает более низкого уровня потерь, чем модель на 0,8B.
Это подтверждает идею о том, что предсказание следующего состояния — это не просто трюк малого масштаба. Похоже, это масштабируемая цель обучения модели мира, по крайней мере в пределах протестированного диапазона.
Как Orca проверяет, полезно ли скрытое представление
Ключевой тест заключается не в том, может ли Orca придумать красивое звучащее понятие. Тест состоит в том, может ли изученное скрытое представление поддерживать реальные последующие задачи.
Orca замораживает предобученную основу и подключает легковесные модули считывания для трех направлений:
- Текстовое считывание для понимания языка и рассуждений;
- Визуальное считывание для предсказания будущих визуальных состояний;
- Считывание действий для управления роботом и выполнения воплощенных задач.
Эта конструкция важна, потому что замороженная основа не позволяет последующим модулям просто переучивать все с нуля. Если различные считывающие модули могут извлекать языковые, визуальные и действенные способности из одного и того же замороженного скрытого представления, то само это скрытое представление, скорее всего, несет полезную информацию о состоянии мира.
Результаты на последующих задачах также улучшаются по мере масштабирования предобучения.
com/cms-assets/image/2026/07/28b12759-9160-48b4-92f6-6c6194bf0621-09-eb93bffa-9db9-456a-bfa9-cd10764544ba.png)
Текстовый анализ: Уверенные ответы на вопросы об изменении мира
В задачах генерации текста и VQA (вопросно-ответных) Orca сравнивается с несколькими визуально-языковыми моделями и моделями мира, включая V-JEPA, Emu3, Qwen3.5, Gemma, MiniCPM-V и DeepSeek-VL2.
Приведённые результаты показывают, что модель Orca 4B демонстрирует высокую производительность среди моделей аналогичного размера, особенно в вопросах, связанных с временным рассуждением, переходом состояний и динамическим движением.
Упрощённое разбиение возможностей из статьи представлено ниже.
| Измерение способностей | Qwen3.5-4B | Orca-4B | Преимущество Orca |
|---|---|---|---|
| Переход состояний | 51,86 | 64,13 | +12,27% |
| Здравый смысл | 57,76 | 62,95 | +5,19% |
| Пространственные отношения | 54,68 | 55,25 | +0,57% |
| Динамическое движение | 57,03 | 65,55 | +8,52% |
Эта закономерность важна. Преимущество Orca заключается не только в распознавании объектов в статической сцене. Более значительные успехи видны в категориях, близких к динамике мира: как изменяется состояние, как разворачиваются события и как движение влияет на сцену.
Для модели мира это более значимо, чем обычное понимание изображения. Реальный мир — это не набор статичных картинок. Это изменяющаяся система.
Анализ изображения: Предсказание разумного будущего состояния
Анализ изображения Orca не представлен как стандартная функция генерации изображений. Он используется как способ проверить, может ли модель предсказать правдоподобное следующее визуальное состояние после взаимодействия.
Это отличается от обычной генерации изображений. Типичный генератор изображений может создать что-то визуально привлекательное, но при этом нарушить фактические ограничения сцены. Он может добавить объекты, которых не было, удалить воплощение робота, проигнорировать инструкцию или следовать стереотипу, а не текущему состоянию.
Например, если в подсказке упоминается красный воздушный шар, обычный генератор может нарисовать полностью надутый красный шар, независимо от реального состояния шара. Предсказатель состояния мира, напротив, должен рассуждать, исходя из текущей сцены и условий взаимодействия.
На эталонном тесте взаимодействия в реальном мире PRICE модель Orca оценивается в сравнении с базовыми генераторами изображений, такими как FLUX и OmniGen2. Цель — не только визуальное качество, но и то, уважает ли предсказанное будущее состояние компоновку сцены, отношения объектов, воплощение робота и физические ограничения.
Слева находится инструкция «Закройте дверцу микроволновой печи», справа — «Положите губку и уберите руку». Прогноз Orca соответствует реальной ситуации, например, дверца микроволновки закрыта, губка на месте; в то время как Flux.2 и OmniGen2 могут давать нелогичные прогнозы, например, губка убрана или находится в неправильном месте. Это изображение тесно связано с контекстом и наглядно демонстрирует преимущества Orca в прогнозировании реальных сцен, подчеркивая, что её прогнозы уважают расположение объектов и их взаимосвязи, что соответствует описанию способностей Orca к предсказанию изображений в контексте.](https://we0-cms.oss-cn-beijing.aliyuncs.com/cms-assets/image/2026/07/f96fdbbc-cb9d-43ae-aaf5-c3e8b56393ce-12-8e944a34-7e1f-45d5-a9a3-937f15165375.png)
В этом контексте предсказание изображения становится видимым индикатором понимания мира. Вопрос не в том, «Может ли модель нарисовать красивую картинку?» Вопрос в том, «Знает ли модель, какой должна стать эта сцена после описанного взаимодействия?»
Считывание действий: помощь роботам в обобщении без предварительного обучения действиям
Один из самых интересных экспериментов Orca — это считывание действий для реальных роботов.
Во время предварительного обучения Orca не использует размеченные траектории действий роботов. Она не запоминает, как должна двигаться конкретная рука. Вместо этого она изучает изменения состояния мира на основе видео, событий и языка.
Для последующих задач на действия исследователи замораживают основу Orca и подключают обученного с нуля эксперта по действиям на основе архитектуры DiT. Каждая задача использует небольшой объём внутридоменных данных траекторий, после чего модель оценивается в условиях dual-arm манипуляций вне распределения.
Сравнение генерации действий показывает, что Orca улучшает общий прогресс выполнения задачи и поведение восстановления по сравнению с несколькими базовыми моделями.
Упрощённое общее сравнение представлено ниже.
| Модель | Rule-based ↑ | M25 ↑ | M50 ↑ | SR ↑ | MaxP-F ↑ | FNS ↑ | DRR ↑ | SQS ↑ |
|---|---|---|---|---|---|---|---|---|
| V-JEPA 2.1 | 17,0 | 27 | 7 | 0 | 17,4 | 10,1 | 20,5 | 0,0 |
| Qwen3.5 | 10,5 | 18 | 5 | 0 | 13,1 | 7,6 | 11,9 | 0,0 |
| π₀.₅ | 29,4 | 54 | 14 | 5 | 26,5 | 15,3 | 26,7 | 3,0 |
| Orca | 32,4 | 55 | 14 | 6 | 27,9 | 15,1 | 30,3 | 2,9 |
Примеры восстановления особенно важны. В реальной робототехнике первая попытка часто оказывается неудачной. Система, которая просто сопоставляет наблюдения с заученными действиями, может застрять после возмущения. Система с более сильным представлением состояния мира имеет больше шансов заметить, что задача не завершена, объект всё ещё существует, и текущее состояние всё ещё имеет путь к цели.
В этом и заключается практическая ценность изучения состояния мира.
перед действием. Orca не утверждает, что данные о действиях не нужны. Вместо этого он изменяет порядок обучения: сначала изучает масштабируемую мировую динамику, затем связывает это представление с действием робота, используя меньшее количество данных, специфичных для задачи.
Почему три цели обучения важны вместе
В статье также обсуждаются абляционные эксперименты. Исследователи удаляют различные цели обучения и наблюдают, как изменяются выводы текста, изображения и действий.
Результат показывает, что три цели выполняют разные роли.
- Контроль VQA сохраняет языковой интерфейс и семантическое выравнивание.
- Непрерывное видео поддерживает плотную естественную динамику и особенно важно для вывода действий.
- Обучение, обусловленное событиями, связывает язык, структуру событий и визуальный переход состояний, что помогает прогнозированию изображений следовать инструкциям.
Главный вывод заключается в том, что представление мира не создается одним лишь сигналом контроля. Оно формируется множеством ограничений: естественными изменениями, семантическими событиями, языковыми рассуждениями и переходами состояний.
Оптимизация инфраструктуры: ускорение FlagScale
В статье также упоминаются улучшения на системном уровне обучения на основе фреймворка FlagScale от BAAI. Команда сообщает о модернизациях, связанных с FSDP2, чанкованной кросс-энтропийной функцией потерь и предварительной выборкой прямого/обратного проходов.
В кластере H100 эти изменения предположительно повышают пропускную способность обучения с базового уровня StarVLA в 0,66 образцов/сек/GPU до 2,91 образцов/сек/GPU, что соответствует ускорению в 4,4 раза.
Эта часть важна, поскольку обучение мировых моделей сильно зависит от масштаба. Если система обучения не может эффективно обрабатывать большие пайплайны видео, событий и мультимодального контроля, моделирующая идея становится трудно тестируемой на практике.
Что Orca означает для мировых моделей
Orca всё ещё является ранней версией. Технический отчет и материалы проекта описывают несколько ограничений.
Текущий Orca в основном полагается на визуальные и языковые сигналы. Он еще не полностью охватывает тактильные, силовые, звуковые, проприоцептивные и другие физические модальности, которые могли бы быть важны для более богатого моделирования мира. Текущий подход также частично зависит от существующих визуальных кодировщиков и мультимодальных пространств представлений.
Масштаб модели и данных пока невелик по сравнению с долгосрочной амбицией создания общих фундаментальных мировых моделей. Прогнозирование изображений, обобщение действий и методы оценки для моделирования мира также требуют дальнейшей работы.
Тем не менее, ценность Orca не в утверждении, что проблема моделирования мира решена. Его ценность в том, что он предлагает конкретный путь:
- Изучать единое мировое состояние на основе масштабируемых мультимодальных сигналов.
- Заморозить этот каркас мирового состояния.
- Считывать его в задачи языка, изображения и действия.
- Использовать результаты на downstream-задачах для проверки того, действительно ли латентное представление
полезно.
Если это направление продолжит развиваться, оно может оказаться значимым не только для робототехники. Многие области включают состояние, воздействие и переход: физические системы, биология, моделирование окружающей среды, научные эксперименты и принятие решений агентами.
Более широкий вопрос заключается в том, смогут ли будущие системы ИИ сначала построить внутреннюю, стабильную, переносимую модель мира, прежде чем генерировать ответы, изображения или действия.
В этом и заключается основная идея Orca: Мир в твоём сознании.
Часто задаваемые вопросы
Что такое BAAI RoboBrain Orca?
BAAI RoboBrain Orca — это ранний проект фундаментальной модели мира, ориентированный на предсказание следующего состояния. Он изучает скрытое представление мира на основе мультимодальных сигналов и использует лёгкие модули считывания для прогнозирования языка, изображений и генерации действий.
Что означает "Предсказание следующего состояния"?
Предсказание следующего состояния означает предсказание того, как меняется лежащее в основе состояние мира, а не только предсказание следующего токена, кадра или действия. Цель — моделировать переходы состояний таким образом, чтобы это могло поддерживать рассуждение, визуальное прогнозирование и воплощённое управление.
Является ли Orca в основном языковой моделью, моделью изображений или моделью робота?
Orca не ограничивается одной из этих категорий. Сначала она изучает общее скрытое представление мира, а затем использует различные модули считывания для языка, зрения и действий. Именно поэтому её описывают как мультимодальную модель мира, а не как модель единственного назначения.
Какие данные Orca использует для предварительного обучения?
Orca использует крупномасштабные ресурсы для изучения мира, включая около 125 тысяч часов видео, 160 миллионов аннотаций событий и 11,5 миллионов примеров VQA. Эти сигналы помогают модели изучать естественную динамику, переходы, обусловленные событиями, и понимание, согласованное с языком.
Почему Orca замораживает основную сеть во время обучения считывающих модулей ниже по потоку?
Замораживание основной сети делает оценку более чистой. Если лёгкие модули считывания могут хорошо работать при замороженной основной сети, это говорит о том, что полезная информация уже содержится в изученном скрытом представлении мира, а не изучается заново с нуля на последующих этапах.
Может ли Orca напрямую управлять роботами?
В описанных экспериментах с действиями замороженное скрытое представление Orca подключается к обучаемому эксперту действий для задач робота. Это не просто прямой контроллер робота типа "включай и работай", но результаты показывают, что предварительное обучение на основе состояния мира может помочь последующему обобщению в робототехнике.
Готова ли Orca к производству?
Доступные материалы представляют Orca как раннее исследовательское направление, а не готовую производственную систему. Проект всё ещё требует более широких физических модальностей, более сильных методов оценки, обучения на более крупных масштабах, а также выпущенных контрольных точек или кода для логического вывода для более широкого воспроизведения.
Где я могу прочитать официальные материалы Orca?
Лучшими отправными точками являются официальная страница проекта Orca, технический отчёт на arXiv, репозиторий на GitHub и страница статьи на Hugging Face. Эти источники предоставляют наиболее прямые ссылки на дизайн модели, данные, оценку и цитирование.
Связанные инструменты
- Страница проекта Orca: Официальная страница проекта фундаментальной модели мира Orca.
- Репозиторий Orca на GitHub: Официальный репозиторий с информацией о проекте,
фигуры, а также будущие версии кода или контрольные точки.
- arXiv: Официальная страница технического отчёта «Orca: The World is in Your Mind».
- Hugging Face Papers: Страница сообщества для обсуждения, коллекций и отслеживания статей.
- FlagScale: Инструментарий для обучения больших моделей, связанный с BAAI, упомянутый в разделе оптимизации инфраструктуры.
- PyTorch FSDP fully_shard: Официальная документация PyTorch для API шардирования в стиле FSDP2.
Связанные ссылки
- Официальная страница проекта Orca: Основной сайт проекта с обзором модели, данными, оценкой и цитированием.
- Технический отчёт Orca на arXiv: Научная статья о фундаментальной модели мира Orca.
- Репозиторий Orca на GitHub: Официальный репозиторий с README и дорожной картой релизов.
- Orca на Hugging Face Papers: Страница сообщества для статьи Orca на Hugging Face.
- Репозиторий FlagScale на GitHub: Инструментарий для обучения, связанный с оптимизацией инфраструктуры, описанной в статье.
- Документация PyTorch FSDP fully_shard: Официальная справка по API полного шардирования для распределённого обучения.
Краткое содержание
RoboBrain Orca исследует переход от прогнозирования изолированных выходных данных к моделированию переходов между состояниями мира. Вместо того чтобы рассматривать язык, изображения и действия как отдельные цели, он пытается изучить общее скрытое представление мира, которое может поддерживать несколько интерфейсов считывания.
В статье объясняется схема обучения Orca, включая непрерывное видео, аннотации событий и данные VQA. Также рассматриваются три основных режима считывания: текстовые рассуждения, предсказание будущего состояния изображения и генерация действий робота.
Самая важная идея заключается не в том, что Orca завершила моделирование мира. А в том, что Orca предлагает проверяемый путь для построения и оценки скрытой модели мира, охватывающей язык, зрение и действия.
Короче говоря: Orca — это ранняя попытка заставить ИИ понимать изменение состояния до того, как он генерирует слова, изображения или действия.