BAAI RoboBrain Orca：マルチモーダル世界表現モデル
RoboBrain Orcaは、個別の出力を予測するアプローチから、世界状態の遷移をモデル化する方向への転換を探る。言語、画像、行動を別々のターゲットとして扱うのではなく、複数の読み出しインターフェースをサポートできる共有の潜在的表現（latent world representation）を学習しようとするものである。 本稿では、連続動画、イベントアノテーション、VQAデータを含むOrcaの学習設定を解説するとともに、テキスト推論、将来画像予測、ロボット行動生成という三つの主要な読み出し機能について説明する。 最も重要な点は、Orcaが世界モデリングを完成させたわけではないということだ。むしろ、Orcaは言語、視覚、行動にわたる潜在的世界モデルを構築・評価するための検証可能な道筋を提供している点にある。 **要するに、Orcaは、AIが言葉や画像、行動を生成する前に状態変化を理解させるための初期の試みである。**
BAAI RoboBrain Orca：マルチモーダル世界表現モデル
はじめに
現代のAIシステムは、すでに多くの印象的なことができるようになっています。言語モデルは質問に答えたりコードを書いたりできます。画像や動画のモデルはリアルな視覚コンテンツを生成できます。ロボットモデルは物体をつかんだり、置いたり、動かしたりすることを学習できます。
しかし、これらの能力は、多くの場合、個別の予測目標から生まれています。言語モデルは次のトークンを予測し、動画モデルは次のフレームを予測し、ロボットポリシーは次の行動を予測します。それぞれの目標は有用ですが、より深い疑問が残ります：モデルは世界そのものがどのように変化するかを理解しているのでしょうか？
テクニカルレポート「Orca: The World is in Your Mind」で紹介されたBAAIのRoboBrain Orcaプロジェクトは、世界表現の観点からこの問題を探求しています。Orcaは、単なるより強力なチャットボットや、より美しい画像ジェネレーター、あるいはロボットのための直接的な模倣学習ポリシーとして位置づけられていません。その核となるアイデアはより基礎的なものです：まず世界状態の共有潜在表現を学習し、その表現を言語理解、画像予測、行動生成に読み出すことです。
プロジェクトの背景
元の論文は、シンプルながら重要な観察から始まっています：AIは出力を生成できるが、出力生成は世界理解と同じではない、ということです。
例えば：
- コップが倒れた場合、モデルは水がこぼれる可能性を推論できるか？
- ロボットが最初の把持試行に失敗した場合、モデルは物体がまだシーン内にあることを認識しているか？
- 調理動画が野菜を洗う工程から切る工程に移る場合、モデルはこれを単なる視覚的変化ではなく、イベントの進行として理解できるか？
- 行動が起こった後、モデルは物体、関係性、タスクの進行がどのように変化したかを追跡できるか？
これらの疑問は、より広範な目標を指し示しています。有用な世界モデルは、外部への出力を予測するだけでなく、世界の状態と状態遷移の内部表現を構築するべきです。
Orcaのプロジェクトページとテクニカルレポートでは、これをNext X PredictionからNext State Predictionへのシフトとして説明しています。次のトークン、次のフレーム、次の行動を個別に予測する代わりに、Orcaは世界状態が自然なダイナミクス、イベント条件、タスクの意図の下でどのように進化するかを学習しようとしています。
プロジェクトホームページ：https://orca-wm.github.io
テクニカルレポート：https://arxiv.org/abs/2606.30534
研究コミュニティの反応
公開後、Orcaは世界モデル、マルチモーダル表現、具現化知能に関心を持つ研究コミュニティから注目を集めました。議論の焦点は、Orcaが視覚的に魅力的な出力を生成できるかどうかよりも、テキスト、画像、動画、行動を同一の基盤となる世界の異なる投影として結びつけようとする試みに置かれました。
png)
この論文はHugging Face Papersにも掲載され、コミュニティから顕著な注目を集めました。これは、ワールドモデルが出力品質だけでなく、学習された表現がタスク間で転移可能かどうかによっても評価されることが増えているため、重要な意味を持ちます。
次のX予測から次の状態予測へ
過去数年にわたり、AIにおける多くのブレークスルーは「次のXを予測する」という形として説明できます。
言語モデルは次のトークンを予測し、それにより文章作成、推論、対話、コーディング能力を獲得します。動画モデルは将来のフレームを予測または合成し、より一貫性のある動きの生成に役立ちます。身体性モデルはしばしば次の行動を予測し、ロボットが操作タスクを実行できるようにします。
Orcaは、現実世界で動作しなければならないエージェントにとって、これでは十分ではないと主張します。言語、画像、行動は、世界への異なるインターフェースに過ぎません。より深い目標は、世界の状態そのものにあります。
Orcaの枠組みでは、次の状態予測とは、物理的かつ意味的に一貫した遷移をサポートできる内部状態表現を学習することを意味します。その状態は、文、画像、行動軌跡と同一ではありません。それは、世界の圧縮された潜在表現に近いものです。
そのような表現が学習されると、異なる読み出しモジュールがそれをさまざまな方法で利用できます。
- 言語読み出しは、その状態を説明したり推論したりできます。
- 画像読み出しは、もっともらしい将来の視覚状態を予測できます。
- 行動読み出しは、ロボットが次に何をすべきかを選択するのに役立ちます。
これが、このプロジェクトが**「世界はあなたの心の中にある」**というフレーズを使用する理由です。世界は、ばらばらのトークン、フレーム、行動ラベルとして扱われるのではありません。それは、複数のモダリティを通じて読み出すことができる潜在空間としてモデル化されます。
RoboBrain Orcaは最初にモデルに何を教えようとしているのか？
ロボットを子どもに例えるなら、現在の多くのアプローチは、子どもを直接作業台に連れて行き、特定のタスクを上達するまで繰り返させるようなものです。
Orcaは異なる順序に従います。ロボットに正確な行動方法を教える前に、まずモデルに世界の変化に関するより一般的な教育を与えようとします。
これには、以下のような基本的な規則性が含まれます。
- 物体は落下すること
- 液体は流れること
- 遮蔽は消失を意味しないこと
- 接触は物体の位置を変えうること
- 事象には時間的順序があること
- タスクの進行は環境の変化に伴って変化すること
その動機は明白です。モデルがまず世界の状態がどのように変化するかを学習すれば、その後の少量の
行動データがあれば、その表現をロボット制御に結びつけるのに十分な場合がある。これにより、トレーニングコストを削減し、汎化性能を向上させることができる。
2つの学習モードと3つのトレーニング信号
Orcaは、無意識学習と意識学習という2つの相補的な学習モードを採用している。
無意識学習は、連続的な観測から密度の高い自然な状態遷移を捉える。モデルは、シーン、物体、遮蔽、接触、動きがどのように変化するかを、行動ラベルや明示的なタスク指示を必要とせずに観察する。
意識学習は、意味的な構造を追加する。イベント記述、言語、VQAスタイルの教師信号を使用することで、モデルは視覚的な変化と人間の概念、指示、因果関係を結びつけることができる。
これらの学習モードは、合わせて3つの主要な信号タイプによって支えられている。
1. 自然な状態遷移のための連続ビデオ
第一の信号は、連続的な実世界のビデオである。これにより、モデルは物体の動き、シーンの変化、接触効果、遮蔽などの自然な状態変化に関する密度の高い経験を得る。
この種の学習では、モデルが事前にタスクの目標を知っている必要はない。これは受動的な観察に近く、モデルは世界が変化するのを見ることで、世界がどのように変化するかを学習する。
2. 意味的な状態遷移のためのイベントデータ
第二の信号は、イベントレベルの構造化である。実世界のプロセスは、単なる孤立したフレームではない。人間は自然にそれらをイベントとして記述する：野菜を切る前に洗う、蛇口をひねってから水が食品の状態を変える、物体の位置が変わる前に手を動かす、など。
イベントによる教師信号は、Orcaが特定の意味的条件の下で意味のある状態遷移を学習するのに役立つ。
3. 推論と表現のためのVQAと言語による教師信号
第三の信号は、言語に基づく理解である。言語はOrcaの最終目標ではないが、世界の状態と人間の意図との間の重要なインターフェースである。
VQAによる教師信号は、視覚的な状態、イベント構造、自然言語を整合させるのに役立つ。言い換えれば、モデルは何かが変化したことに気づくだけでなく、その変化がなぜ重要かを記述し、推論できなければならない。
世界学習データの規模
世界状態の学習を支援するために、Orcaは大規模な世界学習データインベントリを使用している。原著論文と公式プロジェクトページでは、以下のリソースが説明されている。
| リソースタイプ | 規模 | 学習における役割 |
|---|---|---|
| 連続ビデオ | 約125K時間 | 自然な状態遷移の密度の高い観測 |
| イベントアノテーション | 約1.6億イベント | 意味的教師信号 |
意味のある状態遷移 |
| VQA の例 | 約1150万例 | 言語アライメントと質問に条件づけられた状態理解 |
これらのデータソースは、自己中心的なインタラクション、外界中心的な操作、ロボット実行映像、自然な動的シーン、イベントレベルの遷移、そして一般的な視覚的質問応答をカバーしています。
重要な点は、Orcaがロボットの軌跡のみ、あるいは視覚的質問応答のみで訓練されているわけではないということです。Orcaは、複数の種類の実世界信号から、より広範な潜在的な世界空間を学習しようと試みています。
スケーリングの振る舞い：世界の潜在表現は向上し続けるのか？
世界表現は、テスト可能で改善可能である場合にのみ有用です。そのため、Orcaの実験では以下の2つの核となる問いを立てています。
- 学習パラダイムはデータとモデルサイズに対してスケールするのか？
- より優れた世界表現は下流タスクの性能を向上させるのか？
スケーリングの結果は、事前学習データが増加するにつれて、0.8Bモデルと4Bモデルの両方で損失が低下し続けることを示唆しています。また、4Bモデルは0.8Bモデルよりも低い損失レベルに達しています。
これは、次状態予測が単なる小規模なトリックではないという考えを支持しています。少なくともテストされた範囲内では、それは拡張可能な世界学習の目的関数であるように見えます。
Orcaが潜在表現の有用性をテストする方法
重要なテストは、Orcaが見栄えの良い概念を考案できるかどうかではありません。テストは、学習された潜在表現が実際の下流タスクをサポートできるかどうかです。
Orcaは事前学習済みのバックボーンを凍結し、3つの方向性に対して軽量な読み出しモジュールを取り付けます。
- テキスト読み出し：言語理解と推論のため
- 画像読み出し：将来状態の視覚予測のため
- アクション読み出し：ロボット制御と身体化タスク実行のため
この設計が重要なのは、凍結されたバックボーンによって、下流モジュールが単にすべてをゼロから再学習するのを防ぐからです。もし異なる読み出しモジュールが同じ凍結された潜在表現から言語、画像、アクションの能力を抽出できるなら、その潜在表現自体が有用な世界状態情報を保持している可能性が高いと言えます。
下流タスクの結果も、事前学習の規模が大きくなるにつれて向上します。
テキストリードアウト：世界の変化に関する質問で強みを発揮
テキスト生成やVQAタスクにおいて、OrcaはV-JEPA、Emu3、Qwen3.5、Gemma、MiniCPM-V、DeepSeek-VL2など、複数のビジュアル言語モデルやワールドモデルと比較されています。
報告された結果によると、Orcaの4Bモデルは同規模のモデルの中でも高い性能を示しており、特に時間的推論、状態遷移、動的動作に関する質問で優れています。
本記事からの簡略化した能力分析は以下の通りです。
| 能力の次元 | Qwen3.5-4B | Orca-4B | Orcaの優位性 |
|---|---|---|---|
| 状態遷移 | 51.86 | 64.13 | +12.27% |
| 常識推論 | 57.76 | 62.95 | +5.19% |
| 空間関係 | 54.68 | 55.25 | +0.57% |
| 動的動作 | 57.03 | 65.55 | +8.52% |
このパターンは重要です。Orcaの優位性は、静的なシーン内の物体認識だけにとどまりません。大きな向上は、状態がどのように変化するか、事象がどのように展開するか、動作がシーンにどのような影響を与えるかといった、世界の動態に近いカテゴリで見られます。
ワールドモデルにとって、これは通常の画像理解だけよりも意味のあることです。現実世界は静止画像の集まりではありません。それは変化するシステムです。
画像リードアウト：妥当な将来状態の予測
Orcaの画像リードアウトは、標準的な画像生成機能として提示されているわけではありません。これは、モデルがインタラクション後に妥当な次の視覚状態を予測できるかどうかをテストする方法として用いられています。
これは通常の画像生成とは異なります。典型的な画像生成器は視覚的に魅力的なものを作成するかもしれませんが、シーンの実際の制約を破ってしまうことがあります。そこにない物体を追加したり、ロボットの身体を削除したり、指示を無視したり、現在の状態ではなくステレオタイプに従ったりする可能性があります。
例えば、プロンプトが赤い風船に言及している場合、通常の生成器は実際の風船の状態に関係なく、完全に膨らんだ赤い風船を描くかもしれません。一方、世界状態予測器は、現在のシーンとインタラクション条件から推論する必要があります。
PRICEの実世界インタラクションベンチマークにおいて、OrcaはFLUXやOmniGen2などの画像生成ベースラインと比較評価されています。その目標は視覚的な品質だけでなく、予測された将来状態がシーンのレイアウト、物体間の関係、ロボットの身体、物理的制約を尊重しているかどうかです。
左側に「電子レンジのドアを閉める」、右側に「スポンジを置いて手を引っ込める」という指示が表示されている。Orcaの予測結果は実際の状況と一致しており、電子レンジのドアが閉じられ、スポンジが置かれている。一方、Flux.2やOmniGen2では、スポンジが取り除かれたり、誤った位置に置かれたりするなど、不合理な予測が生じる可能性がある。この図は文脈と密接に関連しており、Orcaが実世界の予測において優れていることを直感的に示し、その予測結果がシーンの配置や物体間の関係などを尊重していることを強調しており、Orcaの画像予測能力に関する文脈での記述と一致している。
この文脈において、画像予測は世界理解を可視化するプローブとなる。問題は「モデルが美しい絵を描けるかどうか」ではない。問題は「記述された相互作用の後、このシーンがどうなるべきかをモデルが理解しているかどうか」である。
アクション・リードアウト：アクション事前学習なしでロボットの汎化を助ける
Orcaの最も興味深い実験の一つは、実ロボットのためのアクション・リードアウトである。
事前学習において、Orcaはアクションラベル付きのロボット軌道データを使用しない。特定のアームがどのように動くべきかを事前に記憶するわけではない。その代わりに、ビデオ、イベント、言語から世界状態の変化を学習する。
下流のアクションタスクのために、研究者らはOrcaのバックボーンを凍結し、ゼロから訓練されたDiTスタイルのアクションエキスパートを追加する。各タスクは少量のドメイン内軌道データを使用し、モデルはその後、分布外のデュアルアーム操作設定で評価される。
報告されたアクション生成の比較によると、Orcaは複数のベースラインと比較して、全体的なタスク進捗とリカバリ動作を改善することが示されている。
以下に簡略化した全体比較を示す。
| モデル | ルールベース ↑ | M25 ↑ | M50 ↑ | SR ↑ | MaxP-F ↑ | FNS ↑ | DRR ↑ | SQS ↑ |
|---|---|---|---|---|---|---|---|---|
| V-JEPA 2.1 | 17.0 | 27 | 7 | 0 | 17.4 | 10.1 | 20.5 | 0.0 |
| Qwen3.5 | 10.5 | 18 | 5 | 0 | 13.1 | 7.6 | 11.9 | 0.0 |
| π₀.₅ | 29.4 | 54 | 14 | 5 | 26.5 | 15.3 | 26.7 | 3.0 |
| Orca | 32.4 | 55 | 14 | 6 | 27.9 | 15.1 | 30.3 | 2.9 |
リカバリの事例は特に重要である。実際のロボット工学では、最初の試みが失敗することはよくある。観測を記憶されたアクションにマッピングするだけのシステムは、外乱の後に行き詰まる可能性がある。より強力な世界状態表現を持つシステムは、タスクが未完了であり、オブジェクトが依然として存在し、現在の状態から目標への経路がまだ存在することに気づく可能性が高くなる。
これが世界状態を学習することの実用的価値である。
行動の前に。Orcaは行動データが不要だと主張するわけではない。代わりに学習の順序を変更する。まずスケーラブルな世界のダイナミクスを学び、その後、その表現をより少量のタスク固有データでロボットの行動に接続する。
三つの学習目標がなぜ同時に重要なのか
記事ではアブレーション実験についても議論している。研究者らは異なる学習目標を取り除き、テキスト、画像、行動の出力がどのように変化するかを観察する。
結果として、三つの目標は異なる役割を果たすことがわかる。
- VQA教師あり学習は、言語インターフェースと意味的アライメントを維持する。
- 連続動画は、密な自然ダイナミクスをサポートし、特に行動の出力にとって重要である。
- イベント条件付け学習は、言語、イベント構造、視覚状態遷移を結びつけ、画像予測が指示に従うのに役立つ。
主な教訓は、世界の表現は単一の教師信号によって生成されるわけではないということである。それは、自然な変化、意味的イベント、言語推論、状態遷移といった複数の制約によって形成される。
インフラ最適化: FlagScaleによる高速化
記事では、BAAIのFlagScaleフレームワークに基づくシステムレベルの訓練改善についても触れている。チームは、FSDP2、チャンク化された交差エントロピー損失、前方/後方プリフェッチに関する改良を報告している。
H100クラスター上で、これらの変更により、訓練スループットがStarVLAベースラインの0.66サンプル/秒/GPUから2.91サンプル/秒/GPUへと向上し、4.4倍の高速化を実現したと報告されている。
この部分は重要である。なぜなら、世界モデルの訓練は規模に大きく依存するからである。訓練システムが大規模な動画、イベント、マルチモーダル教師ありパイプラインを効率的に処理できなければ、モデリングのアイデアを実際にテストすることが難しくなる。
Orcaが世界モデルにもたらす意味
Orcaはまだ初期バージョンである。技術報告書とプロジェクト資料には、いくつかの制限事項が記載されている。
現在のOrcaは主に視覚と言語信号に依存している。触覚、力、音、固有受容感覚など、より豊かな世界モデリングに重要となる他の物理的モダリティをまだ完全にはカバーしていない。現在のアプローチは、既存の視覚エンコーダやマルチモーダル表現空間にも部分的に依存している。
モデルの規模とデータの規模は、汎用世界基盤モデルという長期的な目標と比較すると初期段階にある。画像予測、行動の一般化、世界モデリングの評価方法にも、さらなる研究が必要である。
それでもなお、Orcaの価値は世界モデリングが解決されたと主張することではない。その価値は具体的な道筋を提供することにある。
- スケーラブルなマルチモーダル信号から統一された世界状態を学習する。
- その世界状態のバックボーンを固定する。
- それを言語、画像、行動のタスクへと読み出す。
- 下流の性能を使って、潜在表現が実際に適切かどうかをテストする。
役に立つ。
この方向性がさらに改善されれば、ロボット工学を超えた重要性を持つ可能性がある。物理システム、生物学、環境モデリング、科学実験、エージェントによる意思決定など、多くの領域が状態、介入、遷移を伴う。
より大きな問いは、将来のAIシステムが、回答や画像、動作を生成する前に、まず内部に安定した転移可能な世界モデルを構築できるかどうかである。
それがOrcaの中核となる考え方だ：世界はあなたの心の中にある。
よくある質問
BAAI RoboBrain Orcaとは何か？
BAAI RoboBrain Orcaは、次の状態予測に焦点を当てた初期の世界基盤モデルプロジェクトである。マルチモーダル信号から潜在的な世界表現を学習し、軽量な読み出しモジュールを用いて言語、画像予測、動作生成を行う。
「次の状態予測」とはどういう意味か？
次の状態予測とは、次のトークンやフレーム、動作を予測するだけでなく、基礎となる世界の状態がどのように変化するかを予測することを意味する。目標は、推論、視覚予測、身体化制御を支える形で状態遷移をモデル化することである。
Orcaは主に言語モデルか、画像モデルか、ロボットモデルか？
Orcaはこれらのカテゴリーのいずれかに限定されない。まず共有の世界潜在表現を学習し、その後言語、視覚、動作に異なる読み出しモジュールを使用する。そのため、単一目的のモデルではなく、マルチモーダル世界モデルと説明されている。
Orcaは事前学習にどのようなデータを使用するか？
Orcaは大規模な世界学習リソースを使用しており、約12万5千時間の動画、1億6千万件のイベントアノテーション、1150万件のVQAサンプルが含まれる。これらの信号により、モデルは自然なダイナミクス、イベント条件付き遷移、言語に合わせた理解を学習する。
なぜOrcaは下流の読み出し学習時にバックボーンを固定するのか？
バックボーンを固定することで評価がより明確になる。軽量な読み出しモジュールがバックボーンを固定したまま良好に機能するなら、有用な情報がすでに学習された世界潜在表現に含まれており、下流でゼロから再学習されるのではないことが示唆される。
Orcaはロボットを直接制御できるか？
報告された動作実験では、Orcaの固定された世界潜在表現は、ロボットタスク用の学習可能な動作エキスパートに接続されている。単純なプラグアンドプレイのロボットコントローラではないが、結果は世界状態の事前学習が下流のロボット汎化に役立つ可能性を示唆している。
Orcaは実運用可能か？
公開されている資料では、Orcaは完成した実運用システムではなく、初期の研究方向として示されている。このプロジェクトには、より広範な物理モダリティ、より強力な評価手法、より大規模な学習、そして広く再現するためのチェックポイントや推論コードの公開がまだ必要である。
Orcaの公式資料はどこで読めるか？
最適な出発点は、Orcaの公式プロジェクトページ、arXivのテクニカルレポート、GitHubリポジトリ、そしてHugging Faceの論文ページである。これらの情報源は、モデルの設計、データ、評価、引用について最も直接的な参照を提供する。
関連ツール
- Orca Project Page：Orca世界基盤モデルの公式プロジェクトページ。
- Orca GitHub Repository：プロジェクト情報の公式リポジトリ。
図表、および今後のコードやチェックポイントのリリースについて。
- arXiv: 「Orca: The World is in Your Mind」の公式テクニカルレポートページ。
- Hugging Face Papers: 議論やコレクション、論文追跡のためのコミュニティペーパーページ。
- FlagScale: インフラ最適化セクションで参照されている、BAAI関連の大規模モデル学習ツールキット。
- PyTorch FSDP fully_shard: FSDP2スタイルのシャーディングAPIに関するPyTorch公式ドキュメント。
関連リンク
- Orca 公式プロジェクトページ: モデルの概要、データ、評価、引用情報を含むメインプロジェクトサイト。
- Orca arXiv テクニカルレポート: Orca世界基盤モデルに関する研究論文。
- Orca GitHub リポジトリ: プロジェクトのREADMEとリリースロードマップを含む公式リポジトリ。
- Hugging Face Papers 上のOrca: Hugging FaceにおけるOrca論文のコミュニティページ。
- FlagScale GitHub リポジトリ: 記事で説明されているインフラ最適化に関連する学習ツールキット。
- PyTorch FSDP fully_shard ドキュメント: 完全シャード分散学習APIの公式リファレンス。
概要
RoboBrain Orcaは、孤立した出力を予測することから、世界状態の遷移をモデル化することへの転換を探求しています。言語、画像、動作を別々のターゲットとして扱うのではなく、複数の読み出しインターフェースをサポートできる共有の潜在世界表現を学習しようと試みています。
記事では、連続動画、イベントアノテーション、VQAデータを含むOrcaの学習設定について説明しています。また、テキスト推論、将来状態の画像予測、ロボット動作生成という3つの主要な読み出し方法についても詳述しています。
最も重要な考え方は、Orcaが世界モデリングを完成させたということではなく、言語、視覚、動作にわたる潜在世界モデルを構築し評価するための検証可能な経路を提供していることです。
要約すると、Orcaは、AIが単語、画像、動作を生成する前に状態変化を理解するための初期の試みです。