BAAI RoboBrain Orca：一种多模态世界表征模型

引言

现代AI系统已经能够完成许多令人印象深刻的任务。语言模型可以回答问题并编写代码。图像或视频模型可以生成逼真的视觉内容。机器人模型可以学习抓取、放置或移动物体。

但这些能力往往来自于不同的预测目标。语言模型预测下一个词元。视频模型预测下一帧。机器人策略预测下一步动作。每个目标都有其价值，但这仍留下一个更深层的问题：模型是否理解世界本身是如何变化的？

BAAI的RoboBrain Orca项目在技术报告**《Orca：世界在你心中》**中，从世界表征的角度探讨了这一问题。Orca并非被定位为更强大的聊天机器人、更精美的图像生成器，或机器人直接模仿学习策略。其核心理念更为基础：首先学习世界状态的共享潜在表征，然后将该表征解读为语言理解、图像预测和动作生成。

项目背景

这篇文章从一个简单但重要的观察出发：AI能够生成输出，但输出生成并不等同于世界理解。

例如：

• 如果一个杯子被打翻，模型能否推断出水可能洒出来？
• 如果机器人第一次抓取失败，模型是否知道物体仍在场景中？
• 如果一个烹饪视频从洗菜过渡到切菜，模型是否理解这是事件推进而不仅仅是视觉变化？
• 在动作发生后，模型能否追踪物体、关系和任务进展的变化？

这些问题指向一个更广泛的目标。一个有用的世界模型不仅应预测外部输出，还应构建世界状态及状态转换的内部表征。

Orca的项目页面和技术报告将此描述为从下个X预测到下个状态预测的转变。Orca不单独预测下一个词元、下一帧或下一个动作，而是尝试学习世界状态在自然动态、事件条件和任务意图下如何演变。

项目主页：https://orca-wm.github.io
技术报告：https://arxiv.org/abs/2606.30534

研究社区反响

发布后，Orca引起了世界模型、多模态表征和具身智能研究领域的关注。讨论焦点并非Orca能否生成视觉上吸引人的输出，而是其试图将文本、图像、视频和动作作为同一底层世界的不同投影来连接。

![图片展示了Orca发布后在Twitter上的讨论截图。左侧用户@adelbucetta认为Orca是真正多模态方法，不仅将文本和图像简单拼凑，而是将它们视为同一底层现实的不同投影。右侧用户@homuraakemifan表示不得不看视频，认为其太酷了。下方还有@Shinka - AI、Liam Walker、Ethan Miller等人的评论，他们对Orca表示认可，认为其想法发人深省，方向比Yann LeCun的JEPA更令人兴奋，是早期通用世界模型设想。这些评论反映了Orca发布后在研究社区的反响。](https://we0-cms.oss-cn-beijing.aliyuncs.com/cms-assets/image/2026/07/7823be78-653c-42e2-997b-322504a8fd7e-02-9468861f-ccac-41eb-8ee6-5df695a06885.

png)

该论文还登上了 Hugging Face Papers，并获得了显著的社区关注。这一点至关重要，因为如今评价世界模型的标准，不仅在于其输出质量，也在于其学得的表征能否在任务间迁移。

从“预测下一个X”到“预测下一状态”

过去几年中，许多人工智能的突破都可以描述为“预测下一个X”的形式。

语言模型预测下一个token，从而获得写作、推理、对话和编码能力。视频模型预测或合成未来帧，这有助于生成更连贯的运动。具身模型通常预测下一个动作，使机器人能够执行操作任务。

Orca认为，对于必须在现实世界中运行的智能体而言，这还不够。语言、图像和动作只是世界的不同接口。更深层的目标是世界状态本身。

在Orca的框架中，下一状态预测意味着学习一种内部状态表征，该表征能够支持物理上和语义上一致的转换。这种状态不等同于一个句子、一张图像或一条动作轨迹。它更接近于世界的一种压缩潜在表征。

一旦学得了这样的表征，不同的读出模块就可以用不同的方式来使用它：

• 语言读出模块可以解释或推理该状态。
• 图像读出模块可以预测一个合理的未来视觉状态。
• 动作读出模块可以帮助机器人决定下一步该做什么。

这就是该项目使用**“世界存乎一心”**这一说法的原因。世界不被视为互不关联的token、帧和动作标签，而是被建模为一个可以通过多种模态读出的潜在空间。

RoboBrain Orca 首先试图教会模型什么？

如果将机器人比作孩子，那么许多当前的方法就像是直接把孩子送到工作台前，要求其重复一个特定任务，直到精通为止。

Orca遵循另一种顺序。在精确教会机器人如何行动之前，它试图先让模型对世界的变化有一个更普遍的认识。

这包括诸如以下的基本规律：

• 物体会掉落；
• 液体会流动；
• 遮挡并不意味着消失；
• 接触可以改变物体的位置；
• 事件具有时间顺序；
• 任务进度会随环境变化而改变。

其动机很直接：如果模型先学会了世界状态如何变化，那么只需少量的

行动数据可能足以将该表征与机器人控制联系起来。这可以降低训练成本并提升泛化能力。

两种学习模式与三种训练信号

Orca采用两种互补的学习模式：无意识学习和有意识学习。

无意识学习从连续观测中捕捉密集的自然状态转移。模型观察场景、物体、遮挡、接触和运动如何演变，而无需动作标签或明确的任务指令。

有意识学习则增加了语义结构。它利用事件描述、语言和VQA风格的监督信号，使模型能够将视觉变化与人类概念、指令和因果意义联系起来。

这两种学习模式共同由三种主要信号类型支撑。

1. 用于自然状态转移的连续视频

第一个信号是连续的真实世界视频。这为模型提供了自然状态变化的密集体验，例如物体的运动、场景的演变、接触效应和遮挡。

这种学习类型不需要模型预先知道任务目标。它更接近于被动观察：模型通过观察世界的变化来学习世界如何变化。

2. 用于语义状态转移的事件数据

第二个信号是事件级别的组织。现实世界的过程不仅仅是孤立的帧。人们自然地将其描述为事件：在切菜之前洗菜，在流水改变食物状态之前打开水龙头，或者在物体改变位置之前移动手。

事件监督帮助Orca学习在特定语义条件下的有意义状态转移。

3. 用于推理与表达的语言监督与VQA

第三个信号是基于语言的理解。语言不是Orca的最终目标，但它是连接世界状态与人类意图的重要接口。

VQA监督有助于对齐视觉状态、事件结构和自然语言。换言之，模型不仅应该注意到某些东西发生了变化，还应该描述并推理这种变化为何重要。

世界学习的数据规模

为支持世界状态学习，Orca使用了一个大规模的世界学习数据清单。原始文章和官方项目页面描述了以下资源。

资源类型	规模	在学习中的作用
连续视频	约12.5万小时	对自然状态转移的密集观察
事件标注	约1.6亿个事件	语义监督

有意义的状态转换 |
| VQA示例 | 约1150万示例 | 语言对齐与问题条件化状态理解 |

这些数据源涵盖了自我中心交互、外部中心操作、机器人执行视频、自然动态场景、事件级转换以及通用视觉问答。

关键在于，Orca 并非仅基于机器人轨迹或视觉问答进行训练。它试图从多种真实世界信号中学习更广泛的潜在世界空间。

扩展行为：世界潜在空间能否持续提升？

世界表征只有在可被测试和改进时才具有价值。因此，Orca 的实验围绕两个核心问题展开。

1. 学习范式是否随数据和模型规模扩展？
2. 更好的世界表征是否能提升下游任务性能？

扩展结果表明，随着预训练数据的增加，0.8B 和 4B 模型的损失均持续下降。同时，4B 模型达到了比 0.8B 模型更低的损失水平。

图片描述：一张折线图，展示不同预训练数据规模下模型总损失随预训练数据时间的变化。横轴为预训练数据时间（小时），纵轴为总损失（范围 0.2 至 0.7）。两条折线分别代表 0.8B 和 4B 模型，其中 0.8B 模型损失值高于 4B 模型。随着预训练数据时间增加，两条折线均呈下降趋势，表明模型总损失随数据量增加趋于稳定。此图与上下文相关，直观呈现不同规模模型在预训练数据增加时的损失变化。

这支持了一个观点：下一状态预测不仅是一种小规模技巧，而且似乎是一个可扩展的世界学习目标，至少在测试范围内如此。

Orca 如何检验潜在空间的有效性

关键检验不在于 Orca 能否构造一个听起来不错的概念，而在于学习到的潜在空间能否真正支持下游任务。

Orca 冻结预训练骨干网络，并为三个方向附加轻量级读出模块：

• 文本读出：用于语言理解与推理；
• 图像读出：用于未来状态视觉预测；
• 动作读出：用于机器人控制与具身任务执行。

图片描述：该图展示 BAAI RoboBrain Orca 为验证隐层有效性而设计的三类下游任务方向模块，对应文档中提及的三个输出方向。图分为 (a)(b)(c) 三部分，分别对应文本、视觉、动作三个输出通路：(a) 文本通路中，冻结世界隐层表征，通过 LM 头和可训练的 LM head 输出文本；(b) 视觉通路中，世界隐层表征经 MLP 输入冻结的 SD3.5 MMDiT，添加噪声后通过可训练的 LoRA 生成图像；(c) 动作通路中，世界隐层表征经 MLP 输入，结合带噪声的动作、时间信息及本体信息，通过可训练的动作专家模块生成动作片段。三类通路均采用冻结预训练主干、附加轻量读取模块的设计，用于验证隐层的实用价值。

这种设计至关重要，因为冻结骨干网络能防止下游模块从头重新学习所有内容。如果不同的读出模块能从同一冻结潜在空间中提取语言、图像和动作能力，那么潜在表征本身很可能承载了有用的世界状态信息。

下游任务的结果也随预训练规模的扩大而提升。

[图片展示：Orca 在不同预训练数据量下的下游任务性能。包含三个图表：Text Generation（文本生成）中不同预训练数据量（如 2K、5K、7K、10K 等）下的性能变化；Image Prediction（图像预测）中 0.8B 和 4B 预训练数据量（如 1K、6K、7K、10K 等）下的性能对比；Action Generation（动作生成）中 0.8B 和 4B 预训练数据量（如 0K、5K、6K、10K 等）下的性能变化。这些图表与上下文中提到的下游结果随预训练规模提升而改善相呼应。](https://we0-cms.oss-cn-beijing.aliyuncs.

com/cms-assets/image/2026/07/28b12759-9160-48b4-92f6-6c6194bf0621-09-eb93bffa-9db9-456a-bfa9-cd10764544ba.png)

文本解读：在世界变化相关问题上表现更优

在文本生成和视觉问答任务中，Orca与多个视觉语言模型和世界模型进行了对比，包括V-JEPA、Emu3、Qwen3.5、Gemma、MiniCPM-V和DeepSeek-VL2。

报告结果显示，Orca的4B模型在同类规模模型中表现强劲，尤其是在涉及时间推理、状态转换和动态运动的问题上。

文章中的简化能力分解如下表所示。

能力维度	Qwen3.5-4B	Orca-4B	Orca优势
状态转换	51.86	64.13	+12.27%
常识推理	57.76	62.95	+5.19%
空间关系	54.68	55.25	+0.57%
动态运动	57.03	65.55	+8.52%

这一模式至关重要。Orca的优势不仅在于识别静态场景中的物体。更大的增益出现在更接近世界动态的类别中：状态如何变化、事件如何展开、以及运动如何影响场景。

对于世界模型而言，这比单纯的普通图像理解更有意义。现实世界并非静态图像的集合，而是一个不断变化的系统。

图像解读：预测合理的未来状态

Orca的图像解读并非作为标准图像生成功能呈现。它被用作一种测试手段，以检验模型能否在交互之后预测出合理的下一个视觉状态。

这有别于普通的图像生成。典型的图像生成器可能会创造出视觉上吸引人的内容，但依然会打破场景的实际约束。它可能添加原本不存在的物体、移除机器人的具身形态、忽略指令，或者遵循刻板印象而非当前状态。

例如，如果提示中提到一个红色气球，普通的生成器可能会无视气球的真实状态，直接画出一个完全充气的红色气球。而一个世界状态预测器则应该根据当前场景和交互条件进行推理。

在PRICE真实世界交互基准测试中，Orca与FLUX、OmniGen2等图像生成基线进行了对比。其目标不仅在于视觉质量，更在于预测的未来状态是否尊重场景布局、物体关系、机器人具身形态和物理约束。

左侧为指令"关闭微波炉门"，右侧为"将海绵放下并收回"。Orca预测结果与实际场景相符，如微波炉门关闭、海绵放置等；而Flux.2、OmniGen2则可能出现不合理的预测，如海绵被移除或放置在错误位置。该图与上下文紧密相关，直观呈现了Orca在真实场景预测中的优势，强调其预测结果尊重场景布局、物体关系等，与上下文对Orca图像预测能力的描述相呼应。](https://we0-cms.oss-cn-beijing.aliyuncs.com/cms-assets/image/2026/07/f96fdbbc-cb9d-43ae-aaf5-c3e8b56393ce-12-8e944a34-7e1f-45d5-a9a3-937f15165375.png)

在此背景下，图像预测成为理解世界的可见探针。问题不在于"模型能否画出漂亮的图片？"，而在于"模型是否知道在描述交互发生后，这个场景应该变成什么样？"

动作读取：帮助机器人在无动作预训练下实现泛化

Orca最具趣味的实验之一是为真实机器人提供的动作读取功能。

在预训练阶段，Orca不使用带有动作标签的机器人轨迹数据。它并非先记忆特定机械臂的移动方式，而是从视频、事件和语言中学习世界状态的变化。

在下游动作任务中，研究人员冻结Orca主干网络，并附加一个从头训练的DiT风格动作专家。每个任务仅使用少量领域内轨迹数据，随后在分布外的双臂操作场景中进行评估。

报告的动作生成对比显示，与多个基线相比，Orca在整体任务推进和恢复行为方面均有提升。

简化后的整体对比如下：

模型	规则基 ↑	M25 ↑	M50 ↑	SR ↑	MaxP-F ↑	FNS ↑	DRR ↑	SQS ↑
V-JEPA 2.1	17.0	27	7	0	17.4	10.1	20.5	0.0
Qwen3.5	10.5	18	5	0	13.1	7.6	11.9	0.0
π₀.₅	29.4	54	14	5	26.5	15.3	26.7	3.0
Orca	32.4	55	14	6	27.9	15.1	30.3	2.9

恢复实例尤其值得关注。在真实机器人任务中，首次尝试往往失败。仅将观测映射到记忆动作的系统可能在受到干扰后陷入停滞。而具备更强世界状态表征能力的系统，则更有机会意识到任务尚未完成、物体仍然存在、当前状态仍有通往目标的路径。

这正是学习世界状态的实用价值所在。

在行动之前。Orca并非认为行动数据无用，而是改变了学习顺序：先学习可扩展的世界动态，再通过少量特定任务数据将该表征与机器人行动连接起来。

为何三个训练目标需要共同作用

文章还讨论了消融实验。研究人员移除不同的训练目标，观察文本、图像和动作读出结果的变化。

结果是这三个目标各自扮演不同角色：

• VQA监督保持语言界面和语义对齐。
• 连续视频支持密集的自然动态，对动作读出尤其重要。
• 事件条件学习连接语言、事件结构和视觉状态转换，帮助图像预测遵循指令。

主要启示是：世界表征并非由单一监督信号产生，而是由自然变化、语义事件、语言推理和状态转换等多重约束共同塑造。

基础设施优化：FlagScale加速

文章还提到基于北京智源人工智能研究院FlagScale框架的系统级训练改进。团队报告了围绕FSDP2、分块交叉熵损失以及前向/后向预取技术的升级。

在H100集群上，这些改进据称将StarVLA基线的训练吞吐量从0.66样本/秒/GPU提升至2.91样本/秒/GPU，实现了4.4倍加速。

这部分很重要，因为世界模型训练高度依赖规模。如果训练系统无法高效处理大规模视频、事件和多模态监督流程，模型理念在实践中将难以验证。

Orca对世界模型的意义

Orca仍处于早期版本。技术报告和项目材料描述了若干局限性。

当前Orca主要依赖视觉和语言信号，尚未全面涵盖触觉、力觉、声音、本体感知等对更丰富世界建模至关重要的物理模态。当前方法仍部分依赖现有视觉编码器和多模态表征空间。

与通用世界基础模型的长期愿景相比，模型规模和数据规模仍处于早期阶段。图像预测、动作泛化以及世界建模的评估方法也需要进一步完善。

尽管如此，Orca的价值不在于宣称世界建模问题已解决，而在于它提供了一条具体路径：

1. 从可扩展的多模态信号中学习统一的世界状态。
2. 冻结该世界状态主干。
3. 将其读出为语言、图像和动作任务。
4. 利用下游性能检验潜在表征是否真正有效。

有用。

如果这一方向持续进步，其影响可能超越机器人领域。许多领域都涉及状态、干预和转换：物理系统、生物学、环境建模、科学实验以及自主决策。

更宏大的问题是：未来的人工智能系统能否在生成答案、图像或行动之前，先构建一个内在、稳定且可迁移的世界模型。

这正是 Orca 的核心理念：世界在你的心中。

常见问题

什么是智源研究院 RoboBrain Orca？

智源研究院 RoboBrain Orca 是一个早期的世界基础模型项目，专注于下一状态预测。它从多模态信号中学习潜在的世界表征，并使用轻量级读出模块进行语言、图像预测和行动生成。

“下一状态预测”是什么意思？

下一状态预测指的是预测底层世界状态如何变化，而不仅仅是预测下一个词元、帧或动作。其目标是构建一种能支持推理、视觉预测和具身控制的状态转换模型。

Orca 是语言模型、图像模型还是机器人模型？

Orca 并不局限于其中某一类别。它首先学习共享的世界潜在表征，然后针对语言、视觉和动作使用不同的读出模块。因此，它被描述为一个多模态世界模型，而非单一用途模型。

Orca 使用什么数据进行预训练？

Orca 使用大规模世界学习资源，包括约 12.5 万小时视频、1.6 亿条事件注释和 1150 万个视觉问答（VQA）示例。这些信号帮助模型学习自然动态、事件条件转换以及语言对齐理解。

为什么 Orca 在下游读出模块训练时会冻结主干网络？

冻结主干网络可以使评估更干净。如果轻量级读出模块在主干网络冻结的情况下仍能表现良好，说明有用信息已存在于学习到的世界潜在表征中，而非从头开始在下游重新学习。

Orca 能直接控制机器人吗？

在已报道的动作实验中，Orca 的冻结世界潜在表征连接到一个可训练的机器人任务行动专家模块。它并非简单的即插即用机器人控制器，但结果表明，世界状态预训练有助于提升下游机器人的泛化能力。

Orca 可以投入生产使用吗？

现有资料表明，Orca 是一个早期研究方向，而非完善的生产系统。该项目仍需扩展物理模态、强化评估方法、进行更大规模训练，并发布检查点或推理代码以供广泛复现。

我在哪里可以阅读 Orca 的官方资料？

最佳起点是 Orca 官方项目页面、arXiv 技术报告、GitHub 仓库以及 Hugging Face 论文页面。这些来源为模型设计、数据、评估和引用提供了最直接的参考资料。

图表、以及未来代码或模型检查点的发布。

• arXiv: "Orca: 世界就在你心中"的官方技术报告页面。
• Hugging Face Papers: 用于讨论、收藏和论文追踪的社区论文页面。
• FlagScale: 基础设施优化部分提及的、与BAAI相关的大模型训练工具包。
• PyTorch FSDP fully_shard: FSDP2风格分片API的官方PyTorch文档。

相关链接

• Orca 官方项目页面: 包含模型概览、数据、评估与引用信息的主项目网站。
• Orca arXiv技术报告: 关于Orca世界基础模型的研究论文。
• Orca GitHub仓库: 包含项目README和发布路线图的官方仓库。
• Hugging Face上的Orca论文: Orca论文在Hugging Face上的社区页面。
• FlagScale GitHub仓库: 与文章中描述的基础设施优化相关的训练工具包。
• PyTorch FSDP fully_shard 文档: 全分片分布式训练API的官方参考文档。

总结

RoboBrain Orca探索了一条从预测孤立输出到建模世界状态转换的转变路径。它并非将语言、图像和动作视为独立的目标，而是试图学习一个共享的潜在世界表征，以支持多种读取接口。

文章阐述了Orca的学习框架，包括连续视频、事件标注和VQA数据。同时，它也详解了三种主要的读取方式：文本推理、未来状态图像预测以及机器人动作生成。

最核心的观点并非Orca已经完成了世界建模。而是Orca为构建和评估一个跨语言、视觉和行动的潜在世界模型提供了一条可测试的路径。

简而言之：Orca是让AI在生成文字、图像或动作之前，先理解状态变化的一次早期尝试。