Dexmal DM0.5 详解:为真实世界机器人打造、基于15万小时训练的具身基础模型
DM0.5 是 Dexmal 最新推出的具身基础模型,其核心包括更大规模的数据、4B 参数架构、更长记忆、具身推理以及轨迹对齐。其主要目标是提升机器人跨任务、跨环境、跨本体的泛化能力。 文章同时指出,仅有模型并不足够。Dexmal 的 DexDev 平台、DFOL2.0、DexOS、MaaS 以及 Ferrata 系统,旨在将模型能力转化为可部署的基础设施。 **关键要点:DM0.5 不仅是模型的一次更新,更是 Dexmal 试图将具身 AI 的训练、部署与真实世界机器人操作整合进同一体系的尝试。**

Dexmal DM0.5 详解:面向真实世界机器人的15万小时具身基础模型
引言
具身智能领域从不缺乏精彩的演示、新型机器人硬件或研究人才。但更难的问题依然如故:如何构建一个数据飞轮,让机器人在现实世界任务中持续进步?
Dexmal(中文名:原力灵机)在其开发者大会上推出了一款名为DM0.5的新型具身基础模型。该模型定位为面向开放世界具身智能的通用基础模型,旨在连接机器人领域通常彼此割裂的三个要素:大规模机器人数据、模型泛化能力以及部署基础设施。
根据量子位原始报道,DM0.5基于15万小时数据构建,采用4B参数模型,旨在支持导航、抓取、全身控制、长时记忆及跨形态部署。
15万小时数据:DM0.5的根基
Dexmal用三个关键词描述DM0.5:更大、更强、更实用。
该模型定位为面向开放世界任务的通用具身基础模型。相较于前代DM0模型,DM0.5的参数规模翻倍至40亿参数,训练数据量增加400%。
这15万小时的数据基础主要来自三类高质量数据。
1. 真实机器人操作数据
DM0.5使用了5万小时高精度机器人操作数据。这些数据涵盖100多种动作类型,支持指令与动作在秒级粒度上的精细对齐。
这部分数据集帮助模型学习物理动作在现实世界中如何实际执行,而不仅仅是它们在语言中的描述方式。
2. 自我中心第一人称数据
该模型还使用了10万小时自我中心数据。这赋予了模型更接近人类的视角来观察环境,并支持毫米级高精度3D地标生成。
第一人称数据至关重要,因为机器人需要从世界中的行动者视角理解场景,而非仅依赖静态摄像头视角。
3. 场景重建数据
Dexmal还基于100万平方米空间数据使用了场景重建数据。其目标是对复杂室内环境进行建模,缩小仿真与现实部署之间的Sim2Real差距。
这对具身智能意义重大,因为一个在模拟器中表现优异的机器人,当真实场景中光照、物体摆放、表面摩擦力或人类行为发生变化时,仍可能失效。
DM0.5的三项架构升级
除了数据规模,DM0.5还引入了三项重大架构升级。这些升级旨在帮助机器人从"记住动作"向"理解任务"转变。
1. 上下文抽象层
许多现实世界的机器人任务并非简短的单步指令。它们可能持续数分钟,需要机器人记住之前发生的事件。
DM0.5增加了高效的上下文压缩能力,支持长达60秒的原生记忆,平均记忆能力约为30秒。这使得模型
为了保留有用的历史背景信息,并更好地理解在长期任务中环境的变化情况。对于长时域任务,这种记忆机制能够减少碎片化行为,帮助机器人维持更一致的动作序列。
2. 具身思维链任务
DM0.5 仍然遵循 VLA 风格的方向,但 Dexmal 增加了更多推理型任务,包括任务规划、目标定位和未来状态预测。
简单来说,该模型被鼓励在行动前先进行规划。当指令复杂时,它可以将目标分解为更小的步骤,组织行动顺序,并减少试错行为。
3. 轨迹对齐层
自然语言指令和机器人关节运动存在于完全不同的空间中。人类可能只说一句话,但机器人仍需要将该指令转换为毫米级的手臂、夹爪或身体运动。
轨迹对齐层帮助模型将动作学习为一个对齐的过程,而非一组孤立的点。这使得模型更擅长理解意图与执行之间的运动模式。
这些升级共同支撑了 Dexmal 的主张:DM0.5 不仅是在记忆动作,而是在学习一种更具任务感知能力的物理世界表征。
基准测试结果与效率提升
基于这种数据和架构设置,DM0.5 在实物机器人和仿真评估中均展示出多项报告中所称的性能提升。
根据报告,DM0.5 在四个公开的实物机器人与仿真基准测试中均优于当前最先进的模型。单个模型即可支持多种任务类型,包括导航、抓取和全身控制。
与 DM0 相比,DM0.5 据称实现了以下改进:
- 零样本导航成功率提升 31%
- 少样本成功率提升 45%
- 微调任务成功率提升 20%
- 推理效率提升 25%
对于机器人部署而言,其报告中的延迟也较低:
- 在 NVIDIA H100 上推理延迟为 50 毫秒
- 在 RTX 4090 上推理延迟为 90 毫秒
这些数字之所以重要,是因为具身 AI 不仅要准确,还需要足够快的响应速度,以实现实时物理控制。
泛化能力与低成本:DM0.5 的“有用”定义
在开发者活动上,Dexmal 联合创始人兼首席执行官唐文斌表示,虽然许多具身 AI 模型正在发布,但真正的问题在于它们是否实际有用。
Dexmal 采用两个实用标准来定义有用的具身基础模型:
- 模型的零样本泛化能力有多强?
这决定了模型能力的上限。 - 后训练的效率有多高?
这决定了模型能多快进入实际的工业或服务场景。
据称,DM0.5 可将微调成本降低 60%。只需一块 RTX 4090 消费级 GPU,最快 18 小时即可完成新下游任务的微调并部署至专家级性能。
更大的变化在于泛化能力。Dexmal 强调,DM0.5 旨在理解物体、场景、任务、机器人本体及自然语言指令之间的关系。该公司表示——
它已经在 DM0.5 中观察到了泛化能力的涌现迹象。
1. 零样本能力
零样本能力衡量的是机器人在未经过训练的情况下,无需看见确切任务就能执行操作的能力。
Dexmal 在 Franka 单臂机器人和 Dexmal-Mint 上对 DM0.5 进行了测试,涵盖八个核心原子动作:
- 拾取
- 放置
- 覆盖
- 旋转
- 推
- 拉
- 擦拭
- 堆叠
测试还包括更复杂的指令跟随案例,涉及颜色、形状、大小、状态、绝对位置、相对位置以及长序列指令。
在已报告的评估中,DM0.5 在 Franka 单臂移动能力上达到了与 PI 0.5 相当的水平,而在其他测试项目中均优于 DM0 和 PI 0.5。
2. 微调能力
微调能力展示了模型在进入真实任务环境后的适应效果。
在 RoboChallenge 真实机器人基准测试 Table30 V2 中,DM0.5 接受了 30 个复杂任务和四种异构机器人形态的测试。据报道,其得分为 54.42,成功率为 43%,在该评估中排名第一。
该模型还在多个公认的抓取和导航基准测试中刷新了成绩。在 LIBERO 中,DM0.5 的整体性能达到 99.1%,其中在 Clean 场景中为 94.1%,在 Random 场景中为 94.4%。
一个重要的实用细节是成本:Dexmal 表示,一个全新的下游任务可以在单个 RTX 4090 上在 18 小时内完成微调,而在同级别 GPU 上,推理可在 90 毫秒内运行。
3. 原生长时记忆
DM0.5 支持长达 60 秒的原生长时记忆。Dexmal 指出,当前许多具身模型通常记忆能力不超过 10 秒。
更长的记忆使机器人能够处理环境随时间变化的多步骤任务。例如,在杂乱的储物或家务整理任务中,机器人需要记住它已经移动了什么、还剩下什么,以及场景发生了怎样的变化。
DM0.5 还支持视频提示。凭借长记忆能力,该模型可以理解一段简短的人类示范视频,并将其行为与所展示的任务对齐,从而减少对纯语言指令的依赖。
4. 抗干扰能力
DM0.5 采用双系统设计:
- Sys2 处理高层理解、推理和规划。
- Sys1 处理高频动作响应。
该模型针对具身场景中两种常见的尾部干扰进行了增强:
- 摄像头干扰: 即使摄像头视角突然变化,机器人也应保持稳定。
- 人类中断: 当有人打断进程时,机器人应理解任务状态已改变并调整其后续动作。
这一点很重要,因为现实世界的部署很少像干净的实验室演示。人们会走动,摄像头会移动,物体也并非总是在机器人预期所在的位置。
5. 多形态支持
DM0.5 是通过多机器人和多任务集成训练的,旨在支持跨平台迁移。
Dexmal 表示,该模型可以适应多种主流的异构机器人类型,包括双足人形机器人、轮式机器人、双臂和单臂操作器以及灵巧手。
手部。
文章列举了Aloha、ARX、UR、W1、Unitree G1、天工、华擎、Realman等案例。Dexmal还表示,该模型可通过轻量级适配快速部署到新的未知机器人本体上。
更广泛的意义在于,泛化能力应让机器人摆脱固定环境和固定动作脚本的束缚。一个更通用的模型能够处理新物体、新场景、新指令和新机器人本体,且所需定制工作量更少。
仅有基础模型还不够
强大的具身基础模型只是第一步。要让具身AI在工业中发挥作用,模型仍需配套工具、部署系统、数据反馈和真实世界运行基础设施。
Dexmal用"三级火箭"概念来描述这一架构:
- 第一级: DM0.5作为通用基础模型。
- 第二级: DexDev开发者平台,包含DFOL2.0、MaaS和DexOS。
- 第三级: Ferrata,适用于真实场景的多智能体混合操作系统。
这些层级的目的是降低模型调用成本,简化跨硬件部署,并在真实任务环境中提升稳定性。
一、DexDev开发者平台
DexDev是Dexmal为降低具身AI模型应用复杂度而打造的开发者平台。
在当前的具身AI领域,模型、硬件、任务、数据集和部署环境往往相互割裂。开发者可能需要同时理解算法、机器人控制、硬件适配和场景迭代。
DexDev围绕三个模块构建。
1. DFOL2.0:世界模型驱动的框架
DFOL2.0是由Dexmal通用世界模型DW0.5驱动的具身强化学习与数据闭环框架。
其作用是帮助模型持续优化。与仅依赖昂贵的真实机器人试错不同,DFOL2.0利用高保真虚拟物理环境进行低成本、低风险的闭环策略训练。
同时,它将真实世界的任务执行和故障数据反馈至云端,助力基础模型不断进化。
据Dexmal介绍,DFOL2.0可将真实机器人训练数据需求降低60%,训练成本降低40%。
2. DexOS:具身AI通用操作系统
DexOS定义了标准化的ECP(具身控制协议)接口。
目标是屏蔽异构机器人硬件之间的差异。DexOS不再解决多个模型与多种机器人本体之间复杂的"N×M"适配问题,而是试图将部署简化为"N+1"的统一连接问题。
这有助于DM系列模型以更低成本、更低延迟和更高稳定性运行于不同硬件之上。
3. 具身MaaS服务
Dexmal还为DM模型系列推出了具身MaaS服务。
其理念是将基础模型能力封装为服务。开发者无需从头训练模型或处理每个硬件适配细节,即可更直接地调用模型能力进行机器人部署与升级。
在Dexmal的架构中,DFOL2.0帮助模型进化,DexOS连接软硬件,MaaS则让模型更易于大规模使用。
二、
Ferrata:多智能体混合操作系统
一旦通过 MaaS(模型即服务)调用单个机器人的能力,下一个挑战就是多机器人协作。
Dexmal 推出了 Ferrata,这是一款专为真实场景设计的多智能体混合操作系统。它旨在处理跨多个目标、模型、机器人形态和安全边界的系统级调度。
Ferrata 基于 DM 模型系列和 Realtime-VLA 构建。它不局限于某一种特定的机器人。相反,它在系统层面协调任务、模型、硬件类型和安全机制。
通过任务分层、异常处理、人工接管和数据反馈,Ferrata 旨在让机器人在真实环境中持续运行。
从 DM0.5 到 DexDev 和 Ferrata,Dexmal 正试图构建一条从模型能力到实际生产力的完整基础设施路径。
第一层是通用模型。第二层是用于训练、MaaS和操作系统的平台基础设施。第三层是场景级操作系统,帮助具身智能从实验室演示走向生产环境。
常见问题解答
什么是 Dexmal DM0.5?
DM0.5 是 Dexmal 推出的具身基础模型,也被称为“原力灵机”。它被定位为一个拥有 40 亿参数、面向开放世界机器人任务的通用模型,涵盖导航、抓取、全身控制和指令遵循等功能。
DM0.5 使用了多少数据进行训练?
根据原始报告,DM0.5 基于 15 万小时的数据构建。其中包括 5 万小时的机器人实际运行数据、10 万小时的第一人称视角数据,以及覆盖 100 万平方米的大规模场景重建数据。
DM0.5 与 DM0 有何不同?
与 DM0 相比,DM0.5 将模型参数规模翻倍至 40 亿,数据量增加了 400%。它还新增了长期记忆、具身推理任务和轨迹对齐功能,以提升任务理解能力和泛化能力。
DM0.5 能在消费级 GPU 上运行吗?
报告称,DM0.5 可以在单张 RTX 4090 上,在快至 18 小时内完成一个新下游任务的专家级微调。同时,报告显示其在 RTX 4090 上的推理延迟为 90 毫秒,在 H100 上为 50 毫秒。
什么是 DexDev?
DexDev 是 Dexmal 面向具身 AI 应用的开发者平台。它包括用于强化学习和数据闭环的 DFOL2.0、用于跨硬件控制的 DexOS,以及用于更便捷访问模型能力的 MaaS。
Ferrata 的用途是什么?
Ferrata 是一个面向真实世界机器人场景的多智能体混合操作系统。它协调任务、机器人硬件、模型、安全边界、异常处理、人工接管和数据反馈。
DM0.5 是开源的吗?
这篇文章主要关注 DM0.5 的发布及其所报告的能力,但并未明确说明 DM0.5 本身是开源的。Dexmal 确实维护着开源的 Dexbotic VLA 工具箱,并且与 DM0 相关的文档可通过 Dexbotic 的 GitHub 仓库获取。
为什么长期记忆在具身 AI 中很重要?
机器人通常需要完成多步骤任务,而场景会随时间变化。更长的记忆有助于模型追踪之前的动作、当前任务状态以及环境变化,从而
机器人能在长时间任务中更不容易丢失上下文信息。
相关工具
- Dexmal:Dexmal 官方网站,旗下拥有 DM0、DM0.5、DexDev 及 Ferrata 等产品。
- Dexbotic:由 Dexmal 开发的开源具身智能研究 VLA 开发工具包。
- RoboChallenge:用于评估具身人工智能场景下机器人任务性能的基准平台。
- Hugging Face:模型托管平台,Dexbotic 文档引用其存放 DM0 模型检查点。
- arXiv:科研论文平台,DM0 技术论文可在此查阅。
相关链接
- Dexmal 官方网站:提供官方公司及产品信息。
- Dexbotic GitHub 仓库:开源 VLA 工具包,支持预训练、微调、推理和评估。
- Dexbotic 中的 DM0 教程:Dexbotic 官方文档,指导 DM0 专属配置使用。
- DM0 arXiv 论文:研究论文《DM0:面向物理人工智能的具身原生视觉-语言-动作模型》。
- RoboChallenge DM0 运行记录:RoboChallenge 公开运行记录,按 Table30 标准筛选 DM0 相关数据。
- Dexmal GitHub 组织:Dexmal 的 GitHub 组织页面及开源项目列表。
总结
DM0.5 是 Dexmal 最新推出的具身基础模型,基于更大规模数据、40亿参数架构、更长记忆能力、具身推理及轨迹对齐构建而成。其主要目标是提升机器人在不同任务、环境和实体间的泛化能力。
文章同时指出,仅靠模型本身并不足够。Dexmal 的 DexDev 平台、DFOL2.0、DexOS、MaaS 和 Ferrata 系统旨在将模型能力转化为可部署的基础设施。
核心要点:DM0.5 不仅是模型升级,更是 Dexmal 将具身智能训练、部署与真实世界机器人操作整合为统一体系的尝试。