Explicación de Dexmal DM0.5: Un modelo fundacional encarnado de 150.000 horas para robots del mundo real

Introducción

La IA encarnada no carece de demostraciones sólidas, nuevo hardware robótico o talento investigador. El problema más difícil sigue siendo el mismo: ¿cómo construir un ciclo de datos que pueda seguir mejorando a los robots en tareas del mundo real?

Dexmal, conocido en chino como 原力灵机, presentó un nuevo modelo fundacional encarnado llamado DM0.5 en su evento para desarrolladores. El modelo está posicionado como un modelo fundacional de propósito general para la inteligencia encarnada en mundos abiertos. Su objetivo es conectar tres aspectos que a menudo permanecen separados en robótica: datos robóticos a gran escala, generalización de modelos e infraestructura de despliegue.

Según el informe original de QbitAI, DM0.5 se basa en 150.000 horas de datos, utiliza un modelo de 4B parámetros y está diseñado para soportar navegación, agarre, control corporal completo, memoria a largo plazo y despliegue entre diferentes cuerpos.

150.000 horas de datos: la base detrás de DM0.5

Dexmal describe DM0.5 con tres palabras clave: más grande, más fuerte y más práctico.

El modelo está posicionado como un modelo fundacional encarnado general para tareas en mundos abiertos. En comparación con el modelo DM0 anterior, DM0.5 duplica la escala de parámetros a 4B parámetros y aumenta el volumen de datos de entrenamiento en un 400%.

La base de datos de 150.000 horas se construye principalmente a partir de tres tipos de datos de alta calidad.

1. Datos de operación robótica real

DM0.5 utiliza 50.000 horas de datos de operación robótica de alta precisión. Estos datos cubren más de 100 tipos de acciones y soportan una alineación detallada entre instrucciones y acciones a nivel de segundos.

Esta parte del conjunto de datos ayuda al modelo a aprender cómo se ejecutan realmente las acciones físicas en el mundo real, no solo cómo se describen en lenguaje.

2. Datos en primera persona egocéntricos

El modelo también utiliza 100.000 horas de datos egocéntricos. Esto le proporciona al modelo una visión más humana del entorno y soporta la generación de puntos de referencia 3D de alta precisión a nivel milimétrico.

Los datos en primera persona son importantes porque los robots necesitan entender las escenas desde la perspectiva de un actor que se mueve por el mundo, no solo desde vistas de cámara estáticas.

3. Datos de reconstrucción de escenas

Dexmal también utiliza datos de reconstrucción de escenas basados en 1 millón de metros cuadrados de datos espaciales. El objetivo es modelar entornos interiores complejos y reducir la brecha Sim2Real entre la simulación y el despliegue real.

Esto es importante para la inteligencia encarnada porque un robot que funciona bien en un simulador puede fallar cuando cambian la iluminación, la colocación de objetos, la fricción de superficies o el comportamiento humano en una escena real.

Tres mejoras arquitectónicas en DM0.5

Más allá de la escala de datos, DM0.5 introduce tres mejoras importantes a nivel de arquitectura. Estas mejoras están diseñadas para ayudar a los robots a pasar de "recordar acciones" a "comprender tareas".

1. Capa de abstracción de contexto

Muchas tareas robóticas del mundo real no son comandos cortos de un solo paso. Pueden durar varios minutos y requieren que el robot recuerde lo que sucedió antes.

DM0.5 añade compresión de contexto eficiente y soporta hasta 60 segundos de memoria nativa, con una capacidad de memoria promedio de aproximadamente 30 segundos. Esto permite al modelo

para preservar el contexto histórico útil y comprender mejor cómo ha cambiado el entorno durante una tarea más larga.

Para tareas de largo alcance, este tipo de memoria puede reducir el comportamiento fragmentado y ayudar al robot a mantener una secuencia de acciones más coherente.

2. Tareas de cadena de pensamiento encarnadas

DM0.5 sigue una dirección de estilo VLA, pero Dexmal añade más tareas orientadas al razonamiento, que incluyen planificación de tareas, localización de objetivos y predicción de estados futuros.

En términos sencillos, se anima al modelo a planificar antes de actuar. Cuando un comando es complejo, puede dividir el objetivo en pasos más pequeños, organizar el orden de las acciones y reducir el comportamiento de prueba y error.

3. Capa de alineación de trayectorias

Los comandos en lenguaje natural y los movimientos de las articulaciones del robot existen en espacios muy diferentes. Una persona puede decir una frase, pero el robot aún necesita traducir esa instrucción en movimientos de brazo, pinza o cuerpo a nivel de milímetros.

La capa de alineación de trayectorias ayuda al modelo a aprender el movimiento como un proceso alineado en lugar de un conjunto de puntos aislados. Esto hace que el modelo sea mejor para comprender el patrón de movimiento entre la intención y la ejecución.

En conjunto, estas mejoras respaldan la afirmación de Dexmal de que DM0.5 no solo está memorizando acciones, sino aprendiendo una representación más consciente de las tareas del mundo físico.

Resultados de referencia y mejoras de eficiencia

Bajo esta configuración de datos y arquitectura, DM0.5 muestra varias mejoras de rendimiento reportadas en evaluaciones con robots reales y en simulación.

Según el informe, DM0.5 supera a los modelos SOTA actuales en cuatro puntos de referencia públicos de robots reales y simulación. Un solo modelo puede admitir múltiples tipos de tareas, que incluyen navegación, agarre y control de cuerpo completo.

En comparación con DM0, se informa que DM0.5 mejora:

• Tasa de éxito de navegación sin aprendizaje en un 31%
• Tasa de éxito con pocos ejemplos en un 45%
• Tasa de éxito de tareas ajustadas en un 20%
• Eficiencia de inferencia en un 25%

La latencia reportada también es baja para la implementación robótica:

• 50 ms de latencia de inferencia en NVIDIA H100
• 90 ms de latencia de inferencia en RTX 4090

Estos números importan porque la IA encarnada no solo debe ser precisa. También necesita responder lo suficientemente rápido para el control físico en tiempo real.

Generalización y costos más bajos: qué significa "útil" para DM0.5

En el evento para desarrolladores, el cofundador y CEO de Dexmal, Tang Wenbin, argumentó que se están lanzando muchos modelos de IA encarnada, pero la verdadera pregunta es si realmente son útiles.

Dexmal utiliza dos estándares prácticos para definir un modelo base encarnado útil:

1. ¿Qué tan fuerte es la generalización sin aprendizaje del modelo?
   Esto determina el límite superior de la capacidad del modelo.
2. ¿Qué tan eficiente es el post-entrenamiento?
   Esto determina qué tan rápido el modelo puede pasar a escenarios industriales o de servicio reales.

Para el post-entrenamiento, se reporta que DM0.5 reduce el costo de ajuste fino en un 60%. Una nueva tarea descendente puede ajustarse e implementarse con un rendimiento de nivel experto utilizando solo una GPU de consumo RTX 4090, en tan solo 18 horas.

El cambio más grande está en la generalización. Dexmal enfatiza que DM0.5 está diseñado para comprender las relaciones entre objetos, escenas, tareas, encarnaciones robóticas e instrucciones en lenguaje natural. La compañía dice

ya ha observado signos de generalización emergente en DM0.5.

1. Capacidad de Zero-Shot

La capacidad zero-shot mide lo que un robot puede hacer sin haber visto la tarea exacta durante el entrenamiento.

Dexmal probó DM0.5 en robots de brazo único Franka y Dexmal-Mint en ocho acciones atómicas principales:

• Recoger
• Colocar
• Cubrir
• Girar
• Empujar
• Tirar
• Limpiar
• Apilar

Las pruebas también incluyeron casos más complejos de seguimiento de instrucciones que involucran color, forma, tamaño, estado, posición absoluta, posición relativa e instrucciones de secuencia larga.

En la evaluación reportada, DM0.5 igualó a PI 0.5 en una capacidad de movimiento de brazo único Franka, mientras superó a DM0 y PI 0.5 en los otros elementos probados.

2. Capacidad de Fine-Tuning

La capacidad de fine-tuning muestra qué tan bien se adapta el modelo después de ingresar a un entorno de tarea real.

En el benchmark RoboChallenge Table30 V2, DM0.5 fue probado en 30 tareas complejas y cuatro plataformas robóticas heterogéneas. Reportadamente obtuvo 54.42 con una tasa de éxito del 43%, ocupando el primer lugar en esa evaluación.

El modelo también actualizó resultados en varios benchmarks reconocidos de agarre y navegación. En LIBERO, DM0.5 alcanzó un rendimiento general del 99.1%, incluyendo 94.1% en escenarios Clean y 94.4% en escenarios Random.

El detalle práctico importante es el costo: Dexmal dice que una nueva tarea downstream se puede ajustar en 18 horas en una sola RTX 4090, mientras que la inferencia puede ejecutarse a 90 ms en la misma clase de GPU.

3. Memoria Nativa de Largo Horizonte

DM0.5 soporta hasta 60 segundos de memoria nativa de largo horizonte. Dexmal señala que muchos modelos encarnados actuales suelen mantenerse por debajo de 10 segundos de memoria.

Una memoria más larga permite a los robots manejar tareas de múltiples pasos donde el entorno cambia con el tiempo. Por ejemplo, en una tarea de almacenamiento desordenado u organización del hogar, el robot necesita recordar lo que ya ha movido, lo que queda y cómo ha cambiado la escena.

DM0.5 también soporta video prompting. Con capacidad de memoria larga, el modelo puede entender un video corto de demostración humana y alinear su comportamiento con la tarea demostrada, reduciendo la dependencia de instrucciones solo de lenguaje.

4. Robustez contra Interferencias

DM0.5 utiliza un diseño de sistema dual:

• Sys2 maneja la comprensión de alto nivel, el razonamiento y la planificación.
• Sys1 maneja la respuesta de acción de alta frecuencia.

El modelo está fortalecido contra dos perturbaciones comunes de cola larga en escenarios encarnados:

• Perturbación de cámara: el robot debe mantenerse estable incluso cuando el punto de vista de la cámara cambia repentinamente.
• Interrupción humana: el robot debe entender que el estado de la tarea ha cambiado y ajustar sus próximas acciones después de que una persona interrumpa el proceso.

Esto es importante porque la implementación en el mundo real rara vez se parece a una demostración limpia de laboratorio. Las personas se mueven, las cámaras cambian y los objetos no siempre están donde el robot espera que estén.

5. Soporte Multi-Plataforma

DM0.5 está entrenado con integración multi-robot y multi-tarea, por lo que está diseñado para transferencia entre plataformas.

Dexmal dice que el modelo puede adaptarse a varios tipos de robots principales y heterogéneos, incluyendo humanoides bípedos, robots con ruedas, manipuladores de dos brazos y un brazo, y manos diestras.

manos.

El artículo enumera ejemplos como Aloha, ARX, UR, W1, Unitree G1, Tiangong, Huaqin y Realman. Dexmal también afirma que el modelo se puede implementar rápidamente en nuevos cuerpos robóticos desconocidos con una adaptación ligera.

El punto más amplio es que la generalización debería alejar a los robots de entornos fijos y guiones de acción fijos. Un modelo más general puede manejar nuevos objetos, nuevas escenas, nuevas instrucciones y nuevos cuerpos robóticos con menos trabajo personalizado.

Un Modelo Fundacional por Sí Solo No Es Suficiente

Un modelo fundacional robusto para la interacción física es solo el primer paso. Para que la IA incorporada funcione en la industria, el modelo aún necesita herramientas, sistemas de implementación, retroalimentación de datos e infraestructura de operación en el mundo real.

Dexmal utiliza una idea de "cohete de tres etapas" para describir esta pila:

1. Primera etapa: DM0.5 como el modelo fundacional general.
2. Segunda etapa: La plataforma de desarrollador DexDev, que incluye DFOL2.0, MaaS y DexOS.
3. Tercera etapa: Ferrata, un sistema de operación híbrido multiagente para escenarios reales.

Estas capas están diseñadas para hacer que el modelo sea más barato de invocar, más fácil de implementar en diferentes hardware y más estable en entornos de tareas del mundo real.

I. Plataforma de Desarrollador DexDev

DexDev es la plataforma de desarrollador de Dexmal para reducir la complejidad de aplicar modelos de IA incorporada.

En el campo actual de la IA incorporada, los modelos, el hardware, las tareas, los conjuntos de datos y los entornos de implementación a menudo están fragmentados. Los desarrolladores pueden necesitar comprender algoritmos, control robótico, adaptación de hardware e iteración de escenarios al mismo tiempo.

DexDev se construye en torno a tres módulos.

1. DFOL2.0: Un Marco Impulsado por un Modelo del Mundo

DFOL2.0 es un marco de aprendizaje por refuerzo incorporado y bucle de datos impulsado por el modelo del mundo general de Dexmal, DW0.5.

Su función es ayudar al modelo a seguir mejorando. En lugar de depender únicamente del costoso método de prueba y error con robots reales, DFOL2.0 utiliza entornos físicos virtuales de alta fidelidad para un entrenamiento de políticas en bucle cerrado de menor costo y riesgo.

También envía datos de tareas y fallos del mundo real de vuelta a la nube, ayudando al modelo fundacional a evolucionar continuamente.

Según Dexmal, DFOL2.0 puede reducir la demanda de datos de entrenamiento con robots reales en un 60% y el costo de entrenamiento en un 40%.

2. DexOS: Un Sistema Operativo General para la IA Incorporada

DexOS define una interfaz ECP (Protocolo de Control Incorporado) estandarizada.

El objetivo es ocultar las diferencias entre el hardware robótico heterogéneo. En lugar de resolver un difícil problema de adaptación "N × M" entre muchos modelos y muchos cuerpos robóticos, DexOS intenta simplificar la implementación en un problema de conexión unificada "N + 1".

Esto pretende ayudar a que los modelos de la serie DM se ejecuten en diferentes hardware con menor costo, menor latencia y un control más estable.

3. Servicio MaaS Incorporado

Dexmal también presentó un servicio MaaS incorporado para la familia de modelos DM.

La idea es empaquetar las capacidades del modelo fundacional como un servicio. Los desarrolladores no necesitan entrenar modelos desde cero ni manejar ellos mismos cada detalle de adaptación de hardware. Pueden invocar las capacidades del modelo de manera más directa para la implementación y actualización de robots.

En la pila de Dexmal, DFOL2.0 ayuda a mejorar el modelo, DexOS conecta el software y el hardware, y MaaS facilita el uso del modelo a escala.

II.

Ferrata: Un Sistema Híbrido de Operación Multi-Agente

Una vez que las capacidades de un solo robot se puedan invocar a través de MaaS, el siguiente desafío es la colaboración multi-robot.

Dexmal presentó Ferrata, un sistema híbrido de operación multi-agente diseñado para escenarios del mundo real. Su objetivo es gestionar la planificación a nivel del sistema a través de múltiples objetivos, modelos, formas robóticas y límites de seguridad.

Ferrata está construido sobre la familia de modelos DM y Realtime-VLA. No está limitado a un robot específico. En cambio, coordina tareas, modelos, tipos de hardware y mecanismos de seguridad a nivel de sistema.

A través de la jerarquía de tareas, el manejo de excepciones, la intervención humana y la retroalimentación de datos, Ferrata busca mantener los robots operando de forma continua en entornos reales.

Desde DM0.5 hasta DexDev y Ferrata, Dexmal está tratando de construir una ruta de infraestructura completa que vaya desde la capacidad del modelo hasta la productividad real.

La primera capa es el modelo general. La segunda capa es la infraestructura de plataforma para entrenamiento, MaaS y sistemas operativos. La tercera capa es un sistema de operación a nivel de escenario que ayuda a la IA incorporada a pasar de demostraciones de laboratorio a entornos de producción.

FAQ

¿Qué es Dexmal DM0.5?

DM0.5 es un modelo fundacional incorporado presentado por Dexmal, también conocido como 原力灵机. Está posicionado como un modelo general de 4B parámetros para tareas robóticas en mundo abierto como navegación, agarre, control corporal completo y seguimiento de instrucciones.

¿Cuántos datos se utilizaron para entrenar DM0.5?

Según el informe original, DM0.5 se construye con 150.000 horas de datos. Esto incluye 50.000 horas de datos de operación real de robots, 100.000 horas de datos egocéntricos en primera persona y datos de reconstrucción de escenas a gran escala que cubren 1 millón de metros cuadrados.

¿Qué hace que DM0.5 sea diferente de DM0?

DM0.5 duplica la escala de parámetros del modelo a 4B y aumenta el volumen de datos en un 400% en comparación con DM0. También añade memoria de largo plazo, tareas de razonamiento incorporado y alineación de trayectorias para mejorar la comprensión y generalización de tareas.

¿Puede DM0.5 ejecutarse en GPUs de consumo?

El informe dice que DM0.5 puede completar un ajuste fino a nivel de experto para una nueva tarea downstream en una RTX 4090 en tan solo 18 horas. También reporta una latencia de inferencia de 90 ms en RTX 4090 y 50 ms en H100.

¿Qué es DexDev?

DexDev es la plataforma de desarrolladores de Dexmal para aplicaciones de IA incorporada. Incluye DFOL2.0 para aprendizaje por refuerzo y bucles de datos, DexOS para control multi-hardware, y MaaS para un acceso más fácil a las capacidades del modelo.

¿Para qué se utiliza Ferrata?

Ferrata es un sistema híbrido de operación multi-agente para escenarios robóticos del mundo real. Coordina tareas, hardware robótico, modelos, límites de seguridad, manejo de excepciones, intervención humana y retroalimentación de datos.

¿Es DM0.5 de código abierto?

El artículo se centra en el lanzamiento de DM0.5 y las capacidades reportadas, pero no indica claramente que DM0.5 en sí mismo sea de código abierto. Dexmal sí mantiene el toolbox de código abierto Dexbotic VLA, y la documentación relacionada con DM0 está disponible a través del repositorio de GitHub de Dexbotic.

¿Por qué es importante la memoria de largo plazo en la IA incorporada?

Los robots a menudo necesitan completar tareas de múltiples pasos donde la escena cambia con el tiempo. Una memoria más larga ayuda a un modelo a rastrear acciones anteriores, el estado actual de la tarea y los cambios ambientales, lo que

es menos probable que el robot pierda el contexto durante tareas largas.

Herramientas Relacionadas

• Dexmal: El sitio oficial de Dexmal, la empresa detrás de DM0, DM0.5, DexDev y Ferrata.
• Dexbotic: Un conjunto de herramientas VLA de código abierto de Dexmal para la investigación en inteligencia encarnada.
• RoboChallenge: Una plataforma de referencia para evaluar el rendimiento de robots en tareas de IA encarnada.
• Hugging Face: Una plataforma de alojamiento de modelos referenciada por la documentación de Dexbotic para los puntos de control del modelo DM0.
• arXiv: Una plataforma de artículos de investigación donde está disponible el artículo técnico de DM0.

Enlaces Relacionados

• Sitio web oficial de Dexmal: Información oficial de la empresa y productos de Dexmal.
• Repositorio de Dexbotic en GitHub: Conjunto de herramientas VLA de código abierto para preentrenamiento, ajuste fino, inferencia y evaluación.
• Tutorial de DM0 en Dexbotic: Documentación oficial de Dexbotic para usar configuraciones específicas de DM0.
• Artículo de DM0 en arXiv: Artículo de investigación para "DM0: Un modelo de lenguaje-visión-acción nativo encarnado hacia la IA física".
• Ejecuciones de DM0 en RoboChallenge: Ejecuciones públicas de RoboChallenge filtradas para DM0 en Table30.
• Organización de Dexmal en GitHub: Página de la organización de Dexmal en GitHub y lista de proyectos de código abierto.

Resumen

DM0.5 es el último modelo fundacional encarnado de Dexmal, construido alrededor de datos a mayor escala, una arquitectura de 4 mil millones de parámetros, memoria más larga, razonamiento encarnado y alineación de trayectorias. Su objetivo principal es mejorar la generalización del robot en tareas, entornos y encarnaciones.

El artículo también muestra por qué el modelo por sí solo no es suficiente. La plataforma DexDev de Dexmal, DFOL2.0, DexOS, MaaS y el sistema Ferrata están diseñados para convertir la capacidad del modelo en una infraestructura desplegable.

La conclusión clave: DM0.5 no es solo una actualización de modelo; es el intento de Dexmal de conectar el entrenamiento de IA encarnada, el despliegue y las operaciones de robots en el mundo real en una sola pila.