Dexmal DM0.5 expliqué : Un modèle fondamental incarné de 150 000 heures pour les robots du monde réel

Introduction

L'IA incarnée ne manque ni de démonstrations impressionnantes, ni de nouveaux matériels robotiques, ni de talents en recherche. Le problème le plus difficile reste le même : comment construire une boucle de données capable d'améliorer continuellement les robots dans des tâches du monde réel ?

Dexmal, connu en chinois sous le nom de 原力灵机, a présenté un nouveau modèle fondamental incarné appelé DM0.5 lors de son événement développeur. Le modèle est positionné comme un modèle fondamental polyvalent pour l'intelligence incarnée en monde ouvert. Il vise à connecter trois éléments souvent séparés en robotique : les données robotiques à grande échelle, la généralisation des modèles et l'infrastructure de déploiement.

Selon le rapport original de QbitAI, DM0.5 est construit sur 150 000 heures de données, utilise un modèle de 4 milliards de paramètres et est conçu pour prendre en charge la navigation, la préhension, le contrôle complet du corps, la mémoire à long terme et le déploiement inter-corporal.

150 000 heures de données : Le fondement derrière DM0.5

Dexmal décrit DM0.5 avec trois mots-clés : plus grand, plus fort et plus pratique.

Le modèle est positionné comme un modèle fondamental incarné général pour des tâches en monde ouvert. Par rapport au précédent modèle DM0, DM0.5 double l'échelle des paramètres à 4 milliards de paramètres et augmente le volume de données d'entraînement de 400 %.

La base de données de 150 000 heures est principalement construite à partir de trois types de données de haute qualité.

1. Données d'opération réelle de robots

DM0.5 utilise 50 000 heures de données d'opération robotique de haute précision. Ces données couvrent plus de 100 types d'actions et permettent un alignement précis entre les instructions et les actions au niveau de la seconde.

Cette partie de l'ensemble de données aide le modèle à apprendre comment les actions physiques sont réellement exécutées dans le monde réel, et pas seulement comment elles sont décrites en langage.

2. Données égocentriques à la première personne

Le modèle utilise également 100 000 heures de données égocentriques. Cela offre au modèle une vision plus humaine de l'environnement et prend en charge la génération de repères 3D de haute précision au niveau millimétrique.

Les données à la première personne sont importantes car les robots doivent comprendre les scènes du point de vue d'un acteur se déplaçant dans le monde, et pas seulement depuis des caméras statiques.

3. Données de reconstruction de scènes

Dexmal utilise également des données de reconstruction de scènes basées sur 1 million de mètres carrés de données spatiales. L'objectif est de modéliser des environnements intérieurs complexes et de réduire l'écart Sim2Real entre la simulation et le déploiement réel.

Cela est important pour l'intelligence incarnée car un robot qui fonctionne bien dans un simulateur peut encore échouer lorsque l'éclairage, le placement des objets, la friction de surface ou le comportement humain changent dans une scène réelle.

Trois améliorations architecturales dans DM0.5

Au-delà de l'échelle des données, DM0.5 introduit trois améliorations architecturales majeures. Ces améliorations sont conçues pour aider les robots à passer de « se souvenir des actions » à « comprendre les tâches ».

1. Couche d'abstraction contextuelle

De nombreuses tâches robotiques du monde réel ne sont pas des commandes courtes en une seule étape. Elles peuvent durer plusieurs minutes et nécessitent que le robot se souvienne de ce qui s'est passé plus tôt.

DM0.5 ajoute une compression contextuelle efficace et prend en charge jusqu'à 60 secondes de mémoire native, avec une capacité mémoire moyenne d'environ 30 secondes. Cela permet au modèle

Pour préserver un contexte historique utile et mieux comprendre comment l’environnement a changé au cours d’une tâche plus longue.

Pour les tâches à long horizon, ce type de mémoire peut réduire les comportements fragmentés et aider le robot à maintenir une séquence d’actions plus cohérente.

2. Tâches de chaîne de pensée incarnée

DM0.5 suit toujours une orientation de type VLA, mais Dexmal ajoute des tâches plus orientées vers le raisonnement, notamment la planification de tâches, la localisation de cibles et la prédiction d’états futurs.

En termes simples, le modèle est encouragé à planifier avant d’agir. Lorsqu’une commande est complexe, il peut décomposer l’objectif en étapes plus petites, organiser l’ordre des actions et réduire les comportements d’essai-erreur.

3. Couche d’alignement des trajectoires

Les commandes en langage naturel et les mouvements articulaires du robot évoluent dans des espaces très différents. Une personne peut prononcer une phrase, mais le robot doit encore traduire cette instruction en mouvements millimétriques du bras, de la pince ou du corps.

La couche d’alignement des trajectoires aide le modèle à apprendre le mouvement comme un processus aligné plutôt qu’un ensemble de points isolés. Cela permet au modèle de mieux comprendre le schéma de mouvement entre l’intention et l’exécution.

Ensemble, ces améliorations soutiennent l’affirmation de Dexmal selon laquelle DM0.5 ne se contente pas de mémoriser des actions, mais apprend une représentation plus consciente des tâches du monde physique.

Résultats des benchmarks et gains d’efficacité

Avec cette architecture et ces données, DM0.5 montre plusieurs améliorations de performances rapportées lors d’évaluations sur robots réels et en simulation.

Selon le rapport, DM0.5 surpasse les modèles SOTA actuels sur quatre benchmarks publics en robotique réelle et en simulation. Un seul modèle peut prendre en charge plusieurs types de tâches, y compris la navigation, la préhension et le contrôle du corps entier.

Par rapport à DM0, DM0.5 améliorerait :

• le taux de réussite de navigation en zero-shot de 31 %
• le taux de réussite en few-shot de 45 %
• le taux de réussite des tâches affinées de 20 %
• l’efficacité d’inférence de 25 %

La latence rapportée est également faible pour le déploiement en robotique :

• 50 ms de latence d’inférence sur NVIDIA H100
• 90 ms de latence d’inférence sur RTX 4090

Ces chiffres sont importants car l’IA incarnée ne peut pas seulement être précise. Elle doit aussi répondre suffisamment rapidement pour un contrôle physique en temps réel.

Généralisation et coûts réduits : ce que « utile » signifie pour DM0.5

Lors de l’événement pour développeurs, le cofondateur et PDG de Dexmal, Tang Wenbin, a soutenu que de nombreux modèles d’IA incarnée sont publiés, mais la vraie question est de savoir s’ils sont réellement utiles.

Dexmal utilise deux critères pratiques pour définir un modèle de base incarné utile :

1. Quelle est la force de la généralisation zero-shot du modèle ?
   Cela détermine la limite supérieure des capacités du modèle.
2. Quelle est l’efficacité du post-entraînement ?
   Cela détermine la rapidité avec laquelle le modèle peut passer à des scénarios industriels ou de service réels.

Pour le post-entraînement, DM0.5 réduirait le coût d’affinage de 60 %. Une nouvelle tâche en aval peut être affinée et déployée à un niveau de performance expert avec un seul GPU grand public RTX 4090, en seulement 18 heures.

Le changement le plus important réside dans la généralisation. Dexmal souligne que DM0.5 est conçu pour comprendre les relations entre les objets, les scènes, les tâches, les incarnations robotiques et les instructions en langage naturel. La société affirme

Il a déjà observé des signes d'émergence de généralisation dans DM0.5.

1. Capacité Zero-Shot

La capacité zero-shot mesure ce qu'un robot peut accomplir sans avoir vu la tâche exacte lors de l'entraînement.

Dexmal a testé DM0.5 sur des robots mono-bras Franka et sur Dexmal-Mint à travers huit actions atomiques fondamentales :

• Saisir
• Déposer
• Couvrir
• Tourner
• Pousser
• Tirer
• Essuyer
• Empiler

Les tests incluaient également des cas plus complexes de suivi d'instructions impliquant la couleur, la forme, la taille, l'état, la position absolue, la position relative et des instructions longues.

Dans l'évaluation rapportée, DM0.5 a égalé PI 0.5 sur une capacité de déplacement mono-bras Franka, tout en surpassant DM0 et PI 0.5 sur les autres éléments testés.

2. Capacité de Fine-Tuning

La capacité de fine-tuning montre à quel point le modèle s'adapte après être entré dans un environnement de tâche réel.

Sur le benchmark réel RoboChallenge Table30 V2, DM0.5 a été testé sur 30 tâches complexes et quatre embodiments robotiques hétérogènes. Il a obtenu un score de 54,42 avec un taux de réussite de 43 %, se classant premier dans cette évaluation.

Le modèle a également amélioré les résultats sur plusieurs benchmarks reconnus de saisie et de navigation. Dans LIBERO, DM0.5 a atteint 99,1 % de performance globale, dont 94,1 % dans les scénarios propres et 94,4 % dans les scénarios aléatoires.

Le détail pratique important est le coût : Dexmal affirme qu'une nouvelle tâche en aval peut être affinée en 18 heures sur un seul RTX 4090, tandis que l'inférence peut s'exécuter à 90 ms sur la même classe de GPU.

3. Mémoire Native Longue Durée

DM0.5 prend en charge jusqu'à 60 secondes de mémoire native longue durée. Dexmal note que de nombreux modèles incarnés actuels restent généralement en dessous de 10 secondes de mémoire.

Une mémoire plus longue permet aux robots de gérer des tâches multi-étapes où l'environnement change au fil du temps. Par exemple, dans une tâche de rangement désordonné ou d'organisation domestique, le robot doit se souvenir de ce qu'il a déjà déplacé, de ce qui reste et de la manière dont la scène a changé.

DM0.5 prend également en charge le vidéo prompting. Grâce à sa capacité de mémoire longue, le modèle peut comprendre une courte vidéo de démonstration humaine et aligner son comportement sur la tâche démontrée, réduisant ainsi la dépendance aux instructions uniquement linguistiques.

4. Robustesse face aux Interférences

DM0.5 utilise une conception à double système :

• Sys2 gère la compréhension, le raisonnement et la planification de haut niveau.
• Sys1 gère la réponse d'action à haute fréquence.

Le modèle est renforcé contre deux perturbations courantes de longue traîne dans les scénarios incarnés :

• Perturbation de la caméra : le robot doit rester stable même lorsque le point de vue de la caméra change brusquement.
• Interruption humaine : le robot doit comprendre que l'état de la tâche a changé et ajuster ses prochaines actions après qu'une personne a interrompu le processus.

C'est important car le déploiement dans le monde réel ressemble rarement à une démonstration de laboratoire propre. Les gens se déplacent, les caméras bougent et les objets ne sont pas toujours là où le robot les attend.

5. Support Multi-Embodiment

DM0.5 est entraîné avec une intégration multi-robot et multi-tâche, ce qui le rend conçu pour le transfert cross-plateforme.

Dexmal indique que le modèle peut s'adapter à plusieurs types de robots mainstream et hétérogènes, notamment les humanoïdes bipèdes, les robots à roues, les manipulateurs à deux bras et à un bras, et les mains dextres.

mains.

L'article cite des exemples comme Aloha, ARX, UR, W1, Unitree G1, Tiangong, Huaqin et Realman. Dexmal affirme également que le modèle peut être déployé rapidement sur de nouvelles configurations robotiques inconnues avec une adaptation légère.

L'idée générale est que la généralisation doit permettre aux robots de sortir des environnements fixes et des scripts d'action prédéfinis. Un modèle plus général peut traiter de nouveaux objets, de nouvelles scènes, de nouvelles instructions et de nouveaux corps robotiques avec moins de travail personnalisé.

Un modèle fondamental seul ne suffit pas

Un modèle fondamental d'incarnation solide n'est que la première étape. Pour que l'IA incarnée fonctionne dans l'industrie, le modèle a encore besoin d'outils, de systèmes de déploiement, de retours de données et d'une infrastructure d'exploitation réelle.

Dexmal utilise une idée de « fusée à trois étages » pour décrire cette pile :

1. Premier étage : DM0.5 en tant que modèle fondamental général.
2. Deuxième étage : Plateforme de développement DexDev, incluant DFOL2.0, MaaS et DexOS.
3. Troisième étage : Ferrata, un système d'exploitation multi-agents hybrides pour des scénarios réels.

Ces couches visent à rendre le modèle moins coûteux à appeler, plus facile à déployer sur différents matériels et plus stable dans les environnements de tâches réels.

I. Plateforme de développement DexDev

DexDev est la plateforme de développement de Dexmal pour réduire la complexité d'application des modèles d'IA incarnée.

Dans le domaine actuel de l'IA incarnée, les modèles, le matériel, les tâches, les ensembles de données et les environnements de déploiement sont souvent fragmentés. Les développeurs peuvent avoir besoin de comprendre simultanément les algorithmes, le contrôle des robots, l'adaptation matérielle et l'itération de scénarios.

DexDev est construit autour de trois modules.

1. DFOL2.0 : Un cadre basé sur un modèle du monde

DFOL2.0 est un cadre d'apprentissage par renforcement incarné et de boucle de données piloté par le modèle du monde général de Dexmal, DW0.5.

Son rôle est d'aider le modèle à s'améliorer continuellement. Au lieu de se fier uniquement aux essais et erreurs coûteux sur robots réels, DFOL2.0 utilise des environnements physiques virtuels haute fidélité pour un entraînement de politiques en boucle fermée à moindre coût et risque réduit.

Il renvoie également les données de tâches et d'échecs du monde réel vers le cloud, aidant le modèle fondamental à évoluer.

Selon Dexmal, DFOL2.0 peut réduire le besoin de données d'entraînement sur robots réels de 60 % et le coût d'entraînement de 40 %.

2. DexOS : Un système d'exploitation général pour l'IA incarnée

DexOS définit une interface standardisée ECP, ou Protocole de Contrôle Incarné.

L'objectif est de masquer les différences entre les matériels robotiques hétérogènes. Au lieu de résoudre un problème d'adaptation complexe « N × M » entre de nombreux modèles et de nombreux corps robotiques, DexOS tente de simplifier le déploiement en un problème de connexion unifiée « N + 1 ».

Cela vise à permettre aux modèles de la série DM de fonctionner sur différents matériels avec un coût réduit, une latence plus faible et un contrôle plus stable.

3. Service Embodied MaaS

Dexmal a également introduit un service MaaS incarné pour la famille de modèles DM.

L'idée est de conditionner les capacités du modèle fondamental en tant que service. Les développeurs n'ont pas besoin de former des modèles à partir de zéro ni de gérer chaque détail d'adaptation matérielle eux-mêmes. Ils peuvent appeler les capacités du modèle plus directement pour le déploiement et les mises à niveau des robots.

Dans la pile de Dexmal, DFOL2.0 aide le modèle à s'améliorer, DexOS connecte le logiciel et le matériel, et MaaS rend le modèle plus facile à utiliser à grande échelle.

II.

Ferrata : un système d'exploitation hybride multi-agent

Une fois que les capacités d'un robot unique peuvent être invoquées via le MaaS, le défi suivant est la collaboration multi-robot.

Dexmal a présenté Ferrata, un système d'exploitation hybride multi-agent conçu pour des scénarios réels. Il est destiné à gérer l'orchestration au niveau système entre plusieurs objectifs, modèles, formes robotiques et limites de sécurité.

Ferrata est construit sur la famille de modèles DM et Realtime-VLA. Il n'est pas limité à un robot spécifique. Au lieu de cela, il coordonne les tâches, les modèles, les types de matériel et les mécanismes de sécurité au niveau système.

Grâce à une hiérarchie des tâches, la gestion des exceptions, la reprise humaine et le retour de données, Ferrata vise à maintenir le fonctionnement continu des robots dans des environnements réels.

De DM0.5 à DexDev et Ferrata, Dexmal tente de construire une infrastructure complète allant de la capacité du modèle à la productivité réelle.

La première couche est le modèle général. La deuxième couche est l'infrastructure de plateforme pour l'entraînement, le MaaS et les systèmes d'exploitation. La troisième couche est un système d'exploitation au niveau des scénarios qui aide l'IA incarnée à passer de démonstrations en laboratoire à des environnements de production.

FAQ

Qu'est-ce que Dexmal DM0.5 ?

DM0.5 est un modèle fondamental incarné introduit par Dexmal, également connu sous le nom de 原力灵机. Il est positionné comme un modèle général de 4 milliards de paramètres pour des tâches robotiques en monde ouvert telles que la navigation, la préhension, le contrôle du corps entier et le suivi d'instructions.

Quelle quantité de données a été utilisée pour entraîner DM0.5 ?

Selon le rapport original, DM0.5 est construit sur 150 000 heures de données. Cela comprend 50 000 heures de données d'opérations robotiques réelles, 100 000 heures de données à la première personne égocentriques et des données de reconstruction de scène à grande échelle couvrant 1 million de mètres carrés.

Qu'est-ce qui différencie DM0.5 de DM0 ?

DM0.5 double l'échelle des paramètres du modèle à 4B et augmente le volume de données de 400 % par rapport à DM0. Il ajoute également une mémoire à long terme, des tâches de raisonnement incarné et un alignement de trajectoire pour améliorer la compréhension des tâches et la généralisation.

DM0.5 peut-il fonctionner sur des GPU grand public ?

Le rapport indique que DM0.5 peut effectuer un réglage fin de niveau expert pour une nouvelle tâche en aval sur une seule RTX 4090 en seulement 18 heures. Il fait également état d'une latence d'inférence de 90 ms sur RTX 4090 et de 50 ms sur H100.

Qu'est-ce que DexDev ?

DexDev est la plateforme de développement de Dexmal pour les applications d'IA incarnée. Elle comprend DFOL2.0 pour l'apprentissage par renforcement et les boucles de données, DexOS pour le contrôle multi-matériel et MaaS pour un accès plus facile aux capacités des modèles.

À quoi sert Ferrata ?

Ferrata est un système d'exploitation hybride multi-agent pour les scénarios robotiques du monde réel. Il coordonne les tâches, le matériel robotique, les modèles, les limites de sécurité, la gestion des exceptions, la reprise humaine et le retour de données.

DM0.5 est-il open source ?

L'article se concentre sur la sortie de DM0.5 et les capacités rapportées, mais ne précise pas clairement que DM0.5 lui-même est open source. Dexmal maintient la boîte à outils open source Dexbotic VLA, et la documentation relative à DM0 est disponible via le dépôt GitHub Dexbotic.

Pourquoi la mémoire à long terme est-elle importante dans l'IA incarnée ?

Les robots doivent souvent effectuer des tâches en plusieurs étapes où la scène change au fil du temps. Une mémoire plus longue aide un modèle à suivre les actions précédentes, l'état actuel de la tâche et les changements environnementaux, rendant

le robot est moins susceptible de perdre le contexte lors de tâches longues.

Outils associés

• Dexmal : Site officiel de Dexmal, la société derrière DM0, DM0.5, DexDev et Ferrata.
• Dexbotic : Boîte à outils VLA open source de Dexmal pour la recherche en intelligence incarnée.
• RoboChallenge : Plateforme de référence pour évaluer les performances des robots dans des environnements d'IA incarnée.
• Hugging Face : Plateforme d'hébergement de modèles référencée par la documentation Dexbotic pour les points de contrôle du modèle DM0.
• arXiv : Plateforme d'articles de recherche où l'article technique DM0 est disponible.

Liens connexes

• Site officiel Dexmal : Informations officielles sur l'entreprise et ses produits.
• Dépôt GitHub Dexbotic : Boîte à outils VLA open source pour le pré-entraînement, le réglage fin, l'inférence et l'évaluation.
• Tutoriel DM0 dans Dexbotic : Documentation officielle Dexbotic pour l'utilisation des configurations spécifiques à DM0.
• Article arXiv DM0 : Article de recherche « DM0 : Un modèle vision-langage-action natif incarné vers l'IA physique ».
• Runs RoboChallenge DM0 : Runs publics RoboChallenge filtrés pour DM0 sur Table30.
• Organisation GitHub Dexmal : Page de l'organisation GitHub de Dexmal et liste des projets open source.

Résumé

DM0.5 est le dernier modèle fondamental incarné de Dexmal, construit autour de données à plus grande échelle, d'une architecture de 4 milliards de paramètres, d'une mémoire plus longue, d'un raisonnement incarné et d'un alignement de trajectoire. Son objectif principal est d'améliorer la généralisation des robots à travers les tâches, les environnements et les embodiments.

L'article montre également pourquoi le modèle seul ne suffit pas. La plateforme DexDev, DFOL2.0, DexOS, MaaS et le système Ferrata de Dexmal sont conçus pour transformer la capacité du modèle en infrastructure déployable.

Le point clé à retenir : DM0.5 n'est pas qu'une simple mise à jour du modèle ; c'est la tentative de Dexmal de relier l'entraînement de l'IA incarnée, son déploiement et les opérations robotiques réelles en une seule pile technologique.