Dexmal DM0.5 Spiegato: Un Modello Fondamentale Incorporato da 150.000 Ore per Robot nel Mondo Reale

Introduzione

L'IA incorporata non manca certo di dimostrazioni efficaci, nuovi hardware robotici o talenti di ricerca. Il problema più difficile rimane invariato: come costruire un volano di dati in grado di migliorare continuamente i robot nelle attività del mondo reale?

Dexmal, conosciuto in cinese come 原力灵机, ha presentato un nuovo modello fondamentale incorporato chiamato DM0.5 durante il suo evento per sviluppatori. Il modello è posizionato come un modello fondamentale polivalente per l'intelligenza incorporata in mondi aperti. È progettato per collegare tre elementi che spesso rimangono separati nella robotica: dati robotici su larga scala, generalizzazione del modello e infrastruttura di implementazione.

Secondo il rapporto originale di QbitAI, DM0.5 è costruito su 150.000 ore di dati, utilizza un modello da 4 miliardi di parametri ed è progettato per supportare navigazione, presa, controllo completo del corpo, memoria a lungo termine e implementazione cross-embodiment.

150.000 Ore di Dati: Le Fondamenta Dietro DM0.5

Dexmal descrive DM0.5 con tre parole chiave: più grande, più forte e più pratico.

Il modello è posizionato come un modello fondamentale incorporato generale per attività in mondi aperti. Rispetto al precedente modello DM0, DM0.5 raddoppia la scala dei parametri a 4 miliardi di parametri e aumenta il volume dei dati di addestramento del 400%.

La base di dati da 150.000 ore è costruita principalmente da tre tipi di dati di alta qualità.

1. Dati Operativi di Robot Reali

DM0.5 utilizza 50.000 ore di dati operativi robotici ad alta precisione. Questi dati coprono più di 100 tipi di azioni e supportano un allineamento fine tra istruzioni e azioni a livello di secondo.

Questa parte del dataset aiuta il modello ad apprendere come le azioni fisiche vengono effettivamente eseguite nel mondo reale, non solo come vengono descritte nel linguaggio.

2. Dati in Prima Persona Egocentrici

Il modello utilizza anche 100.000 ore di dati egocentrici. Ciò offre al modello una visione più umana dell'ambiente e supporta la generazione di punti di riferimento 3D ad alta precisione a livello millimetrico.

I dati in prima persona sono importanti perché i robot devono comprendere le scene dalla prospettiva di un attore che si muove nel mondo, non solo da viste statiche della telecamera.

3. Dati di Ricostruzione della Scena

Dexmal utilizza anche dati di ricostruzione della scena basati su 1 milione di metri quadrati di dati spaziali. L'obiettivo è modellare ambienti interni complessi e ridurre il divario Sim2Real tra simulazione e implementazione reale.

Ciò è importante per l'intelligenza incorporata perché un robot che funziona bene in un simulatore potrebbe comunque fallire quando l'illuminazione, il posizionamento degli oggetti, l'attrito superficiale o il comportamento umano cambiano in una scena reale.

Tre Miglioramenti Architetturali in DM0.5

Oltre alla scala dei dati, DM0.5 introduce tre importanti miglioramenti a livello architetturale. Questi miglioramenti sono progettati per aiutare i robot a passare dal "ricordare azioni" al "comprendere compiti".

1. Strato di Astrazione del Contesto

Molte attività robotiche nel mondo reale non sono comandi brevi in un unico passaggio. Possono durare diversi minuti e richiedere al robot di ricordare cosa è successo in precedenza.

DM0.5 aggiunge una compressione efficiente del contesto e supporta fino a 60 secondi di memoria nativa, con una capacità media di memoria di circa 30 secondi. Ciò consente al modello

per preservare un contesto storico utile e comprendere meglio come l’ambiente sia cambiato durante un compito più lungo.

Per compiti a lungo termine, questo tipo di memoria può ridurre i comportamenti frammentati e aiutare il robot a mantenere una sequenza di azioni più coerente.

2. Compiti di Ragionamento a Catena Incorporati

DM0.5 segue ancora un orientamento di tipo VLA, ma Dexmal aggiunge compiti più orientati al ragionamento, tra cui la pianificazione dei compiti, la localizzazione degli obiettivi e la previsione dello stato futuro.

In parole semplici, il modello è incentivato a pianificare prima di agire. Quando un comando è complesso, può suddividere l’obiettivo in passi più piccoli, organizzare l’ordine delle azioni e ridurre i comportamenti di tentativo ed errore.

3. Strato di Allineamento della Traiettoria

I comandi in linguaggio naturale e i movimenti articolari del robot vivono in spazi molto diversi. Una persona può dire una frase, ma il robot deve comunque tradurre quell’istruzione in movimenti millimetrici di braccio, pinza o corpo.

Lo strato di allineamento della traiettoria aiuta il modello ad apprendere il movimento come un processo allineato, piuttosto che come un insieme di punti isolati. Ciò rende il modello più capace di comprendere lo schema del movimento tra intenzione ed esecuzione.

Insieme, questi miglioramenti supportano l’affermazione di Dexmal secondo cui DM0.5 non solo memorizza le azioni, ma apprende una rappresentazione dei compiti più consapevole del mondo fisico.

Risultati dei Benchmark e Guadagni di Efficienza

Con questa configurazione di dati e architettura, DM0.5 mostra diversi miglioramenti prestazionali riportati nelle valutazioni su robot reali e in simulazione.

Secondo il rapporto, DM0.5 supera gli attuali modelli SOTA in quattro benchmark pubblici su robot reali e in simulazione. Un singolo modello può supportare molteplici tipi di compiti, tra cui navigazione, presa e controllo del corpo completo.

Rispetto a DM0, DM0.5 migliora presumibilmente:

• Tasso di successo della navigazione zero-shot del 31%
• Tasso di successo few-shot del 45%
• Tasso di successo dei compiti con messa a punto del 20%
• Efficienza di inferenza del 25%

La latenza riportata è anche bassa per l'implementazione robotica:

• 50 ms di latenza di inferenza su NVIDIA H100
• 90 ms di latenza di inferenza su RTX 4090

Questi numeri contano perché l’IA incorporata non può essere solo accurata. Deve anche rispondere abbastanza velocemente per un controllo fisico in tempo reale.

Generalizzazione e Costi Inferiori: Cosa Significa “Utile” per DM0.5

All’evento per sviluppatori, il co-fondatore e CEO di Dexmal, Tang Wenbin, ha sostenuto che molti modelli di IA incorporata vengono rilasciati, ma la vera domanda è se siano effettivamente utili.

Dexmal utilizza due standard pratici per definire un modello di base incorporato utile:

1. Quanto è forte la generalizzazione zero-shot del modello?
   Questo determina il limite superiore della capacità del modello.
2. Quanto è efficiente il post-addestramento?
   Questo determina la velocità con cui il modello può passare a scenari industriali o di servizio reali.

Per il post-addestramento, DM0.5 ridurrebbe presumibilmente il costo di messa a punto del 60%. Un nuovo compito a valle può essere messo a punto e implementato a livello di prestazioni esperte con una sola GPU consumer RTX 4090, in appena 18 ore.

Il cambiamento più grande è nella generalizzazione. Dexmal sottolinea che DM0.5 è progettato per comprendere le relazioni tra oggetti, scene, compiti, incarnazioni robotiche e istruzioni in linguaggio naturale. L’azienda afferma

ha già osservato segni di emergenza della generalizzazione in DM0.5.

1. Capacità Zero-Shot

La capacità zero-shot misura ciò che un robot può fare senza vedere l'esatto compito durante l'addestramento.

Dexmal ha testato DM0.5 su robot a braccio singolo Franka e su Dexmal-Mint attraverso otto azioni atomiche fondamentali:

• Prendere
• Mettere
• Coprire
• Ruotare
• Spingere
• Tirare
• Pulire
• Impilare

I test hanno incluso anche casi più complessi di seguiti di istruzioni che coinvolgono colore, forma, dimensione, stato, posizione assoluta, posizione relativa e istruzioni a sequenza lunga.

Nella valutazione riportata, DM0.5 ha eguagliato PI 0.5 nella capacità di movimento a braccio singolo Franka, superando DM0 e PI 0.5 in tutti gli altri elementi testati.

2. Capacità di Fine-Tuning

La capacità di fine-tuning mostra quanto bene il modello si adatta dopo essere entrato in un ambiente di compito reale.

Sul benchmark reale RoboChallenge Table30 V2, DM0.5 è stato testato su 30 compiti complessi e quattro diverse incarnazioni robotiche eterogenee. Ha riportato un punteggio di 54.42 con un tasso di successo del 43%, classificandosi primo in quella valutazione.

Il modello ha anche aggiornato i risultati su diversi benchmark riconosciuti per presa e navigazione. In LIBERO, DM0.5 ha raggiunto una prestazione complessiva del 99.1%, incluso 94.1% in scenari Puliti e 94.4% in scenari Casuali.

Il dettaglio pratico importante è il costo: Dexmal afferma che un nuovo compito downstream può essere messo a punto entro 18 ore su una singola RTX 4090, mentre l'inferenza può funzionare a 90 ms sulla stessa classe di GPU.

3. Memoria Nativa a Lungo Orizzonte

DM0.5 supporta fino a 60 secondi di memoria nativa a lungo orizzonte. Dexmal nota che molti modelli embodied attuali di solito rimangono al di sotto di 10 secondi di memoria.

Una memoria più lunga consente ai robot di gestire compiti multi-step in cui l'ambiente cambia nel tempo. Ad esempio, in un compito di stoccaggio disordinato o organizzazione domestica, il robot deve ricordare cosa ha già spostato, cosa rimane e come è cambiata la scena.

DM0.5 supporta anche video prompting. Con la capacità di memoria lunga, il modello può comprendere un breve video dimostrativo umano e allineare il suo comportamento al compito dimostrato, riducendo la dipendenza da istruzioni basate solo sul linguaggio.

4. Robustezza contro le Interferenze

DM0.5 utilizza un design dual-system:

• Sys2 gestisce la comprensione, il ragionamento e la pianificazione di alto livello.
• Sys1 gestisce la risposta ad azioni ad alta frequenza.

Il modello è rafforzato contro due comuni disturbi a lunga coda in scenari embodied:

• Disturbo della telecamera: il robot dovrebbe rimanere stabile anche quando il punto di vista della telecamera cambia improvvisamente.
• Interruzione umana: il robot dovrebbe capire che lo stato del compito è cambiato e regolare le sue azioni successive dopo che una persona interrompe il processo.

Questo è importante perché l'implementazione nel mondo reale raramente assomiglia a una demo di laboratorio pulita. Le persone si muovono, le telecamere si spostano e gli oggetti non sono sempre dove il robot si aspetta che siano.

5. Supporto Multi-Incarnazione

DM0.5 è addestrato con integrazione multi-robot e multi-compito, quindi è progettato per il trasferimento cross-platform.

Dexmal afferma che il modello può adattarsi a diversi tipi di robot principali ed eterogenei, inclusi umanoidi bipedi, robot su ruote, manipolatori a doppio braccio e a braccio singolo, e mani destre.

mani.

L'articolo elenca esempi come Aloha, ARX, UR, W1, Unitree G1, Tiangong, Huaqin e Realman. Dexmal afferma inoltre che il modello può essere implementato rapidamente su nuovi robot sconosciuti con un adattamento leggero.

Il punto centrale è che la generalizzazione dovrebbe allontanare i robot dagli ambienti fissi e dagli script di azione predefiniti. Un modello più generale può gestire nuovi oggetti, nuovi scenari, nuove istruzioni e nuovi corpi robotici con meno lavoro personalizzato.

Un Modello Fondamentale da Solo Non Basta

Un robusto modello fondamentale incarnato è solo il primo passo. Per rendere operativa l'IA incarnata nell'industria, il modello necessita ancora di strumenti, sistemi di distribuzione, feedback dei dati e infrastruttura operativa nel mondo reale.

Dexmal utilizza un'idea a "tre stadi di razzo" per descrivere questa struttura:

1. Primo stadio: DM0.5 come modello fondamentale generale.
2. Secondo stadio: Piattaforma per sviluppatori DexDev, che include DFOL2.0, MaaS e DexOS.
3. Terzo stadio: Ferrata, un sistema operativo multi-agente ibrido per scenari reali.

Questi livelli hanno lo scopo di rendere il modello più economico da chiamare, più facile da distribuire su diversi hardware e più stabile negli ambienti di lavoro reali.

I. Piattaforma per Sviluppatori DexDev

DexDev è la piattaforma per sviluppatori di Dexmal progettata per ridurre la complessità dell'applicazione dei modelli di IA incarnata.

Nell'attuale campo dell'IA incarnata, modelli, hardware, compiti, set di dati e ambienti di distribuzione sono spesso frammentati. Gli sviluppatori potrebbero dover comprendere contemporaneamente algoritmi, controllo robotico, adattamento hardware e iterazione degli scenari.

DexDev è costruita attorno a tre moduli.

1. DFOL2.0: Un Framework Guidato dal Modello del Mondo

DFOL2.0 è un framework di apprendimento per rinforzo incarnato e ciclo di dati guidato dal modello del mondo generale di Dexmal, DW0.5.

Il suo ruolo è aiutare il modello a migliorare continuamente. Invece di affidarsi solo a costosi tentativi ed errori con robot reali, DFOL2.0 utilizza ambienti fisici virtuali ad alta fedeltà per un addestramento delle politiche a ciclo chiuso a costo e rischio inferiori.

Inoltre, reimmette dati sulle attività reali e sugli errori nel cloud, aiutando il modello fondamentale a continuare ad evolversi.

Secondo Dexmal, DFOL2.0 può ridurre la richiesta di dati di addestramento con robot reali del 60% e il costo di addestramento del 40%.

2. DexOS: Un Sistema Operativo Generale per l'IA Incarnata

DexOS definisce un'interfaccia standardizzata ECP, o Protocollo di Controllo Incarnato.

L'obiettivo è nascondere le differenze tra hardware robotici eterogenei. Invece di risolvere un difficile problema di adattamento "N × M" tra molti modelli e molti corpi robotici, DexOS cerca di semplificare la distribuzione in un problema di connessione unificata "N + 1".

Questo ha lo scopo di aiutare i modelli della serie DM a funzionare su diversi hardware con costi inferiori, latenza ridotta e controllo più stabile.

3. Servizio MaaS Incarnato

Dexmal ha anche introdotto un servizio MaaS incarnato per la famiglia di modelli DM.

L'idea è di confezionare le capacità del modello fondamentale come servizio. Gli sviluppatori non hanno bisogno di addestrare i modelli da zero o gestire ogni dettaglio di adattamento hardware da soli. Possono chiamare le capacità del modello in modo più diretto per la distribuzione e gli aggiornamenti dei robot.

Nella struttura di Dexmal, DFOL2.0 aiuta il modello a migliorare, DexOS collega software e hardware, e MaaS rende il modello più facile da usare su larga scala.

II.

Ferrata: Un Sistema Operativo Ibrido Multi-Agente

Una volta che le capacità di un singolo robot possono essere richiamate tramite MaaS, la sfida successiva è la collaborazione multi-robot.

Dexmal ha presentato Ferrata, un sistema operativo ibrido multi-agente progettato per scenari reali. È pensato per gestire la pianificazione a livello di sistema tra molteplici obiettivi, modelli, forme robotiche e limiti di sicurezza.

Ferrata è costruito sulla famiglia di modelli DM e su Realtime-VLA. Non si limita a un robot specifico. Invece, coordina compiti, modelli, tipi di hardware e meccanismi di sicurezza a livello di sistema.

Attraverso la gerarchia dei compiti, la gestione delle eccezioni, l'intervento umano e il feedback dei dati, Ferrata mira a mantenere i robot operativi in modo continuo in ambienti reali.

Da DM0.5 a DexDev e Ferrata, Dexmal sta cercando di costruire un percorso infrastrutturale completo dalla capacità del modello alla produttività reale.

Il primo livello è il modello generale. Il secondo livello è l'infrastruttura di piattaforma per formazione, MaaS e sistemi operativi. Il terzo livello è un sistema operativo a livello di scenario che aiuta l'IA incarnata a passare dalle demo di laboratorio agli ambienti produttivi.

FAQ

Cos'è Dexmal DM0.5?

DM0.5 è un modello fondamentale incarnato introdotto da Dexmal, noto anche come 原力灵机. È posizionato come un modello generale da 4 miliardi di parametri per compiti robotici in mondi aperti come navigazione, presa, controllo del corpo intero e seguimento di istruzioni.

Quanti dati sono stati utilizzati per addestrare DM0.5?

Secondo il rapporto originale, DM0.5 è basato su 150.000 ore di dati. Ciò include 50.000 ore di dati operativi robotici reali, 100.000 ore di dati in prima persona egocentrici e dati di ricostruzione di scene su larga scala che coprono 1 milione di metri quadrati.

Cosa rende DM0.5 diverso da DM0?

DM0.5 raddoppia la scala dei parametri del modello a 4B e aumenta il volume dei dati del 400% rispetto a DM0. Aggiunge anche memoria a lungo termine, compiti di ragionamento incarnato e allineamento della traiettoria per migliorare la comprensione e la generalizzazione dei compiti.

DM0.5 può funzionare su GPU consumer?

Il rapporto afferma che DM0.5 può completare la messa a punto a livello esperto per un nuovo compito downstream su una RTX 4090 in appena 18 ore. Riporta anche una latenza di inferenza di 90 ms su RTX 4090 e 50 ms su H100.

Cos'è DexDev?

DexDev è la piattaforma per sviluppatori di Dexmal per applicazioni di IA incarnata. Include DFOL2.0 per l'apprendimento per rinforzo e cicli di dati, DexOS per il controllo cross-hardware e MaaS per un accesso più facile alle capacità del modello.

A cosa serve Ferrata?

Ferrata è un sistema operativo ibrido multi-agente per scenari robotici reali. Coordina compiti, hardware robotico, modelli, limiti di sicurezza, gestione delle eccezioni, intervento umano e feedback dei dati.

DM0.5 è open source?

L'articolo si concentra sul rilascio di DM0.5 e sulle capacità riportate, ma non afferma chiaramente che DM0.5 stesso sia open source. Dexmal mantiene comunque la toolbox open source Dexbotic VLA, e la documentazione relativa a DM0 è disponibile tramite il repository GitHub di Dexbotic.

Perché la memoria a lungo termine è importante nell'IA incarnata?

I robot spesso devono completare compiti multi-step in cui la scena cambia nel tempo. Una memoria più lunga aiuta un modello a tracciare azioni precedenti, lo stato attuale del compito e i cambiamenti ambientali, rendendo

il robot meno incline a perdere il contesto durante compiti lunghi.

Strumenti Correlati

• Dexmal: Il sito ufficiale di Dexmal, l'azienda dietro DM0, DM0.5, DexDev e Ferrata.
• Dexbotic: Una cassetta degli attrezzi open-source VLA di Dexmal per la ricerca sull'intelligenza embodied.
• RoboChallenge: Una piattaforma di riferimento per valutare le prestazioni dei robot in contesti di IA embodied.
• Hugging Face: Una piattaforma di hosting di modelli utilizzata dalla documentazione di Dexbotic per i checkpoint del modello DM0.
• arXiv: Una piattaforma di articoli di ricerca in cui è disponibile il paper tecnico DM0.

Link Correlati

• Sito Ufficiale Dexmal: Informazioni ufficiali sull'azienda e sui prodotti Dexmal.
• Repository GitHub di Dexbotic: Cassetta degli attrezzi VLA open-source per pre-addestramento, fine-tuning, inferenza e valutazione.
• Tutorial DM0 in Dexbotic: Documentazione ufficiale di Dexbotic per l'utilizzo delle configurazioni specifiche di DM0.
• Articolo DM0 su arXiv: Articolo di ricerca per “DM0: Un Modello Visione-Linguaggio-Azione Nativamente Embodied verso l’IA Fisica”.
• Esecuzioni DM0 su RoboChallenge: Esecuzioni pubbliche di RoboChallenge filtrate per DM0 su Table30.
• Organizzazione GitHub Dexmal: Pagina dell'organizzazione GitHub di Dexmal e lista dei progetti open-source.

Riepilogo

DM0.5 è l'ultimo modello fondamentale embodied di Dexmal, costruito attorno a dati su larga scala, un'architettura da 4 miliardi di parametri, memoria più lunga, ragionamento embodied e allineamento delle traiettorie. Il suo obiettivo principale è migliorare la generalizzazione dei robot in diverse attività, ambienti e forme fisiche.

L'articolo mostra anche perché il modello da solo non basta. La piattaforma DexDev di Dexmal, DFOL2.0, DexOS, MaaS e il sistema Ferrata sono progettati per trasformare le capacità del modello in infrastruttura implementabile.

Il punto chiave: DM0.5 non è solo un aggiornamento del modello; è il tentativo di Dexmal di collegare formazione, implementazione e operazioni robotiche reali dell’IA embodied in un unico stack.