Dexmal DM0.5 Explicado: Um Modelo de Base Encarnado de 150.000 Horas para Robôs do Mundo Real

Introdução

A IA Encarnada não carece de demonstrações robustas, novo hardware robótico ou talento em pesquisa. O problema mais difícil continua sendo o mesmo: como construir um ciclo virtuoso de dados que possa melhorar continuamente robôs em tarefas do mundo real?

A Dexmal, conhecida em chinês como 原力灵机, apresentou um novo modelo de base encarnado chamado DM0.5 em seu evento para desenvolvedores. O modelo é posicionado como um modelo de base de uso geral para inteligência encarnada em mundo aberto. Ele visa conectar três coisas que frequentemente permanecem separadas em robótica: dados robóticos em larga escala, generalização de modelos e infraestrutura de implantação.

De acordo com o relatório original do QbitAI, o DM0.5 é construído sobre 150.000 horas de dados, utiliza um modelo de 4B parâmetros e foi projetado para apoiar navegação, apreensão, controle corporal completo, memória de longo horizonte e implantação cross-embodiment.

150.000 Horas de Dados: A Base por Trás do DM0.5

A Dexmal descreve o DM0.5 com três palavras-chave: maior, mais forte e mais prático.

O modelo é posicionado como um modelo de base encarnado geral para tarefas de mundo aberto. Comparado ao modelo DM0 anterior, o DM0.5 dobra a escala de parâmetros para 4B parâmetros e aumenta o volume de dados de treinamento em 400%.

A base de 150.000 horas de dados é construída principalmente a partir de três tipos de dados de alta qualidade.

1. Dados de Operação Robótica Real

O DM0.5 utiliza 50.000 horas de dados de operação robótica de alta precisão. Esses dados cobrem mais de 100 tipos de ações e suportam alinhamento refinado entre instruções e ações no nível de segundos.

Esta parte do conjunto de dados ajuda o modelo a aprender como as ações físicas são realmente executadas no mundo real, não apenas como são descritas em linguagem.

2. Dados Egométricos em Primeira Pessoa

O modelo também utiliza 100.000 horas de dados egométricos. Isso dá ao modelo uma visão mais humana do ambiente e suporta a geração de pontos de referência 3D de alta precisão no nível milimétrico.

Dados em primeira pessoa são importantes porque os robôs precisam entender cenas a partir da perspectiva de um ator que se move pelo mundo, não apenas de pontos de vista de câmeras estáticas.

3. Dados de Reconstrução de Cena

A Dexmal também utiliza dados de reconstrução de cena baseados em 1 milhão de metros quadrados de dados espaciais. O objetivo é modelar ambientes internos complexos e reduzir a lacuna Sim2Real entre simulação e implantação real.

Isso é importante para a inteligência encarnada porque um robô que tem bom desempenho em um simulador pode ainda falhar quando a iluminação, a disposição dos objetos, o atrito da superfície ou o comportamento humano mudam em uma cena real.

Três Melhorias de Arquitetura no DM0.5

Além da escala de dados, o DM0.5 introduz três grandes melhorias no nível da arquitetura. Essas melhorias são projetadas para ajudar os robôs a passar de "lembrar ações" para "entender tarefas".

1. Camada de Abstração de Contexto

Muitas tarefas robóticas do mundo real não são comandos curtos de uma única etapa. Elas podem durar vários minutos e exigir que o robô se lembre do que aconteceu antes.

O DM0.5 adiciona compressão de contexto eficiente e suporta até 60 segundos de memória nativa, com capacidade média de memória em torno de 30 segundos. Isso permite que o modelo

Para preservar o contexto histórico útil e compreender melhor como o ambiente mudou durante uma tarefa mais longa.

Para tarefas de horizonte longo, esse tipo de memória pode reduzir o comportamento fragmentado e ajudar o robô a manter uma sequência de ações mais consistente.

2. Tarefas de Cadeia de Pensamento Incorporada

O DM0.5 ainda segue uma direção no estilo VLA, mas o Dexmal adiciona tarefas mais orientadas ao raciocínio, incluindo planejamento de tarefas, localização de alvos e previsão de estados futuros.

Em termos simples, o modelo é incentivado a planejar antes de agir. Quando um comando é complexo, ele pode dividir o objetivo em etapas menores, organizar a ordem das ações e reduzir o comportamento de tentativa e erro.

3. Camada de Alinhamento de Trajetória

Comandos em linguagem natural e movimentos articulares do robô operam em espaços muito diferentes. Uma pessoa pode dizer uma frase, mas o robô ainda precisa traduzir essa instrução em movimentos de braço, garra ou corpo no nível milimétrico.

A camada de alinhamento de trajetória ajuda o modelo a aprender o movimento como um processo alinhado, em vez de um conjunto de pontos isolados. Isso torna o modelo melhor em compreender o padrão de movimento entre intenção e execução.

Juntas, essas melhorias apoiam a afirmação do Dexmal de que o DM0.5 não está apenas memorizando ações, mas aprendendo uma representação mais consciente das tarefas do mundo físico.

Resultados de Benchmark e Ganhos de Eficiência

Sob essa configuração de dados e arquitetura, o DM0.5 mostra várias melhorias de desempenho relatadas em avaliações com robôs reais e em simulação.

De acordo com o relatório, o DM0.5 supera os modelos SOTA atuais em quatro benchmarks públicos de robôs reais e simulação. Um único modelo pode suportar vários tipos de tarefas, incluindo navegação, apreensão e controle corporal completo.

Em comparação com o DM0, o DM0.5 supostamente melhora:

• Taxa de sucesso de navegação zero-shot em 31%
• Taxa de sucesso few-shot em 45%
• Taxa de sucesso de tarefas ajustadas em 20%
• Eficiência de inferência em 25%

A latência relatada também é baixa para implantação em robótica:

• 50 ms de latência de inferência no NVIDIA H100
• 90 ms de latência de inferência no RTX 4090

Esses números são importantes porque a IA incorporada não pode ser apenas precisa. Ela também precisa responder rápido o suficiente para o controle físico em tempo real.

Generalização e Custos Mais Baixos: O que "Útil" Significa para o DM0.5

No evento para desenvolvedores, o cofundador e CEO da Dexmal, Tang Wenbin, argumentou que muitos modelos de IA incorporada estão sendo lançados, mas a verdadeira questão é se eles são realmente úteis.

A Dexmal usa dois padrões práticos para definir um modelo de base incorporado útil:

1. Qual é a força da generalização zero-shot do modelo?
   Isso determina o limite superior da capacidade do modelo.
2. Quão eficiente é o pós-treinamento?
   Isso determina a rapidez com que o modelo pode ser aplicado em cenários industriais ou de serviço reais.

Para o pós-treinamento, o DM0.5 supostamente reduz o custo de ajuste fino em 60%. Uma nova tarefa downstream pode ser ajustada e implantada para desempenho de nível especialista com apenas uma GPU de consumidor RTX 4090, em apenas 18 horas.

A mudança maior está na generalização. A Dexmal enfatiza que o DM0.5 foi projetado para entender as relações entre objetos, cenas, tarefas, incorporações de robôs e instruções em linguagem natural. A empresa afirma

já observou sinais de emergência de generalização no DM0.5.

1. Capacidade Zero-Shot

A capacidade zero-shot mede o que um robô consegue fazer sem ver a tarefa exata durante o treinamento.

A Dexmal testou o DM0.5 em robôs de braço único Franka e no Dexmal-Mint em oito ações atômicas principais:

• Pegar
• Colocar
• Cobrir
• Girar
• Empurrar
• Puxar
• Limpar
• Empilhar

Os testes também incluíram casos mais complexos de seguimento de instruções envolvendo cor, forma, tamanho, estado, posição absoluta, posição relativa e instruções de sequência longa.

Na avaliação relatada, o DM0.5 igualou o PI 0.5 na capacidade de Movimento com um braço Franka, enquanto superou o DM0 e o PI 0.5 nos demais itens testados.

2. Capacidade de Ajuste Fino

A capacidade de ajuste fino mostra o quão bem o modelo se adapta após entrar em um ambiente de tarefa real.

No benchmark real de robôs RoboChallenge Table30 V2, o DM0.5 foi testado em 30 tarefas complexas e quatro formas robóticas heterogêneas. Relata-se que obteve 54,42 com uma taxa de sucesso de 43%, ficando em primeiro lugar nessa avaliação.

O modelo também atualizou resultados em vários benchmarks reconhecidos de preensão e navegação. No LIBERO, o DM0.5 supostamente atingiu 99,1% de desempenho geral, incluindo 94,1% em cenários Clean e 94,4% em cenários Random.

O detalhe prático importante é o custo: a Dexmal afirma que uma nova tarefa downstream pode ser ajustada em 18 horas em uma única RTX 4090, enquanto a inferência pode rodar a 90 ms na mesma classe de GPU.

3. Memória Nativa de Longo Horizonte

O DM0.5 suporta até 60 segundos de memória nativa de longo horizonte. A Dexmal observa que muitos modelos incorporados atuais geralmente ficam abaixo de 10 segundos de memória.

Uma memória mais longa permite que robôs lidem com tarefas de múltiplas etapas onde o ambiente muda ao longo do tempo. Por exemplo, em uma tarefa de armazenamento desorganizado ou organização doméstica, o robô precisa lembrar o que já moveu, o que resta e como a cena mudou.

O DM0.5 também suporta prompting por vídeo. Com a capacidade de memória longa, o modelo pode entender um vídeo curto de demonstração humana e alinhar seu comportamento à tarefa demonstrada, reduzindo a dependência de instruções apenas por linguagem.

4. Robustez Contra Interferências

O DM0.5 usa um design de sistema duplo:

• Sys2 lida com compreensão, raciocínio e planejamento de alto nível.
• Sys1 lida com resposta de ação de alta frequência.

O modelo é fortalecido contra duas perturbações comuns de cauda longa em cenários incorporados:

• Perturbação da câmera: o robô deve permanecer estável mesmo quando o ponto de vista da câmera muda repentinamente.
• Interrupção humana: o robô deve entender que o estado da tarefa mudou e ajustar suas próximas ações após uma pessoa interromper o processo.

Isso é importante porque a implantação no mundo real raramente se parece com uma demonstração limpa de laboratório. Pessoas se movem, câmeras mudam e objetos nem sempre estão onde o robô espera que estejam.

5. Suporte a Múltiplas Formas Robóticas

O DM0.5 é treinado com integração multi-robô e multi-tarefa, sendo projetado para transferência entre plataformas.

A Dexmal afirma que o modelo pode se adaptar a vários tipos de robôs mainstream e heterogêneos, incluindo humanoides bípedes, robôs com rodas, manipuladores de braço duplo e braço único, e mãos hábeis.

mãos.

O artigo lista exemplos como Aloha, ARX, UR, W1, Unitree G1, Tiangong, Huaqin e Realman. A Dexmal também afirma que o modelo pode ser implantado rapidamente em novos robôs desconhecidos com adaptação leve.

O ponto central é que a generalização deve afastar os robôs de ambientes fixos e scripts de ação predefinidos. Um modelo mais geral pode lidar com novos objetos, novos cenários, novas instruções e novos corpos robóticos com menos trabalho personalizado.

Apenas um Modelo Fundamental Não é Suficiente

Um modelo fundamental incorporado forte é apenas o primeiro passo. Para fazer a IA incorporada funcionar na indústria, o modelo ainda precisa de ferramentas, sistemas de implantação, feedback de dados e infraestrutura operacional no mundo real.

A Dexmal usa uma ideia de "foguete de três estágios" para descrever essa pilha:

1. Primeiro estágio: DM0.5 como o modelo fundamental geral.
2. Segundo estágio: Plataforma de desenvolvedor DexDev, incluindo DFOL2.0, MaaS e DexOS.
3. Terceiro estágio: Ferrata, um sistema de operação híbrido multiagente para cenários reais.

Essas camadas visam tornar o modelo mais barato de chamar, mais fácil de implantar em diferentes hardwares e mais estável em ambientes de tarefas do mundo real.

I. Plataforma de Desenvolvedor DexDev

DexDev é a plataforma de desenvolvedor da Dexmal para reduzir a complexidade da aplicação de modelos de IA incorporada.

No campo atual da IA incorporada, modelos, hardware, tarefas, conjuntos de dados e ambientes de implantação são frequentemente fragmentados. Os desenvolvedores podem precisar entender algoritmos, controle de robôs, adaptação de hardware e iteração de cenários ao mesmo tempo.

DexDev é construída em torno de três módulos.

1. DFOL2.0: Um Framework Orientado por Modelo de Mundo

DFOL2.0 é um framework de aprendizado por reforço incorporado e loop de dados, impulsionado pelo modelo de mundo geral da Dexmal, DW0.5.

Seu papel é ajudar o modelo a continuar melhorando. Em vez de depender apenas de tentativa e erro caros com robôs reais, o DFOL2.0 utiliza ambientes físicos virtuais de alta fidelidade para treinamento de política em loop fechado com menor custo e risco.

Ele também envia dados de tarefas e falhas do mundo real de volta para a nuvem, ajudando o modelo fundamental a evoluir continuamente.

De acordo com a Dexmal, o DFOL2.0 pode reduzir a demanda por dados de treinamento com robôs reais em 60% e o custo de treinamento em 40%.

2. DexOS: Um Sistema Operacional Geral para IA Incorporada

DexOS define uma interface padronizada de ECP, ou Protocolo de Controle Incorporado.

O objetivo é ocultar as diferenças entre hardwares robóticos heterogêneos. Em vez de resolver um difícil problema de adaptação "N × M" entre muitos modelos e muitos corpos robóticos, o DexOS tenta simplificar a implantação em um problema de conexão unificada "N + 1".

Isso visa ajudar os modelos da série DM a rodar em diferentes hardwares com menor custo, menor latência e controle mais estável.

3. Serviço MaaS Incorporado

A Dexmal também introduziu um serviço MaaS incorporado para a família de modelos DM.

A ideia é empacotar as capacidades do modelo fundamental como um serviço. Os desenvolvedores não precisam treinar modelos do zero ou lidar com todos os detalhes de adaptação de hardware. Eles podem chamar as capacidades do modelo de forma mais direta para implantação e atualização de robôs.

Na pilha da Dexmal, o DFOL2.0 ajuda o modelo a melhorar, o DexOS conecta software e hardware, e o MaaS torna o modelo mais fácil de usar em escala.

II.

Ferrata: Um Sistema Híbrido de Operação Multiagente

Quando as capacidades de um único robô podem ser acessadas via MaaS, o próximo desafio é a colaboração entre múltiplos robôs.

A Dexmal apresentou o Ferrata, um sistema híbrido de operação multiagente projetado para cenários do mundo real. Ele é concebido para lidar com o escalonamento em nível de sistema entre múltiplos objetivos, modelos, formas robóticas e limites de segurança.

O Ferrata é construído sobre a família de modelos DM e o Realtime-VLA. Ele não se limita a um robô específico. Em vez disso, coordena tarefas, modelos, tipos de hardware e mecanismos de segurança no nível do sistema.

Através de hierarquia de tarefas, tratamento de exceções, intervenção humana e retorno de dados, o Ferrata visa manter os robôs operando continuamente em ambientes reais.

Do DM0.5 ao DexDev e Ferrata, a Dexmal está tentando construir um caminho completo de infraestrutura, desde a capacidade do modelo até a produtividade real.

A primeira camada é o modelo geral. A segunda camada é a infraestrutura de plataforma para treinamento, MaaS e sistemas operacionais. A terceira camada é um sistema operacional em nível de cenário que ajuda a IA incorporada a sair de demonstrações de laboratório e entrar em ambientes de produção.

FAQ

O que é o Dexmal DM0.5?

O DM0.5 é um modelo fundamental incorporado apresentado pela Dexmal, também conhecido como 原力灵机. Ele é posicionado como um modelo geral de 4B de parâmetros para tarefas robóticas em mundo aberto, como navegação, apreensão, controle corporal completo e seguimento de instruções.

Quantos dados foram usados para treinar o DM0.5?

De acordo com o relatório original, o DM0.5 é construído sobre 150.000 horas de dados. Isso inclui 50.000 horas de dados de operação real de robôs, 100.000 horas de dados egocêntricos em primeira pessoa e dados de reconstrução de cena em grande escala cobrindo 1 milhão de metros quadrados.

O que torna o DM0.5 diferente do DM0?

O DM0.5 dobra a escala de parâmetros do modelo para 4B e aumenta o volume de dados em 400% em comparação com o DM0. Ele também adiciona memória de longo horizonte, tarefas de raciocínio incorporado e alinhamento de trajetória para melhorar a compreensão e generalização de tarefas.

O DM0.5 pode rodar em GPUs de consumo?

O relatório afirma que o DM0.5 pode concluir o ajuste fino em nível de especialista para uma nova tarefa downstream em uma RTX 4090 em apenas 18 horas. Ele também relata latência de inferência de 90 ms na RTX 4090 e 50 ms na H100.

O que é o DexDev?

O DexDev é a plataforma de desenvolvedores da Dexmal para aplicações de IA incorporada. Ela inclui o DFOL2.0 para aprendizado por reforço e loops de dados, o DexOS para controle entre hardwares e o MaaS para acesso mais fácil às capacidades do modelo.

Para que serve o Ferrata?

O Ferrata é um sistema híbrido de operação multiagente para cenários robóticos do mundo real. Ele coordena tarefas, hardware robótico, modelos, limites de segurança, tratamento de exceções, intervenção humana e retorno de dados.

O DM0.5 é open source?

O artigo foca no lançamento e nas capacidades relatadas do DM0.5, mas não afirma claramente que o próprio DM0.5 é open source. A Dexmal mantém o kit de ferramentas Dexbotic VLA de código aberto, e a documentação relacionada ao DM0 está disponível através do repositório Dexbotic no GitHub.

Por que a memória de longo horizonte é importante na IA incorporada?

Os robôs frequentemente precisam completar tarefas de múltiplas etapas onde a cena muda ao longo do tempo. Uma memória mais longa ajuda um modelo a rastrear ações anteriores, o estado atual da tarefa e as mudanças ambientais, tornando

o robô tem menos probabilidade de perder o contexto durante tarefas longas.

Ferramentas Relacionadas

• Dexmal: O site oficial da Dexmal, empresa responsável pelo DM0, DM0.5, DexDev e Ferrata.
• Dexbotic: Um kit de ferramentas VLA de código aberto da Dexmal para pesquisa em inteligência incorporada.
• RoboChallenge: Uma plataforma de referência para avaliar o desempenho de robôs em tarefas em ambientes de IA incorporada.
• Hugging Face: Uma plataforma de hospedagem de modelos referenciada pela documentação do Dexbotic para checkpoints do modelo DM0.
• arXiv: Uma plataforma de artigos de pesquisa onde o artigo técnico do DM0 está disponível.

Links Relacionados

• Site Oficial da Dexmal: Informações oficiais da empresa e produtos da Dexmal.
• Repositório Dexbotic no GitHub: Kit de ferramentas VLA de código aberto para pré-treinamento, ajuste fino, inferência e avaliação.
• Tutorial do DM0 no Dexbotic: Documentação oficial do Dexbotic para uso de configurações específicas do DM0.
• Artigo do DM0 no arXiv: Artigo de pesquisa "DM0: Um Modelo de Ação-Visão-Linguagem Incorporado Nativo para IA Física".
• Execuções do DM0 no RoboChallenge: Execuções públicas do RoboChallenge filtradas para DM0 no Table30.
• Organização Dexmal no GitHub: Página da organização Dexmal no GitHub e lista de projetos de código aberto.

Resumo

O DM0.5 é o mais recente modelo de base incorporado da Dexmal, construído com dados em maior escala, uma arquitetura de 4 bilhões de parâmetros, memória mais longa, raciocínio incorporado e alinhamento de trajetória. Seu principal objetivo é melhorar a generalização de robôs em tarefas, ambientes e incorporações.

O artigo também mostra por que apenas o modelo não é suficiente. A plataforma DexDev da Dexmal, DFOL2.0, DexOS, MaaS e o sistema Ferrata foram projetados para transformar a capacidade do modelo em infraestrutura implantável.

O ponto principal: o DM0.5 não é apenas uma atualização de modelo; é a tentativa da Dexmal de conectar treinamento de IA incorporada, implantação e operações de robôs no mundo real em uma única pilha.