Dexmal DM0.5 설명: 실제 세계 로봇을 위한 15만 시간의 임베디드 파운데이션 모델

소개

임베디드 AI에는 강력한 데모, 새로운 로봇 하드웨어, 연구 인재가 부족하지 않습니다. 더 어려운 문제는 여전히 동일합니다: 실제 작업에서 로봇을 지속적으로 개선할 수 있는 데이터 플라이휠을 어떻게 구축할 것인가?

중국어로 原力灵机(위안리링지)로 알려진 Dexmal은 개발자 이벤트에서 DM0.5라는 새로운 임베디드 파운데이션 모델을 발표했습니다. 이 모델은 개방형 세계 임베디드 지능을 위한 범용 파운데이션 모델로 포지셔닝되었습니다. 로봇 공학에서 종종 분리되어 있는 세 가지 요소, 즉 대규모 로봇 데이터, 모델 일반화, 배포 인프라를 연결하도록 설계되었습니다.

QbitAI의 원본 보고서에 따르면, DM0.5는 15만 시간의 데이터를 기반으로 구축되었으며, 4B 파라미터 모델을 사용하고, 탐색, 파지, 전신 제어, 장기 메모리, 교차 형태 배포를 지원하도록 설계되었습니다.

15만 시간의 데이터: DM0.5의 기반

Dexmal은 DM0.5를 더 크고, 더 강력하며, 더 실용적이라는 세 가지 키워드로 설명합니다.

이 모델은 개방형 세계 작업을 위한 범용 임베디드 파운데이션 모델로 포지셔닝되었습니다. 이전 DM0 모델과 비교하여 DM0.5는 파라미터 규모를 4B 파라미터로 두 배 늘리고 훈련 데이터 양을 400% 증가시켰습니다.

15만 시간의 데이터 기반은 주로 세 가지 유형의 고품질 데이터로 구축되었습니다.

1. 실제 로봇 작동 데이터

DM0.5는 5만 시간의 고정밀 로봇 작동 데이터를 사용합니다. 이 데이터는 100가지 이상의 동작 유형을 포함하며 초 단위의 명령과 동작 간의 정밀한 정렬을 지원합니다.

데이터셋의 이 부분은 모델이 언어로 설명되는 방식뿐만 아니라 물리적 동작이 실제 세계에서 어떻게 실행되는지 학습하는 데 도움이 됩니다.

2. 자기중심적 1인칭 데이터

이 모델은 또한 10만 시간의 자기중심적 데이터를 사용합니다. 이는 모델에 더 인간적인 환경 시야를 제공하고 밀리미터 수준의 고정밀 3D 랜드마크 생성을 지원합니다.

1인칭 데이터가 중요한 이유는 로봇이 정적 카메라 시점뿐만 아니라 세계를 이동하는 행위자의 관점에서 장면을 이해해야 하기 때문입니다.

3. 장면 재구성 데이터

Dexmal은 또한 100만 제곱미터의 공간 데이터를 기반으로 한 장면 재구성 데이터를 사용합니다. 목표는 복잡한 실내 환경을 모델링하고 시뮬레이션과 실제 배포 간의 Sim2Real 격차를 줄이는 것입니다.

이것은 임베디드 지능에 중요합니다. 시뮬레이터에서 잘 작동하는 로봇이라도 실제 장면에서 조명, 물체 배치, 표면 마찰 또는 인간 행동이 변하면 실패할 수 있기 때문입니다.

DM0.5의 세 가지 아키텍처 업그레이드

데이터 규모 외에도 DM0.5는 세 가지 주요 아키텍처 수준 업그레이드를 도입합니다. 이러한 업그레이드는 로봇이 "동작 기억"에서 "작업 이해"로 전환하는 데 도움이 되도록 설계되었습니다.

1. 컨텍스트 추상화 계층

많은 실제 로봇 작업은 짧은 단일 단계 명령이 아닙니다. 몇 분 동안 지속될 수 있으며 로봇이 이전에 발생한 일을 기억해야 합니다.

DM0.5는 효율적인 컨텍스트 압축을 추가하고 최대 60초의 기본 메모리를 지원하며, 평균 메모리 용량은 약 30초입니다. 이를 통해 모델

유용한 역사적 맥락을 보존하고, 더 긴 작업 동안 환경이 어떻게 변화했는지 더 잘 이해하기 위함입니다.

장기적인 작업의 경우, 이러한 기억은 단편적인 행동을 줄이고 로봇이 보다 일관된 동작 순서를 유지하도록 도울 수 있습니다.

2. 구현형 사고 사슬 작업

DM0.5는 여전히 VLA 방식을 따르지만, Dexmal은 작업 계획, 대상 위치 파악, 미래 상태 예측 등 추론 중심의 작업을 추가했습니다.

간단히 말해, 모델이 행동하기 전에 계획을 세우도록 유도됩니다. 명령이 복잡할 경우, 목표를 더 작은 단계로 나누고, 동작 순서를 정리하며, 시행착오 행동을 줄일 수 있습니다.

3. 궤적 정렬 레이어

자연어 명령과 로봇의 관절 움직임은 매우 다른 공간에 존재합니다. 사람이 한 문장을 말해도 로봇은 여전히 그 지시를 밀리미터 단위의 팔, 그리퍼 또는 몸체 움직임으로 변환해야 합니다.

궤적 정렬 레이어는 모델이 움직임을 일련의 고립된 지점이 아닌 정렬된 과정으로 학습하도록 돕습니다. 이를 통해 모델은 의도와 실행 사이의 움직임 패턴을 더 잘 이해할 수 있습니다.

이러한 업그레이드들은 DM0.5가 단순히 동작을 암기하는 것이 아니라, 물리적 세계에 대한 보다 작업 인식적인 표현을 학습하고 있다는 Dexmal의 주장을 뒷받침합니다.

벤치마크 결과 및 효율성 향상

이러한 데이터 및 아키텍처 설정 하에, DM0.5는 실제 로봇 및 시뮬레이션 평가 전반에서 여러 성능 개선을 보고했습니다.

보고서에 따르면, DM0.5는 4개의 공개 실제 로봇 및 시뮬레이션 벤치마크에서 현재 최고 수준의 모델을 능가합니다. 단일 모델로 탐색, 파지, 전신 제어 등 다양한 작업 유형을 지원할 수 있습니다.

DM0과 비교하여 DM0.5는 다음 항목이 개선된 것으로 알려졌습니다:

• 제로샷 탐색 성공률 31% 향상
• 소수 샷 성공률 45% 향상
• 미세 조정 작업 성공률 20% 향상
• 추론 효율성 25% 향상

로봇 배치에 필요한 지연 시간도 낮게 보고되었습니다:

• NVIDIA H100에서 50ms 추론 지연 시간
• RTX 4090에서 90ms 추론 지연 시간

이러한 수치가 중요한 이유는 구현형 AI가 정확하기만 해서는 안 되기 때문입니다. 실시간 물리적 제어를 위해 충분히 빠르게 반응해야 합니다.

일반화와 비용 절감: DM0.5에게 '유용함'이 의미하는 바

개발자 행사에서 Dexmal의 공동 창립자 겸 CEO인 Tang Wenbin은 많은 구현형 AI 모델이 출시되고 있지만, 진짜 질문은 그것들이 실제로 유용한지 여부라고 주장했습니다.

Dexmal은 유용한 구현형 기반 모델을 정의하기 위해 두 가지 실용적인 기준을 사용합니다:

1. 모델의 제로샷 일반화 능력은 얼마나 강력한가?
   이는 모델 성능의 상한선을 결정합니다.
2. 사후 학습은 얼마나 효율적인가?
   이는 모델이 실제 산업 또는 서비스 시나리오로 얼마나 빨리 전환될 수 있는지를 결정합니다.

사후 학습의 경우, DM0.5는 미세 조정 비용을 60% 낮춘 것으로 알려졌습니다. 새로운 다운스트림 작업은 단일 RTX 4090 소비자 GPU로 단 18시간 만에 미세 조정 및 전문가 수준의 성능으로 배치될 수 있습니다.

더 큰 변화는 일반화에 있습니다. Dexmal은 DM0.5가 객체, 장면, 작업, 로봇 구현체 및 자연어 명령어 간의 관계를 이해하도록 설계되었다고 강조합니다.

이미 DM0.5에서 일반화 출현의 징후가 관찰되었습니다.

1. 제로샷(Zero-Shot) 성능

제로샷 성능은 훈련 중 정확한 작업을 보지 않고도 로봇이 수행할 수 있는 작업을 측정합니다.

Dexmal은 Franka 단일 암 로봇과 Dexmal-Mint에서 DM0.5를 8가지 핵심 원자 동작에 대해 테스트했습니다:

• 집기
• 놓기
• 덮기
• 회전하기
• 밀기
• 당기기
• 닦기
• 쌓기

또한 색상, 모양, 크기, 상태, 절대 위치, 상대 위치 및 긴 시퀀스 명령을 포함한 더 복잡한 명령 수행 사례도 테스트에 포함되었습니다.

보고된 평가에서 DM0.5는 하나의 Franka 단일 암 이동 능력에서 PI 0.5와 동등한 성능을 보였으며, 다른 테스트 항목에서는 DM0 및 PI 0.5를 능가했습니다.

2. 미세 조정(Fine-Tuning) 성능

미세 조정 성능은 실제 작업 환경에 진입한 후 모델이 얼마나 잘 적응하는지를 보여줍니다.

로보챌린지(RoboChallenge) 실제 로봇 벤치마크 Table30 V2에서 DM0.5는 30개의 복잡한 작업과 4개의 이기종 로봇 형태에 걸쳐 테스트되었습니다. 54.42점을 기록하며 43%의 성공률로 해당 평가에서 1위를 차지했다고 합니다.

또한 이 모델은 여러 인지된 파지 및 내비게이션 벤치마크에서 기록을 갱신했습니다. LIBERO에서 DM0.5는 **전체 성능 99.1%**를 기록했으며, 여기에는 **클린(Clean) 시나리오 94.1%**와 **랜덤(Random) 시나리오 94.4%**가 포함됩니다.

중요한 실용적 세부 사항은 비용입니다: Dexmal에 따르면 새로운 다운스트림 작업은 단일 RTX 4090에서 18시간 이내에 미세 조정이 가능하며, 동일한 클래스의 GPU에서 추론은 90ms로 실행될 수 있습니다.

3. 네이티브 장기 메모리

DM0.5는 최대 60초의 네이티브 장기 메모리를 지원합니다. Dexmal은 현재 많은 임베디드 모델이 일반적으로 10초 미만의 메모리를 유지한다고 언급합니다.

더 긴 메모리를 통해 로봇은 시간이 지남에 따라 환경이 변화하는 다단계 작업을 처리할 수 있습니다. 예를 들어, 지저분한 창고나 가정 정리 작업에서 로봇은 이미 무엇을 옮겼는지, 무엇이 남아 있는지, 장면이 어떻게 변경되었는지를 기억해야 합니다.

DM0.5는 **비디오 프롬프팅(Video Prompting)**도 지원합니다. 장기 메모리 기능을 통해 모델은 짧은 인간 시연 비디오를 이해하고 시연된 작업에 동작을 정렬하여 언어 전용 명령에 대한 의존도를 줄일 수 있습니다.

4. 간섭에 대한 견고성

DM0.5는 이중 시스템 설계를 사용합니다:

• Sys2는 고수준 이해, 추론 및 계획을 처리합니다.
• Sys1은 고주파 동작 응답을 처리합니다.

이 모델은 임베디드 시나리오에서 두 가지 일반적인 긴 꼬리(long-tail) 교란에 대해 강화되었습니다:

• 카메라 교란: 카메라 시점이 갑자기 변경되더라도 로봇은 안정적으로 유지되어야 합니다.
• 인간의 중단: 사람이 프로세스를 방해한 후 로봇은 작업 상태가 변경되었음을 이해하고 다음 동작을 조정해야 합니다.

이는 실제 배포가 깨끗한 실험실 데모처럼 보이는 경우가 드물기 때문에 중요합니다. 사람들이 이동하고, 카메라가 움직이며, 물체가 항상 로봇이 예상하는 위치에 있지 않습니다.

5. 다중 형태 지원

DM0.5는 다중 로봇 및 다중 작업 통합으로 훈련되었으므로 크로스 플랫폼 전이를 위해 설계되었습니다.

Dexmal은 이 모델이 이족 보행 휴머노이드, 바퀴 달린 로봇, 이중 암 및 단일 암 조작기, 다지형 로봇을 포함한 여러 주류 및 이기종 로봇 유형에 적응할 수 있다고 말합니다.

손.

해당 기사에서는 Aloha, ARX, UR, W1, Unitree G1, Tiangong, Huaqin, Realman 등의 예시를 소개하고 있다. Dexmal은 또한 이 모델이 가벼운 적응만으로 새로운 알려지지 않은 로봇 본체에 빠르게 배포될 수 있다고 밝혔다.

더 넓은 의미는 일반화를 통해 로봇이 고정된 환경과 고정된 동작 스크립트에서 벗어나야 한다는 점이다. 더 일반화된 모델은 더 적은 맞춤 작업으로 새로운 물체, 새로운 장면, 새로운 지시, 새로운 로봇 본체를 처리할 수 있다.

기초 모델만으로는 충분하지 않다

강력한 임베디드 기초 모델은 첫 번째 단계에 불과하다. 임베디드 AI를 산업에서 작동하게 하려면 여전히 도구, 배포 시스템, 데이터 피드백, 실제 운영 인프라가 필요하다.

Dexmal은 이 스택을 설명하기 위해 "3단계 로켓" 아이디어를 사용한다:

1. 1단계: 일반 기초 모델로서의 DM0.5.
2. 2단계: DFOL2.0, MaaS, DexOS를 포함한 DexDev 개발자 플랫폼.
3. 3단계: 실제 시나리오를 위한 멀티 에이전트 하이브리드 운영 시스템인 Ferrata.

이러한 계층은 모델 호출 비용을 낮추고, 하드웨어 전반에 걸친 배포를 용이하게 하며, 실제 작업 환경에서 더 안정적으로 만들기 위한 것이다.

I. DexDev 개발자 플랫폼

DexDev는 임베디드 AI 모델 적용의 복잡성을 줄이기 위한 Dexmal의 개발자 플랫폼이다.

현재 임베디드 AI 분야에서 모델, 하드웨어, 작업, 데이터 세트, 배포 환경은 종종 파편화되어 있다. 개발자는 알고리즘, 로봇 제어, 하드웨어 적응, 시나리오 반복을 동시에 이해해야 할 수도 있다.

DexDev는 세 가지 모듈을 중심으로 구축되었다.

1. DFOL2.0: 세계 모델 기반 프레임워크

DFOL2.0은 Dexmal의 일반 세계 모델 DW0.5에 의해 구동되는 임베디드 강화 학습 및 데이터 루프 프레임워크이다.

그 역할은 모델이 계속해서 개선되도록 돕는 것이다. DFOL2.0은 값비싼 실제 로봇 시행착오에만 의존하는 대신, 고충실도 가상 물리 환경을 사용하여 저비용, 저위험의 폐쇄 루프 정책 훈련을 수행한다.

또한 실제 작업 및 실패 데이터를 클라우드에 피드백하여 기초 모델이 계속 진화하도록 돕는다.

Dexmal에 따르면, DFOL2.0은 실제 로봇 훈련 데이터 수요를 60%, 훈련 비용을 40% 줄일 수 있다.

2. DexOS: 임베디드 AI를 위한 일반 운영 체제

DexOS는 표준화된 ECP(임베디드 제어 프로토콜) 인터페이스를 정의한다.

목표는 이기종 로봇 하드웨어 간의 차이를 숨기는 것이다. 많은 모델과 많은 로봇 본체 간의 어려운 "N × M" 적응 문제를 해결하는 대신, DexOS는 배포를 "N + 1" 통합 연결 문제로 단순화하려고 한다.

이는 DM 시리즈 모델이 더 낮은 비용, 더 낮은 지연 시간, 더 안정적인 제어로 다양한 하드웨어에서 실행될 수 있도록 돕기 위한 것이다.

3. 임베디드 MaaS 서비스

Dexmal은 또한 DM 모델 제품군을 위한 임베디드 MaaS 서비스를 도입했다.

아이디어는 기초 모델 기능을 서비스로 패키징하는 것이다. 개발자는 처음부터 모델을 훈련시키거나 모든 하드웨어 적응 세부 사항을 직접 처리할 필요가 없다. 로봇 배포 및 업그레이드를 위해 모델 기능을 보다 직접적으로 호출할 수 있다.

Dexmal의 스택에서 DFOL2.0은 모델 개선을 돕고, DexOS는 소프트웨어와 하드웨어를 연결하며, MaaS는 모델을 대규모로 더 쉽게 사용할 수 있게 한다.

II.

Ferrata: 다중 에이전트 하이브리드 운영 시스템

단일 로봇의 기능을 MaaS를 통해 호출할 수 있게 되면, 다음 과제는 다중 로봇 협업입니다.

Dexmal은 실제 현장 시나리오를 위해 설계된 다중 에이전트 하이브리드 운영 시스템인 Ferrata를 출시했습니다. 이 시스템은 여러 목표, 모델, 로봇 형태 및 안전 경계 전반에 걸친 시스템 수준의 스케줄링을 처리하도록 설계되었습니다.

Ferrata는 DM 모델군과 Realtime-VLA를 기반으로 구축되었습니다. 특정 로봇 하나에 국한되지 않고 시스템 수준에서 작업, 모델, 하드웨어 유형 및 안전 메커니즘을 조정합니다.

작업 계층 구조, 예외 처리, 사람의 개입 및 데이터 피드백을 통해 Ferrata는 로봇이 실제 환경에서 지속적으로 작동하도록 유지하는 것을 목표로 합니다.

DM0.5부터 DexDev 및 Ferrata에 이르기까지, Dexmal은 모델 역량에서 실제 생산성으로 이어지는 완전한 인프라 경로를 구축하기 위해 노력하고 있습니다.

첫 번째 계층은 범용 모델입니다. 두 번째 계층은 훈련, MaaS 및 운영 시스템을 위한 플랫폼 인프라입니다. 세 번째 계층은 체현 AI가 실험실 데모에서 생산 환경으로 이동할 수 있도록 돕는 시나리오 수준의 운영 시스템입니다.

FAQ

Dexmal DM0.5란 무엇인가요?

DM0.5는 Dexmal이 출시한 체현 기초 모델로, 原力灵机라고도 불립니다. 탐색, 파지, 전신 제어 및 명령 수행과 같은 개방형 세계 로봇 작업을 위한 4B 파라미터 범용 모델로 자리매김하고 있습니다.

DM0.5 훈련에는 얼마나 많은 데이터가 사용되었나요?

원본 보고서에 따르면 DM0.5는 150,000시간 분량의 데이터를 기반으로 구축되었습니다. 여기에는 50,000시간의 실제 로봇 작동 데이터, 100,000시간의 자기중심적 1인칭 데이터, 그리고 100만 제곱미터를 포괄하는 대규모 장면 재구성 데이터가 포함됩니다.

DM0과 DM0.5의 차이점은 무엇인가요?

DM0.5는 DM0과 비교하여 모델 파라미터 규모가 4B로 두 배 증가했고 데이터 양은 400% 증가했습니다. 또한 장기 기억, 체현 추론 작업 및 궤적 정렬을 추가하여 작업 이해와 일반화 능력을 향상시켰습니다.

DM0.5는 소비자용 GPU에서 실행할 수 있나요?

보고서에 따르면 DM0.5는 RTX 4090 한 대에서 새로운 다운스트림 작업에 대한 전문가 수준의 미세 조정을 최소 18시간 만에 완료할 수 있습니다. 또한 RTX 4090에서 90ms, H100에서 50ms의 추론 지연 시간을 보고하고 있습니다.

DexDev란 무엇인가요?

DexDev는 체현 AI 애플리케이션을 위한 Dexmal의 개발자 플랫폼입니다. 여기에는 강화 학습 및 데이터 루프를 위한 DFOL2.0, 하드웨어 간 제어를 위한 DexOS, 그리고 모델 기능에 더 쉽게 접근할 수 있는 MaaS가 포함됩니다.

Ferrata는 무엇에 사용되나요?

Ferrata는 실제 로봇 시나리오를 위한 다중 에이전트 하이브리드 운영 시스템입니다. 작업, 로봇 하드웨어, 모델, 안전 경계, 예외 처리, 사람의 개입 및 데이터 피드백을 조정합니다.

DM0.5는 오픈소스인가요?

이 기사는 DM0.5의 출시와 보고된 성능에 초점을 맞추고 있지만, DM0.5 자체가 오픈소스라고 명확히 밝히고 있지 않습니다. Dexmal은 오픈소스 Dexbotic VLA 툴박스를 유지 관리하며, DM0 관련 문서는 Dexbotic GitHub 저장소를 통해 확인할 수 있습니다.

체현 AI에서 장기 기억이 중요한 이유는 무엇인가요?

로봇은 장면이 시간에 따라 변화하는 다단계 작업을 완료해야 하는 경우가 많습니다. 더 긴 기억은 모델이 이전 동작, 현재 작업 상태 및 환경 변화를 추적하는 데 도움이 되어

로봇이 긴 작업 중에도 맥락을 잃을 가능성이 줄어듭니다.

관련 도구

• Dexmal: DM0, DM0.5, DexDev, Ferrata를 개발한 Dexmal의 공식 사이트입니다.
• Dexbotic: Dexmal이 체화 지능 연구를 위해 제공하는 오픈소스 VLA 개발 도구 모음입니다.
• RoboChallenge: 체화된 AI 환경에서 로봇 작업 성능을 평가하는 벤치마크 플랫폼입니다.
• Hugging Face: Dexbotic 문서에서 DM0 모델 체크포인트를 위해 참조하는 모델 호스팅 플랫폼입니다.
• arXiv: DM0 기술 논문을 열람할 수 있는 연구 논문 플랫폼입니다.

관련 링크

• Dexmal 공식 웹사이트: Dexmal의 공식 회사 및 제품 정보입니다.
• Dexbotic GitHub 저장소: 사전 학습, 미세 조정, 추론, 평가를 위한 오픈소스 VLA 도구 모음입니다.
• Dexbotic 내 DM0 튜토리얼: DM0 전용 설정 사용을 위한 공식 Dexbotic 문서입니다.
• DM0 arXiv 논문: "DM0: 물리적 AI를 향한 체화 네이티브 시각-언어-행동 모델" 연구 논문입니다.
• RoboChallenge DM0 실행 결과: Table30에서 DM0로 필터링된 공개 RoboChallenge 실행 결과입니다.
• Dexmal GitHub 조직: Dexmal의 GitHub 조직 페이지 및 오픈소스 프로젝트 목록입니다.

요약

DM0.5는 Dexmal의 최신 체화 기반 모델로, 대규모 데이터, 4B 파라미터 아키텍처, 더 긴 메모리, 체화 추론, 궤적 정렬을 중심으로 구축되었습니다. 주요 목표는 작업, 환경, 체화 방식 전반에 걸친 로봇의 일반화 능력을 향상시키는 것입니다.

또한 이 글은 모델만으로는 충분하지 않다는 점을 보여줍니다. Dexmal의 DexDev 플랫폼, DFOL2.0, DexOS, MaaS, Ferrata 시스템은 모델의 능력을 실제 배포 가능한 인프라로 전환하기 위해 설계되었습니다.

핵심 요점: DM0.5는 단순한 모델 업데이트가 아니라, 체화 AI 훈련, 배포, 실제 로봇 운영을 하나의 스택으로 연결하려는 Dexmal의 시도입니다.