Dexmal DM0.5: Объяснение фундаментальной модели для реальных роботов с 150 000 часов данных

Введение

В области воплощённого ИИ нет недостатка в сильных демонстрациях, новом робототехническом оборудовании или исследовательских талантах. Однако более сложная проблема остаётся прежней: как создать цикл данных, способный постоянно улучшать роботов в реальных задачах?

Компания Dexmal, известная в Китае как 原力灵机, представила на своём мероприятии для разработчиков новую фундаментальную модель воплощённого интеллекта под названием DM0.5. Модель позиционируется как универсальная фундаментальная модель для воплощённого интеллекта в открытом мире. Она предназначена для объединения трёх аспектов, которые часто остаются разрозненными в робототехнике: крупномасштабные данные роботов, обобщение модели и инфраструктура развёртывания.

Согласно оригинальному отчёту QbitAI, DM0.5 построена на 150 000 часов данных, использует модель с 4 миллиардами параметров и предназначена для поддержки навигации, захвата, управления всем телом, долгосрочной памяти и кроссплатформенного развёртывания.

150 000 часов данных: основа DM0.5

Компания Dexmal описывает DM0.5 тремя ключевыми словами: больше, сильнее и практичнее.

Модель позиционируется как общая фундаментальная модель воплощённого интеллекта для задач в открытом мире. По сравнению с предыдущей моделью DM0, DM0.5 удваивает масштаб параметров до 4 миллиардов и увеличивает объём обучающих данных на 400%.

Основа из 150 000 часов данных в основном построена из трёх типов высококачественных данных.

1. Данные реальной работы роботов

DM0.5 использует 50 000 часов высокоточных данных работы роботов. Эти данные охватывают более 100 типов действий и поддерживают точное согласование инструкций и действий на уровне секунд.

Эта часть набора данных помогает модели изучать, как физические действия фактически выполняются в реальном мире, а не только то, как они описаны в языке.

2. Эгоцентрические данные от первого лица

Модель также использует 100 000 часов эгоцентрических данных. Это даёт модели более человеческий взгляд на окружающую среду и поддерживает создание высокоточных 3D-ориентиров на миллиметровом уровне.

Данные от первого лица важны, потому что роботам необходимо понимать сцены с точки зрения действующего лица, перемещающегося по миру, а не только с позиции статической камеры.

3. Данные реконструкции сцен

Dexmal также использует данные реконструкции сцен на основе 1 миллиона квадратных метров пространственных данных. Цель — моделировать сложные внутренние среды и сократить разрыв между симуляцией и реальным развёртыванием.

Это важно для воплощённого интеллекта, поскольку робот, хорошо работающий в симуляторе, может давать сбои при изменении освещения, расположения объектов, трения поверхностей или поведения человека в реальной сцене.

Три архитектурных улучшения в DM0.5

Помимо масштаба данных, DM0.5 представляет три основных архитектурных улучшения. Эти улучшения призваны помочь роботам перейти от «запоминания действий» к «пониманию задач».

1. Уровень абстракции контекста

Многие реальные задачи робототехники не являются короткими одношаговыми командами. Они могут длиться несколько минут и требовать от робота запоминания того, что произошло ранее.

DM0.5 добавляет эффективное сжатие контекста и поддерживает до 60 секунд встроенной памяти, со средней ёмкостью памяти около 30 секунд. Это позволяет модели

Чтобы сохранить полезный исторический контекст и лучше понять, как изменилась окружающая среда в ходе более длительной задачи.

Для долгосрочных задач такая память может уменьшить фрагментированное поведение и помочь роботу поддерживать более согласованную последовательность действий.

2. Воплощённые задачи цепочки рассуждений

DM0.5 по-прежнему следует направлению VLA, но Dexmal добавляет больше задач, ориентированных на рассуждение, включая планирование задач, локализацию целей и прогнозирование будущих состояний.

Проще говоря, модель поощряется к планированию перед действием. Когда команда сложна, она может разбить цель на более мелкие шаги, организовать порядок действий и сократить поведение методом проб и ошибок.

3. Уровень согласования траекторий

Команды на естественном языке и движения суставов робота находятся в совершенно разных пространствах. Человек может сказать одну фразу, но роботу всё равно нужно перевести эту инструкцию в движения руки, захвата или корпуса с точностью до миллиметра.

Уровень согласования траекторий помогает модели изучать движение как согласованный процесс, а не как набор изолированных точек. Это позволяет модели лучше понимать схему движения между намерением и выполнением.

В совокупности эти улучшения подтверждают заявление Dexmal о том, что DM0.5 не просто запоминает действия, а изучает более осведомлённое о задачах представление физического мира.

Результаты бенчмарков и повышение эффективности

При такой настройке данных и архитектуры DM0.5 демонстрирует несколько заявленных улучшений производительности в оценках на реальных роботах и в симуляции.

Согласно отчёту, DM0.5 превосходит современные модели SOTA по четырём публичным бенчмаркам на реальных роботах и в симуляции. Одна модель может поддерживать несколько типов задач, включая навигацию, захват и управление всем телом.

По сравнению с DM0, DM0.5, как сообщается, улучшает:

• Уровень успешности навигации без обучения (zero-shot) на 31%
• Уровень успешности с несколькими примерами (few-shot) на 45%
• Уровень успешности донастроенных задач на 20%
• Эффективность логического вывода на 25%

Заявленная задержка также низка для развёртывания в робототехнике:

• 50 мс задержки логического вывода на NVIDIA H100
• 90 мс задержки логического вывода на RTX 4090

Эти цифры важны, потому что воплощённый ИИ не может быть только точным. Он также должен реагировать достаточно быстро для управления в реальном времени.

Обобщение и снижение затрат: что значит «полезность» для DM0.5

На мероприятии для разработчиков сооснователь и генеральный директор Dexmal Тан Вэньбинь заявил, что многие воплощённые модели ИИ выпускаются, но реальный вопрос в том, действительно ли они полезны.

Dexmal использует два практических стандарта для определения полезной воплощённой фундаментальной модели:

1. Насколько сильна обобщающая способность модели без обучения (zero-shot)?
   Это определяет верхнюю границу возможностей модели.
2. Насколько эффективно пост-обучение?
   Это определяет, как быстро модель можно внедрить в реальные промышленные или сервисные сценарии.

Для пост-обучения DM0.5, как сообщается, снижает стоимость донастройки на 60%. Новую downstream-задачу можно донастроить и развернуть до уровня экспертной производительности всего с одной потребительской видеокартой RTX 4090 всего за 18 часов.

Более значительное изменение заключается в обобщении. Dexmal подчёркивает, что DM0.5 разработана для понимания взаимосвязей между объектами, сценами, задачами, воплощениями роботов и инструкциями на естественном языке. Компания заявляет, что

Уже замечены признаки возникновения генерализации в DM0.5.

1. Возможность zero-shot

Zero-shot измеряет, что робот может сделать, не видя точной задачи во время обучения.

Dexmal протестировала DM0.5 на одноруких роботах Franka и Dexmal-Mint в восьми базовых действиях:

• Взять
• Положить
• Накрыть
• Повернуть
• Толкнуть
• Потянуть
• Вытереть
• Сложить

Тесты также включали более сложные случаи следования инструкциям, связанные с цветом, формой, размером, состоянием, абсолютным положением, относительным положением и длинными последовательностями инструкций.

В опубликованной оценке DM0.5 сравнялась с PI 0.5 по одному движению руки Franka, превзойдя DM0 и PI 0.5 по остальным тестируемым пунктам.

2. Возможность тонкой настройки

Тонкая настройка показывает, насколько хорошо модель адаптируется после попадания в реальную среду задачи.

На реальном роботизированном эталоне RoboChallenge Table30 V2 DM0.5 была протестирована на 30 сложных задачах и четырёх гетерогенных роботизированных реализациях. Сообщается, что она набрала 54,42 с 43% успешности, заняв первое место в этой оценке.

Модель также обновила результаты на нескольких известных эталонах захвата и навигации. В LIBERO DM0.5 якобы достигла 99,1% общей производительности, включая 94,1% в чистых сценариях и 94,4% в случайных сценариях.

Важная практическая деталь — стоимость: Dexmal утверждает, что новую downstream-задачу можно донастроить за 18 часов на одном RTX 4090, а инференс выполняется за 90 мс на GPU того же класса.

3. Нативная долгосрочная память

DM0.5 поддерживает до 60 секунд нативной долгосрочной памяти. Dexmal отмечает, что многие современные встраиваемые модели обычно имеют память менее 10 секунд.

Более длинная память позволяет роботам выполнять многошаговые задачи, где среда меняется со временем. Например, в захламлённом хранилище или задаче по организации дома роботу нужно помнить, что он уже переместил, что осталось и как изменилась сцена.

DM0.5 также поддерживает видеоподсказки. Благодаря долгосрочной памяти модель может понимать короткое демонстрационное видео человека и согласовывать своё поведение с показанной задачей, снижая зависимость от инструкций только на языке.

4. Устойчивость к помехам

DM0.5 использует двухсистемный дизайн:

• Sys2 отвечает за высокоуровневое понимание, рассуждение и планирование.
• Sys1 отвечает за высокочастотный ответ на действия.

Модель усилена против двух распространённых длиннохвостых помех во встраиваемых сценариях:

• Помехи от камеры: робот должен оставаться стабильным, даже если точка обзора камеры внезапно меняется.
• Вмешательство человека: робот должен понимать, что состояние задачи изменилось, и корректировать свои следующие действия после того, как человек прервал процесс.

Это важно, потому что реальное развертывание редко выглядит как чистая лабораторная демонстрация. Люди двигаются, камеры смещаются, и объекты не всегда находятся там, где робот их ожидает.

5. Поддержка множества реализаций

DM0.5 обучена с интеграцией нескольких роботов и задач, поэтому она предназначена для кроссплатформенного переноса.

Dexmal утверждает, что модель может адаптироваться к нескольким основным и гетерогенным типам роботов, включая двуногих гуманоидов, колёсных роботов, двухрукие и однорукие манипуляторы и ловкие руки.

руки.

В статье перечислены примеры: Aloha, ARX, UR, W1, Unitree G1, Tiangong, Huaqin и Realman. Dexmal также утверждает, что модель можно быстро развернуть на новых, неизвестных воплощениях роботов с лёгкой адаптацией.

Общая идея заключается в том, что обобщение должно вывести роботов за рамки фиксированных сред и сценариев действий. Более обобщённая модель может обрабатывать новые объекты, новые сцены, новые инструкции и новые корпуса роботов с меньшим количеством доработок.

Одной базовой модели недостаточно

Сильная базовая модель воплощённого интеллекта — лишь первый шаг. Чтобы воплощённый ИИ работал в промышленности, модели всё ещё необходимы инструменты, системы развёртывания, обратная связь по данным и инфраструктура для реальных операций.

Dexmal использует концепцию «трёхступенчатой ракеты» для описания этого стека:

1. Первая ступень: DM0.5 в качестве общей базовой модели.
2. Вторая ступень: Платформа разработчика DexDev, включающая DFOL2.0, MaaS и DexOS.
3. Третья ступень: Ferrata — мультиагентная гибридная операционная система для реальных сценариев.

Эти уровни призваны сделать модель дешевле в вызове, проще в развёртывании на различном оборудовании и стабильнее в реальных рабочих средах.

I. Платформа разработчика DexDev

DexDev — это платформа разработчика от Dexmal, предназначенная для снижения сложности применения моделей воплощённого ИИ.

В текущей области воплощённого ИИ модели, оборудование, задачи, наборы данных и среды развёртывания часто фрагментированы. Разработчикам может потребоваться одновременно понимать алгоритмы, управление роботами, адаптацию оборудования и итерации сценариев.

DexDev построен на трёх модулях.

1. DFOL2.0: Фреймворк, управляемый мировой моделью

DFOL2.0 — это фреймворк воплощённого обучения с подкреплением и цикла сбора данных, управляемый общей мировой моделью Dexmal, DW0.5.

Его роль — помогать модели постоянно совершенствоваться. Вместо того чтобы полагаться только на дорогостоящие методы проб и ошибок с реальными роботами, DFOL2.0 использует высокоточные виртуальные физические среды для более дешёвого и менее рискованного замкнутого обучения политикам.

Он также передаёт данные о реальных задачах и сбоях в облако, помогая базовой модели продолжать развиваться.

По данным Dexmal, DFOL2.0 может снизить потребность в данных для обучения на реальных роботах на 60%, а стоимость обучения — на 40%.

2. DexOS: Общая операционная система для воплощённого ИИ

DexOS определяет стандартизированный интерфейс ECP (Embodied Control Protocol).

Цель — скрыть различия между разнородным оборудованием роботов. Вместо решения сложной проблемы адаптации «N × M» между множеством моделей и множеством корпусов роботов, DexOS пытается упростить развёртывание до унифицированной задачи подключения «N + 1».

Это призвано помочь моделям серии DM работать на различном оборудовании с более низкой стоимостью, меньшей задержкой и более стабильным управлением.

3. Сервис MaaS для воплощённого ИИ

Dexmal также представил сервис MaaS для семейства моделей DM.

Идея заключается в упаковке возможностей базовой модели как услуги. Разработчикам не нужно обучать модели с нуля или самостоятельно решать все детали адаптации оборудования. Они могут более напрямую вызывать возможности модели для развёртывания и обновления роботов.

В стеке Dexmal DFOL2.0 помогает модели улучшаться, DexOS соединяет программное и аппаратное обеспечение, а MaaS делает модель проще в масштабном использовании.

II.

Ferrata: Мультиагентная гибридная операционная система

Когда возможность вызова функций отдельного робота через MaaS становится реальностью, следующей задачей становится мультироботная коллаборация.

Dexmal представила Ferrata — мультиагентную гибридную операционную систему, предназначенную для реальных сценариев. Она призвана выполнять системное планирование в рамках множества целей, моделей, форм роботов и границ безопасности.

Ferrata построена на основе семейства моделей DM и Realtime-VLA. Она не привязана к конкретному роботу. Вместо этого она координирует задачи, модели, типы оборудования и механизмы безопасности на системном уровне.

Благодаря иерархии задач, обработке исключений, вмешательству человека и обратной связи по данным, Ferrata нацелена на обеспечение непрерывной работы роботов в реальных условиях.

От DM0.5 до DexDev и Ferrata, Dexmal стремится построить полноценную инфраструктурную цепочку — от возможностей модели к реальной производительности.

Первый уровень — это универсальная модель. Второй уровень — платформенная инфраструктура для обучения, MaaS и операционных систем. Третий уровень — это операционная система для сценариев, помогающая воплощенному ИИ перейти от лабораторных демонстраций к производственным условиям.

Часто задаваемые вопросы (FAQ)

Что такое Dexmal DM0.5?

DM0.5 — это фундаментальная модель воплощенного ИИ, представленная Dexmal, также известная как 原力灵机. Она позиционируется как универсальная модель с 4 миллиардами параметров для выполнения задач роботов в открытом мире, таких как навигация, захват объектов, управление всем телом и следование инструкциям.

Какой объем данных использовался для обучения DM0.5?

Согласно оригинальному отчету, DM0.5 построена на 150 000 часах данных. Это включает 50 000 часов реальных данных эксплуатации роботов, 100 000 часов эгоцентрических данных от первого лица, а также данные реконструкции сцен большого масштаба, охватывающие 1 миллион квадратных метров.

Чем DM0.5 отличается от DM0?

По сравнению с DM0, DM0.5 удваивает масштаб параметров модели до 4 миллиардов и увеличивает объем данных на 400%. Она также добавляет долгосрочную память, задачи воплощенного мышления и выравнивание траекторий для улучшения понимания задач и обобщения.

Может ли DM0.5 работать на потребительских GPU?

Отчет утверждает, что DM0.5 может выполнить специализированную настройку уровня эксперта для новой целевой задачи на одной RTX 4090 всего за 18 часов. Также сообщается о задержке вывода в 90 мс на RTX 4090 и 50 мс на H100.

Что такое DexDev?

DexDev — это платформа разработчика Dexmal для приложений воплощенного ИИ. Она включает DFOL2.0 для обучения с подкреплением и циклов данных, DexOS для кросс-аппаратного управления, а также MaaS для упрощенного доступа к возможностям модели.

Для чего используется Ferrata?

Ferrata — это мультиагентная гибридная операционная система для реальных сценариев с роботами. Она координирует задачи, аппаратное обеспечение роботов, модели, границы безопасности, обработку исключений, вмешательство человека и обратную связь по данным.

Является ли DM0.5 открытым исходным кодом?

Статья фокусируется на выпуске и заявленных возможностях DM0.5, но четко не указывает, что сама DM0.5 имеет открытый исходный код. Dexmal поддерживает открытый набор инструментов Dexbotic VLA, и документация, связанная с DM0, доступна в репозитории Dexbotic на GitHub.

Почему долгосрочная память важна для воплощенного ИИ?

Роботам часто необходимо выполнять многоэтапные задачи, в которых сцена со временем меняется. Более длинная память помогает модели отслеживать предыдущие действия, текущее состояние задачи и изменения в окружающей среде, что делает робота более эффективным в сложных, продолжительных сценариях.

снижает вероятность потери контекста роботом во время длительных задач.

Связанные инструменты

• Dexmal: Официальный сайт Dexmal, компании, стоящей за DM0, DM0.5, DexDev и Ferrata.
• Dexbotic: Открытый инструментарий VLA от Dexmal для исследований в области воплощённого интеллекта.
• RoboChallenge: Эталонная платформа для оценки производительности роботов в условиях воплощённого ИИ.
• Hugging Face: Платформа для размещения моделей, на которую ссылается документация Dexbotic для контрольных точек модели DM0.
• arXiv: Платформа для исследовательских статей, где доступна техническая статья DM0.

Связанные ссылки

• Официальный сайт Dexmal: Официальная информация о компании и продуктах Dexmal.
• Репозиторий Dexbotic на GitHub: Открытый инструментарий VLA для предварительного обучения, точной настройки, вывода и оценки.
• Учебник DM0 в Dexbotic: Официальная документация Dexbotic по использованию конфигураций, специфичных для DM0.
• Статья DM0 на arXiv: Исследовательская статья «DM0: Воплощённая модель зрения-языка-действия для физического ИИ».
• Запуски DM0 на RoboChallenge: Публичные запуски RoboChallenge, отфильтрованные по DM0 на Table30.
• Организация Dexmal на GitHub: Страница организации Dexmal на GitHub и список проектов с открытым исходным кодом.

Резюме

DM0.5 — это новейшая воплощённая фундаментальная модель Dexmal, построенная на более масштабных данных, архитектуре с 4 миллиардами параметров, более длинной памяти, воплощённом рассуждении и выравнивании траекторий. Её основная цель — улучшить обобщение роботов в различных задачах, средах и воплощениях.

Статья также показывает, почему одной модели недостаточно. Платформа DexDev, DFOL2.0, DexOS, MaaS и система Ferrata от Dexmal предназначены для превращения возможностей модели в развёртываемую инфраструктуру.

Ключевой вывод: DM0.5 — это не просто обновление модели; это попытка Dexmal объединить обучение воплощённому ИИ, развёртывание и реальные операции роботов в единый стек.