MoWorld expliqué : le modèle de monde NPU en temps réel qui propulse les modèles de monde vers une utilisation industrielle

Introduction

Au cours de l'année écoulée, les modèles de monde sont devenus l'un des sujets les plus discutés dans l'industrie de l'IA. Un véritable modèle de monde n'est pas simplement un système qui génère en continu des images vidéo. Il doit comprendre l'espace, prédire l'état suivant du monde et répondre aux signaux de contrôle en temps réel.

Cette dimension temps réel est essentielle. Pour la robotique, la conduite autonome, les jeux et le divertissement interactif, tout ce qui se situe en dessous d'un taux d'images fluide devient rapidement limitant. En pratique, plus de 30 FPS constitue généralement le seuil minimal pour une expérience interactive fluide.

C'est également là que la plupart des modèles de monde existants peinent.

Moxin Technology, une entreprise spécialisée dans les modèles de monde 4D et le déploiement industriel, a désormais publié MoWorld en collaboration avec des partenaires tels que l'académicien de l'Université du Zhejiang Yunhe Pan et Huawei. L'équipe décrit MoWorld comme un modèle de monde interactif temps réel complet, construit sur une infrastructure NPU nationale.

Selon le rapport original et la page du projet MoWorld, MoWorld atteint plus de 50 FPS lors de l'inférence, tandis que le coût de déploiement ne représenterait qu'environ 30 % de celui d'une solution comparable basée sur GPU. Un rapport technique est déjà disponible, tandis que les poids, le code et l'accès public au service NPU sont annoncés comme étant à venir prochainement.

Page d'accueil du projet : MoWorld

Pourquoi les modèles de monde ont-ils eu du mal à devenir temps réel ?

Comparés aux modèles de génération vidéo ordinaires, la plus grande différence d'un modèle de monde réside dans l'interaction temps réel.

Pendant longtemps, les modèles de monde sont restés plus proches de démonstrations de recherche que de systèmes de production. La question principale n'était plus seulement de savoir si le modèle pouvait générer un contenu visuellement impressionnant. La question plus difficile est devenue de savoir s'il pouvait prendre en charge un contrôle en temps réel, un déploiement stable et une structure de coûts rendant l'utilisation industrielle réaliste.

MoWorld a été publié dans ce contexte. L'équipe de Moxin, aux côtés de Huawei en tant qu'investisseur stratégique et collaborateur, a passé près d'un an à résoudre les problèmes d'ingénierie clés autour du déploiement des modèles de monde.

MoWorld prend comme conditions une image initiale, un texte et une trajectoire de caméra. Il génère ensuite des états futurs du monde qui correspondent à la scène actuelle et aux entrées de contrôle. Avec des contrôles continus similaires aux mouvements W/A/S/D, les utilisateurs peuvent interagir avec le monde généré au fur et à mesure qu'il se déploie. Sur du matériel NPU national, le système atteint plus de 50 FPS et maintient un faible coût d'inférence grâce à une conception au niveau système.

Pour la première fois, un modèle de monde réduit les coûts

Pour les modèles de monde, la qualité de génération n'est que la première étape. Ce qui détermine si la technologie peut réellement être déployée, ce sont le coût d'entraînement, l'efficacité de l'inférence et l'interactivité en temps réel.

MoWorld optimise l'ensemble du pipeline : construction des données, entraînement du modèle, distillation et déploiement du système. L'objectif n'est pas seulement d'améliorer les capacités du modèle, mais aussi de rendre le modèle plus facile à exécuter dans des contextes d'ingénierie réels.

Le premier élément clé concerne les données. Contrairement aux modèles de génération vidéo standard, les modèles de monde ne peuvent pas se fier uniquement aux vidéos et au texte. Ils nécessitent également des trajectoires de caméra, de la profondeur spatiale et d'autres éléments 3D.

informations. Les vidéos brutes d'Internet ne suffisent pas.

Pour résoudre ce problème, MoWorld s'appuie sur des années de recherche en modélisation 3D et 4D. L'équipe a créé un système évolutif de production et de gouvernance des données. Grâce à des filtres de qualité tels que la cohérence géométrique, la précision de la trajectoire et la stabilité multi-vue, le système améliore le corpus d'entraînement et offre au modèle une base plus fiable pour apprendre les règles spatiales. Cela permet également de réduire la charge globale d'entraînement.

Pour rendre le modèle du monde déployable en temps réel, MoWorld optimise ensuite trois étapes : l'entraînement, la distillation et l'inférence.

Pendant l'entraînement, le système est conçu autour des caractéristiques du matériel NPU domestique. Il introduit un parallélisme d'attention ultra-dense et un parallélisme de jetons de séquence longue pour réduire la pression mémoire lors de l'entraînement sur des vidéos très longues. Selon le rapport original, cela permet un entraînement et une inférence à long horizon allant jusqu'à 2 000 images.

Pendant l'inférence, MoWorld utilise l'exécution en pipeline, le parallélisme hiérarchique de séquence et la quantification dynamique à précision mixte. Ces optimisations système permettent à un modèle du monde MoE de 14B paramètres d'atteindre jusqu'à 50 FPS sur une plateforme NPU domestique. Le coût d'inférence rapporté n'est qu'environ 30 % de celui d'une solution GPU comparable.

De la construction d'un moteur de données de haute qualité à l'entraînement sur séquences longues et au déploiement en temps réel à faible coût, MoWorld fait passer les modèles du monde d'une capacité « à générer » vers une capacité « à interagir et à être déployé ». Pour une utilisation industrielle à grande échelle, ce changement est le véritable point crucial.

MoWorld devrait ouvrir ses services au public via des super-nœuds NPU domestiques.

MoWorld mène les applications industrielles pour les modèles du monde domestiques

Avec une capacité de modèle du monde interactif en temps réel, MoWorld passe de la validation technique à une infrastructure d'intelligence spatiale plus large pour de multiples industries.

Dans ces scénarios, le modèle n'est pas seulement un générateur de vidéos. Il fonctionne davantage comme un moteur de simulation spatiale contrôlable, offrant aux industries un moyen de générer des scènes interactives, explorables et économiquement déployables.

Jeux et

Divertissement interactif : Contrôle en temps réel et exploration libre

MoWorld prend en charge un contrôle complet de la caméra à six degrés de liberté. Les utilisateurs peuvent se déplacer dans les scènes générées à l'aide des touches W/A/S/D et de commandes de type souris, créant ainsi une expérience proche de celle d'un roaming cinématographique ou de jeu vidéo.

Les scènes générées sont réalistes et haute définition. L'article original mentionne la prise en charge des résolutions 1080p et supérieures.

Il couvre également une large gamme de styles, incluant paysages naturels, scènes de style anime, environnements de jeu et contenus animés.

Intelligence incarnée et conduite autonome : Entraînement virtuel et vérification réelle

Les modèles du monde deviennent un pont entre l'IA générative et l'intelligence incarnée.

MoWorld peut fournir aux robots et aux systèmes de conduite autonome un terrain d'entraînement numérique à bas coût et haute fidélité. Dans ce rôle, il devient plus qu'un générateur visuel. Il offre un simulateur où les systèmes d'IA peuvent apprendre à interagir avec des environnements physiques avant d'entrer dans le monde réel.

Pour les équipes de conduite autonome, ce type de simulation du monde pourrait fournir de grandes quantités de données environnementales de haute précision à un coût inférieur à celui de nombreuses pipelines de simulation traditionnelles.

Production cinématographique : Mouvements de caméra dignes d'un réalisateur et prévisualisation en temps réel

La prévisualisation traditionnelle et le rendu de storyboard peuvent prendre beaucoup de temps.

MoWorld permet aux créateurs d'ajuster le point de vue, de prévisualiser les plans en temps réel et d'éditer les mouvements de caméra dans un monde virtuel généré. Le contrôle fluide de la caméra est particulièrement important ici, car les workflows cinématographiques exigent souvent que les réalisateurs testent les angles, le mouvement et le rythme visuel avant la production.

Jumeaux numériques et reconstruction 3D : Reconstruction spatiale avec une cohérence accrue

Les vidéos générées par MoWorld auraient une forte cohérence géométrique, ce qui les rend utiles pour la reconstruction 3D en intérieur.

Selon le rapport original, le modèle se distingue par sa haute précision de reconstruction, sa structure stable et son agencement spatial cohérent. Ces qualités sont importantes pour les jumeaux numériques, la visualisation architecturale, les salles d'exposition virtuelles, les jeux immersifs et d'autres applications spatiales 3D.

Des centaines de millions de dollars pour Moxin : Qui définira la prochaine génération d'intelligence spatiale ?

Le paysage concurrentiel des grands modèles de langage et des modèles de génération vidéo est déjà relativement clair. Les modèles du monde sont différents. Le domaine est encore jeune, et il n'existe pas encore de leader mondial largement reconnu.

Les voies d'ingénierie sont encore en cours de test. Les normes industrielles ne sont pas non plus entièrement établies.

Pour les équipes chinoises d'IA, cela crée une fenêtre rare. L'écart de départ n'est pas aussi grand que dans certains marchés d'infrastructure IA plus anciens. Les équipes ont encore une chance non seulement de rivaliser, mais aussi de contribuer à définir les normes techniques de la prochaine génération.

intelligence spatiale.

La réponse de MoWorld à cette opportunité est claire : elle revendique une pile complète d'entraînement et d'inférence fonctionnant sur une infrastructure NPU nationale, une inférence interactive en temps réel au-dessus de 50 FPS, et un coût d'inférence réduit à environ 30 % de celui d'une solution GPU comparable.

Les capitaux ont bougé avant que l'industrie n'atteigne un consensus complet. Moxin Technology a récemment finalisé un tour de financement de plusieurs centaines de millions de dollars, avec la participation de grands fonds en dollars, de fonds de réserve stratégique nationaux et de plusieurs investisseurs industriels.

Plus tôt, Moxin avait également reçu des investissements de Hubble Investment de Huawei et de la plateforme de capital soutenue par LeFund de Lenovo.

La fenêtre ne restera pas ouverte éternellement. La prochaine question est de savoir qui établira les normes pour les modèles du monde et l'intelligence spatiale.

FAQ

Qu'est-ce que MoWorld ?

MoWorld est un modèle du monde interactif en temps réel développé par Moxin Technology et ses collaborateurs. Il est conçu pour générer des états futurs du monde à partir d'une image initiale, d'un texte et d'une trajectoire de caméra, tout en permettant un contrôle continu de l'utilisateur.

Pourquoi 50 FPS est-il important pour un modèle du monde ?

Un modèle du monde utilisé pour l'interaction doit répondre suffisamment rapidement pour que les utilisateurs ou les agents IA puissent le contrôler de manière fluide. Plus de 30 FPS est généralement considéré comme un seuil de base pour une interaction fluide, et MoWorld rapporte une inférence au-dessus de 50 FPS sur une infrastructure NPU nationale.

MoWorld est-il uniquement un modèle de génération vidéo ?

Non. L'article original positionne MoWorld comme un moteur de simulation spatiale contrôlable, pas seulement un générateur vidéo. Sa valeur clé réside dans l'interaction en temps réel, le contrôle de la caméra, la cohérence spatiale et son utilisation potentielle dans la robotique, les jeux, la prévisualisation de films et les jumeaux numériques.

Quel matériel cible MoWorld ?

MoWorld est conçu autour du déploiement sur NPU nationale. La page du projet le décrit comme une pile NPU rentable et indique qu'il est construit pour une génération vidéo de monde à haut débit d'images, faible coût et contrôlable en continu.

MoWorld est-il open source ?

La page du projet MoWorld indique que le code est « bientôt disponible ». L'article original dit également que les poids et le code devraient être ouverts bientôt, mais ils n'étaient pas disponibles publiquement au moment de la préparation de cet article.

Quel est l'avantage de coût rapporté de MoWorld ?

L'article original indique que le coût de déploiement de MoWorld n'est que d'environ 30 % de celui d'une solution GPU comparable. L'article arXiv décrit MoWorld comme réduisant le coût d'inférence moyen à environ 30 à 50 % des modèles du monde existants dans des environnements pratiques.

Quelles industries pourraient utiliser MoWorld ?

Les cas d'utilisation potentiels incluent les jeux, le divertissement interactif, la robotique, la conduite autonome, la prévisualisation de films, les jumeaux numériques, la visualisation architecturale, les showrooms virtuels et la reconstruction 3D.

Outils associés

• MoWorld : La page officielle du projet pour le modèle du monde interactif en temps réel.
• arXiv : Une plateforme de prépublication où l'article technique de MoWorld est disponible.
• GitHub Pages : Le système d'hébergement utilisé pour le site public du projet MoWorld.

Liens associés

• Page officielle du projet MoWorld : Aperçu officiel du modèle,

architecture, résultats et scénarios d'application.

• MoWorld : Un modèle de monde flash sur arXiv : La page officielle du résumé arXiv du rapport technique MoWorld.
• Version HTML arXiv de MoWorld : Une version lisible en ligne du rapport technique.
• PDF du rapport technique MoWorld : Le PDF du rapport technique lié au projet.
• Figure officielle du moteur de données MoWorld : L'image officielle de l'architecture utilisée lorsque l'image originale de BAAI ne pouvait pas être chargée.
• Figure officielle d'inférence en temps réel MoWorld : L'image officielle expliquant l'architecture d'optimisation de l'inférence de MoWorld.

Résumé

MoWorld montre comment les modèles de monde peuvent passer de démonstrations impressionnantes à une infrastructure déployable. Son principal argument n'est pas seulement une meilleure qualité de génération, mais aussi une interaction en temps réel à plus de 50 FPS sur du matériel NPU domestique.

L'article explique le moteur de données de MoWorld, les optimisations de l'entraînement et de l'inférence, l'orientation vers un déploiement à faible coût, ainsi que des cas d'utilisation pratiques dans les jeux, la robotique, la production cinématographique, les jumeaux numériques et la reconstruction 3D.

Le code du modèle et l'accès au service public sont encore annoncés comme "à venir", donc l'adoption en production doit attendre davantage de tests publics, de documentation et de détails sur le déploiement.

L'essentiel à retenir : MoWorld est important parce qu'il traite le modèle de monde comme un moteur spatial interactif et déployable, et non comme un simple générateur de vidéos.