← 返回首页

BAAI RoboBrain Orca : Un Modèle de Représentation Mondiale Multimodal

RoboBrain Orca explore un changement de paradigme, passant de la prédiction de sorties isolées à la modélisation des transitions d'états du monde. Au lieu de traiter le langage, les images et les actions comme des cibles distinctes, il tente d'apprendre une représentation latente partagée du monde capable de prendre en charge plusieurs interfaces de lecture. L'article explique la configuration d'apprentissage d'Orca, incluant la vidéo continue, les annotations d'événements et les données VQA. Il présente également les trois principales sorties de lecture : le raisonnement textuel, la prédiction d'images d'états futurs et la génération d'actions robotiques. L'idée la plus importante n'est pas qu'Orca ait achevé la modélisation du monde. C'est qu'Orca offre une voie testable pour construire et évaluer un modèle latent du monde à travers le langage, la vision et l'action. **En bref : Orca est une tentative précoce pour faire comprendre à l'IA le changement d'état avant qu'elle ne génère des mots, des images ou des actions.**

发布于 2026年7月10日•general•GEO 评分: 0•8 次阅读
BAAI RoboBrain Orcamodèle du monde Orcamodèle du monde multimodalprédiction de l'état suivantreprésentation latente du mondeIA incarnéemodèle fondamental pour robotsmodèle du monde VQAbenchmark de prédiction d'imageslecture d'actionsentraînement FlagScale

选择语言

العربيةDeutschEnglishEspañolFrançaisItaliano日本語한국어PortuguêsРусский中文
L'image présente un visuel du BAAI RoboBrain Orca. Le fond est bleu foncé, avec l'inscription « BAAI » à gauche et une baleine noire à droite. Au centre se trouve le titre « BAAI RoboBrain Orca », et en dessous le texte « Multimodal World Model for Next-State Prediction ». À gauche figurent des icônes d'entrée telles que la vidéo, la parole, l'image et le langage, tandis qu'à droite se trouvent le MODÈLE DU MONDE (WORLD MODEL) et le contenu prédictif associé. En bas, on lit la phrase « UNDERSTAND THE WORLD. PREDICT THE FUTURE. » Cette image fait écho à la présentation du BAAI RoboBrain Orca dans le document et en illustre le concept de manière visuelle.

BAAI RoboBrain Orca : Un modèle de représentation multimodale du monde

Introduction

Les systèmes d’IA modernes accomplissent déjà des prouesses impressionnantes. Un modèle linguistique peut répondre à des questions et écrire du code. Un modèle d’image ou de vidéo peut générer un contenu visuel réaliste. Un modèle robotique peut apprendre à saisir, placer ou déplacer des objets.

Mais ces capacités découlent souvent d’objectifs de prédiction distincts. Un modèle linguistique prédit le prochain jeton. Un modèle vidéo prédit la prochaine image. Une politique robotique prédit la prochaine action. Chaque objectif est utile, mais il laisse en suspens une question plus profonde : le modèle comprend-il comment le monde lui-même évolue ?

Le projet RoboBrain Orca de BAAI, présenté dans le rapport technique « Orca : The World is in Your Mind », aborde cette question sous l’angle de la représentation du monde. Orca n’est pas présenté comme un simple chatbot plus performant, un générateur d’images plus esthétique ou une politique d’apprentissage par imitation directe pour robots. Son idée centrale est plus fondamentale : apprendre d’abord une représentation latente partagée des états du monde, puis l’exploiter pour la compréhension linguistique, la prédiction d’images et la génération d’actions.

Contexte du projet

L’article original part d’une observation simple mais importante : l’IA peut générer des résultats, mais la génération de résultats n’équivaut pas à la compréhension du monde.

Par exemple :

  • Si une tasse est renversée, le modèle peut-il déduire que de l’eau pourrait se répandre ?
  • Si un robot échoue à sa première tentative de saisie, le modèle sait-il que l’objet est toujours présent dans la scène ?
  • Si une vidéo de cuisine passe du lavage des légumes à leur découpe, le modèle comprend-il cela comme une progression d’événements plutôt qu’un simple changement visuel ?
  • Après une action, le modèle peut-il suivre l’évolution des objets, des relations et de l’avancement de la tâche ?

Ces questions pointent vers un objectif plus large. Un modèle du monde utile ne devrait pas seulement prédire une sortie externe. Il devrait construire une représentation interne de l’état du monde et de sa transition.

La page du projet Orca et le rapport technique décrivent cela comme un passage de la prédiction du prochain X à la prédiction du prochain état. Au lieu de prédire séparément le prochain jeton, la prochaine image ou la prochaine action, Orca tente d’apprendre comment un état du monde évolue sous l’effet de la dynamique naturelle, des conditions événementielles et des intentions de tâche.

Page d’accueil du projet : https://orca-wm.github.io
Rapport technique : https://arxiv.org/abs/2606.30534

Réaction de la communauté de recherche

Après sa publication, Orca a attiré l’attention des communautés de recherche intéressées par les modèles du monde, la représentation multimodale et l’intelligence incarnée. Les discussions se sont moins concentrées sur la capacité d’Orca à générer des résultats visuellement attrayants que sur sa tentative de relier le texte, les images, les vidéos et les actions comme différentes projections d’un même monde sous-jacent.

![Image montrant une capture d’écran de discussions sur Twitter après la publication d’Orca. L’utilisateur de gauche @adelbucetta considère Orca comme une véritable approche multimodale, qui ne se contente pas d’assembler texte et images, mais les traite comme des projections différentes d’une même réalité sous-jacente. L’utilisateur de droite @homuraakemifan déclare devoir regarder la vidéo, la trouvant trop cool. En bas, des commentaires de @Shinka - AI, Liam Walker, Ethan Miller et d’autres, qui approuvent Orca, trouvant son idée stimulante, sa direction plus excitante que JEPA de Yann LeCun, et y voyant une première ébauche de modèle universel du monde. Ces commentaires reflètent l’accueil d’Orca au sein de la communauté de recherche.](https://we0-cms.oss-cn-beijing.aliyuncs.com/cms-assets/image/2026/07/7823be78-653c-42e2-997b-322504a8fd7e-02-9468861f-ccac-41eb-8ee6-5df695a06885.

png)

L'article est également apparu sur Hugging Face Papers, où il a suscité un intérêt notable de la communauté. Cela est important car les modèles du monde sont de plus en plus évalués non seulement sur la qualité de leurs sorties, mais aussi sur la capacité de leurs représentations apprises à être transférées d'une tâche à l'autre.

L'image montre l'interface de la plateforme Daily Papers, où un cadre rouge met en évidence l'article "Orca: The World is in Your Mind". Soumis par yf-wang, approuvé par 57 auteurs, il compte 290 likes et 6 commentaires. Son image de couverture est une vue nocturne de la Terre. Cette image est liée à la section du document présentant l'intérêt de la communauté de recherche pour le projet Orca, indiquant que l'article Orca a reçu une attention significative de la communauté sur Hugging Face Papers, et que la transférabilité des représentations apprises entre les tâches devient un critère important pour évaluer les modèles du monde.

De la prédiction du prochain X à la prédiction du prochain état

Au cours des dernières années, de nombreuses avancées en IA peuvent être décrites comme des formes de « prédire le prochain X ».

Les modèles de langage prédisent le jeton suivant, ce qui leur confère des capacités d'écriture, de raisonnement, de dialogue et de codage. Les modèles vidéo prédisent ou synthétisent les images futures, ce qui les aide à créer un mouvement plus cohérent. Les modèles incarnés prédisent souvent la prochaine action, permettant aux robots d'effectuer des tâches de manipulation.

Orca soutient que cela ne suffit pas pour les agents qui doivent opérer dans le monde réel. Le langage, les images et les actions ne sont que différentes interfaces avec le monde. La cible plus profonde est l'état du monde lui-même.

Dans le cadre d'Orca, la prédiction du prochain état signifie apprendre une représentation d'état interne qui peut soutenir des transitions physiquement et sémantiquement cohérentes. Cet état n'est pas identique à une phrase, une image ou une trajectoire d'action. Il se rapproche davantage d'une représentation latente compressée du monde.

Une fois qu'une telle représentation est apprise, différents modules de lecture peuvent l'utiliser de différentes manières :

  • Un module de lecture linguistique peut expliquer ou raisonner sur l'état.
  • Un module de lecture d'image peut prédire un état visuel futur plausible.
  • Un module de lecture d'action peut aider un robot à choisir quoi faire ensuite.

L'image illustre le processus de traitement des signaux multimodaux du monde par le modèle Orca. Les signaux multimodaux du monde sont entrés dans Orca, qui effectue d'abord un apprentissage inconscient, puis un apprentissage conscient, apprenant une représentation du monde. La représentation du monde est ensuite délivrée via différents décodeurs, tels qu'un décodeur de texte produisant du texte, un expert en actions produisant des actions, etc., et peut également produire davantage via d'autres décodeurs. Le décodeur de droite accomplit toutes les tâches. Ce graphique est étroitement lié au contexte et présente visuellement le processus de traitement du modèle Orca, des signaux multimodaux à la représentation du monde, puis aux différentes sorties.

C'est pourquoi le projet utilise l'expression « Le monde est dans votre esprit. » Le monde n'est pas traité comme des jetons, des images et des étiquettes d'action déconnectés. Il est modélisé comme un espace latent qui peut être lu à travers plusieurs modalités.

Qu'essaie d'enseigner RoboBrain Orca en premier au modèle ?

Si l'on compare un robot à un enfant, de nombreuses approches actuelles reviennent à envoyer directement l'enfant à un établi et à lui demander de répéter une tâche spécifique jusqu'à ce qu'il devienne bon dans cette tâche.

Orca suit un ordre différent. Avant d'apprendre exactement à un robot comment agir, il essaie de donner au modèle une éducation plus générale sur les changements du monde.

Cela inclut des régularités de base telles que :

  • les objets peuvent tomber ;
  • les liquides peuvent s'écouler ;
  • l'occlusion ne signifie pas la disparition ;
  • le contact peut changer la position des objets ;
  • les événements ont un ordre temporel ;
  • la progression de la tâche change à mesure que l'environnement change.

La motivation est simple. Si un modèle apprend d'abord comment les états du monde changent, alors une plus petite quantité de

de données d'action peut suffire à relier cette représentation au contrôle robotique. Cela pourrait réduire les coûts d'entraînement et améliorer la généralisation.

Deux modes d'apprentissage et trois signaux d'entraînement

Orca utilise deux modes d'apprentissage complémentaires : l'apprentissage inconscient et l'apprentissage conscient.

L'apprentissage inconscient capture les transitions naturelles denses à partir d'observations continues. Le modèle observe comment les scènes, les objets, l'occlusion, le contact et le mouvement évoluent sans avoir besoin d'étiquettes d'action ou d'instructions explicites sur la tâche.

L'apprentissage conscient ajoute une structure sémantique. Il utilise des descriptions d'événements, du langage et une supervision de type VQA afin que le modèle puisse relier les changements visuels aux concepts humains, aux instructions et à la signification causale.

Ensemble, ces modes d'apprentissage sont soutenus par trois principaux types de signaux.

L'image montre l'architecture du modèle Orca, comprenant des entrées de signaux visuels et linguistiques. Le modèle fonctionne selon deux modes : l'apprentissage inconscient et l'apprentissage conscient. L'apprentissage inconscient observe les transitions d'état uniquement à partir des signaux visuels, tandis que l'apprentissage conscient combine des descriptions d'événements, du langage et une supervision de type VQA pour réaliser des transitions d'état conditionnées par des événements et générer des réponses VQA. Le résultat final est une représentation latente du monde. Cette image est étroitement liée au contexte et illustre visuellement les deux modes d'apprentissage et les trois signaux d'entraînement mentionnés dans le texte.

1. Vidéo continue pour les transitions d'état naturelles

Le premier signal est la vidéo continue du monde réel. Cela donne au modèle une expérience dense des changements d'état naturels, tels que le mouvement des objets, l'évolution des scènes, les effets de contact et l'occlusion.

Ce type d'apprentissage n'exige pas que le modèle connaisse à l'avance l'objectif de la tâche. Il se rapproche davantage de l'observation passive : le modèle apprend comment le monde change en regardant le monde changer.

2. Données d'événements pour les transitions d'état sémantiques

Le deuxième signal est l'organisation au niveau des événements. Les processus du monde réel ne sont pas simplement des images isolées. Les gens les décrivent naturellement comme des événements : laver les légumes avant de les couper, ouvrir un robinet avant que l'eau ne change l'état des aliments, ou bouger une main avant qu'un objet ne change de position.

La supervision par événements aide Orca à apprendre des transitions d'état significatives dans des conditions sémantiques spécifiques.

3. Supervision VQA et langagière pour le raisonnement et l'expression

Le troisième signal est la compréhension basée sur le langage. Le langage n'est pas l'objectif final d'Orca, mais il constitue une interface importante entre les états du monde et l'intention humaine.

La supervision VQA aide à aligner les états visuels, la structure des événements et le langage naturel. En d'autres termes, le modèle ne doit pas seulement remarquer que quelque chose a changé, mais aussi décrire et raisonner sur l'importance de ce changement.

L'image montre les données et annotations de pré-entraînement, les objectifs de pré-entraînement et les paradigmes d'apprentissage du modèle Orca. Les données vidéo comprennent des interactions égocentriques, des manipulations exocentriques, des exécutions robotiques sans action et une dynamique naturelle ; les données d'événements comportent des légendes fines et grossières ; les données VQA sont des VQA générales. Ces données sont liées aux signaux visuels et linguistiques. Les paradigmes d'apprentissage incluent l'apprentissage inconscient et l'apprentissage conscient, le premier observant uniquement les transitions d'état, le second réalisant des transitions d'état conditionnées par des événements et la génération de réponses VQA. Cette image est étroitement liée au contexte et illustre visuellement les types de données de pré-entraînement et les méthodes d'apprentissage du modèle Orca.

Échelle des données d'apprentissage du monde

Pour soutenir l'apprentissage des états du monde, Orca utilise un vaste inventaire de données d'apprentissage du monde. L'article original et la page officielle du projet décrivent les ressources suivantes.

Type de ressource Échelle Rôle dans l'apprentissage
Vidéo continue Environ 125 000 heures Observation dense des transitions d'état naturelles
Annotations d'événements Environ 160 millions d'événements Supervision sémantique pour

transitions d’état significatives |
| Exemples VQA | Environ 11,5 millions d’exemples | Alignement linguistique et compréhension d’état conditionnée par une question |

Ces sources de données couvrent l’interaction égocentrique, la manipulation exocentrique, les vidéos d’exécution robotique, les scènes dynamiques naturelles, les transitions au niveau des événements, et le question-réponse visuel général.

Le point important est qu’Orca n’est pas entraîné uniquement sur des trajectoires robots ou uniquement sur du question-réponse visuel. Il tente d’apprendre un espace latent mondial plus large à partir de multiples types de signaux réels.

Comportement de passage à l’échelle : le latent mondial peut-il continuer à s’améliorer ?

Une représentation du monde n’est utile que si elle peut être testée et améliorée. Les expériences d’Orca posent donc deux questions centrales.

  1. Le paradigme d’apprentissage passe-t-il à l’échelle avec les données et la taille du modèle ?
  2. Une meilleure représentation du monde améliore-t-elle les performances en aval ?

Les résultats de passage à l’échelle suggèrent qu’à mesure que les données de pré-entraînement augmentent, la perte continue de diminuer pour les modèles de 0,8B et 4B. Le modèle 4B atteint également un niveau de perte inférieur à celui du modèle 0,8B.

Le graphique est une courbe montrant l’évolution de la perte totale des modèles en fonction de la durée des données de pré-entraînement. L’axe horizontal représente la durée des données (en heures), l’axe vertical la perte totale, allant de 0,2 à 0,7. Deux courbes représentent les modèles 0,8B et 4B, la perte du modèle 0,8B étant supérieure à celle du modèle 4B. Avec l’augmentation de la durée des données, les deux courbes présentent une tendance à la baisse, indiquant que la perte totale des modèles se stabilise avec l’augmentation des données. Ce graphique est lié au contexte et illustre visuellement l’évolution de la perte pour différentes tailles de modèles lors de l’augmentation des données de pré-entraînement.

Cela soutient l’idée que la prédiction de l’état suivant n’est pas seulement une astuce à petite échelle. Elle semble être un objectif d’apprentissage mondial scalable, du moins dans la plage testée.

Comment Orca teste si le latent est utile

Le test clé n’est pas de savoir si Orca peut inventer un concept qui sonne bien. Le test est de savoir si le latent appris peut soutenir de véritables tâches en aval.

Orca fige le squelette pré-entraîné et attache des modules de lecture légers pour trois directions :

  • Lecture de texte pour la compréhension et le raisonnement linguistique ;
  • Lecture d’image pour la prédiction visuelle d’état futur ;
  • Lecture d’action pour le contrôle robotique et l’exécution de tâches incarnées.

Ce diagramme montre la conception modulaire des trois directions de tâches en aval définies par BAAI RoboBrain Orca pour valider l’utilité des représentations latentes, correspondant aux trois directions de sortie mentionnées dans le document. Le diagramme est divisé en trois parties (a)(b)(c), correspondant respectivement aux voies de sortie texte, visuelle et action : (a) est la voie texte, la représentation latente mondiale est figée, le texte est produit via une tête LM et une tête LM entraînable ; (b) est la voie visuelle, la représentation latente mondiale est passée via un MLP dans un SD3.5 MMDiT figé, du bruit est ajouté et une image est générée via un LoRA entraînable ; (c) est la voie action, la représentation latente mondiale est passée via un MLP, combinée à des actions bruitées, des informations temporelles et des informations proprioceptives, et un segment d’action est généré via un module expert action entraînable. Les trois voies adoptent une conception de squelette pré-entraîné figé avec des modules de lecture légers attachés, pour valider la valeur pratique des représentations latentes.

Cette conception est importante car le squelette figé empêche les modules en aval de simplement tout réapprendre depuis zéro. Si différentes lectures peuvent extraire des capacités linguistiques, visuelles et d’action à partir du même latent figé, alors la représentation latente elle-même porte probablement des informations utiles sur l’état du monde.

Les résultats en aval s’améliorent également à mesure que le pré-entraînement passe à l’échelle.

Le diagramme montre les performances en aval d’Orca pour différentes quantités de données de pré-entraînement. Il comprend trois graphiques : Génération de texte, Prédiction d’image et Génération d’action. Dans Génération de texte, les performances varient avec différentes quantités de données, comme 2K, 5K, 7K, 10K, etc. Dans Prédiction d’image, la comparaison des performances pour les données 0,8B et 4B, comme 1K, 6K, 7K, 10K, etc. Dans Génération d’action, les performances varient pour les données 0,8B et 4B, comme 0K, 5K, 6K, 10K, etc. Ces graphiques correspondent au texte mentionnant que les résultats en aval s’améliorent avec l’échelle de pré-entraînement.

com/cms-assets/image/2026/07/28b12759-9160-48b4-92f6-6c6194bf0621-09-eb93bffa-9db9-456a-bfa9-cd10764544ba.png)

Lecture du texte : De meilleures performances sur les questions relatives aux changements mondiaux

Dans les tâches de génération de texte et de VQA, Orca est comparé à plusieurs modèles de langage visuel et modèles du monde, notamment V-JEPA, Emu3, Qwen3.5, Gemma, MiniCPM-V et DeepSeek-VL2.

Les résultats rapportés montrent que le modèle 4B d'Orca obtient de très bonnes performances parmi les modèles de taille similaire, en particulier sur les questions impliquant le raisonnement temporel, la transition d'état et le mouvement dynamique.

Cette image est un tableau comparatif des capacités de génération de texte des modèles multimodaux, c'est-à-dire un tableau de performance pour les tâches de génération de texte. Le tableau indique « ↑ signifie que plus la valeur est élevée, meilleure est la performance ». Il liste les noms des modèles, leurs tailles, les résultats de différents tests comme MVBench, TemporalBench, ainsi que les scores moyens, couvrant les grands modèles du monde, les petits modèles de langage visuel, et inclut également les données de performance du modèle Orca et de ses homologues. Orca, en tant que sujet de test pour les grands modèles du monde, a obtenu un score moyen de 51,8. Le tableau compare également les performances de modèles comme V-JEPA, Emu3.5, Qwen3.5, etc., facilitant la visualisation des différences de performance entre les modèles dans les tâches de génération de texte.

Une répartition simplifiée des capacités tirée de l'article est présentée ci-dessous.

Dimension de capacité Qwen3.5-4B Orca-4B Avantage d'Orca
Transition d'état 51,86 64,13 +12,27%
Raisonnement de bon sens 57,76 62,95 +5,19%
Relations spatiales 54,68 55,25 +0,57%
Mouvement dynamique 57,03 65,55 +8,52%

L'image est un tableau comparant les performances de Qwen3.5-4B et d'Orca-4B dans quatre domaines : transition d'état, raisonnement de bon sens, relations spatiales et mouvement dynamique. Orca-4B est en tête dans la transition d'état (64,13, +12,27%), le raisonnement de bon sens (62,95, +5,19%), les relations spatiales (55,25, +0,57%) et le mouvement dynamique (65,55, +8,52%). Ce tableau est étroitement lié au contexte et montre visuellement les avantages d'Orca-4B dans plusieurs capacités, en accord avec les performances d'Orca en matière de modélisation du monde mentionnées dans le texte.

Cette tendance est importante. L'avantage d'Orca ne réside pas seulement dans la reconnaissance d'objets dans une scène statique. Les gains les plus importants apparaissent dans les catégories plus proches de la dynamique du monde : comment un état change, comment les événements se déroulent et comment le mouvement affecte la scène.

Pour un modèle du monde, cela a plus de sens que la simple compréhension d'image ordinaire. Le monde réel n'est pas une collection d'images fixes. C'est un système en constante évolution.

Lecture d'image : Prédire un état futur raisonnable

La lecture d'image d'Orca n'est pas présentée comme une fonctionnalité standard de génération d'images. Elle est utilisée comme un moyen de tester si le modèle peut prédire un état visuel plausible après une interaction.

Cela diffère de la génération d'images ordinaire. Un générateur d'images typique peut créer quelque chose de visuellement attrayant, mais peut toujours enfreindre les contraintes réelles de la scène. Il pourrait ajouter des objets qui n'étaient pas là, supprimer l'incarnation du robot, ignorer l'instruction ou suivre un stéréotype plutôt que l'état actuel.

Par exemple, si une instruction mentionne un ballon rouge, un générateur normal peut dessiner un ballon rouge complètement gonflé, quel que soit l'état réel du ballon. Un prédicteur d'état du monde devrait plutôt raisonner à partir de la scène actuelle et de la condition d'interaction.

Sur le benchmark d'interaction dans le monde réel PRICE, Orca est évalué par rapport à des modèles de base de génération d'images comme FLUX et OmniGen2. L'objectif n'est pas seulement la qualité visuelle, mais aussi si l'état futur prédit respecte la disposition de la scène, les relations entre les objets, l'incarnation du robot et les contraintes physiques.

![L'image montre une comparaison visuelle des prédictions d'images dans le monde réel entre Orca, Flux.2 et OmniGen2.

À gauche, l'instruction « Fermer la porte du micro-ondes », à droite, « Poser l'éponge et la retirer ». La prédiction d'Orca correspond à la scène réelle, comme la fermeture de la porte du micro-ondes ou le placement de l'éponge. En revanche, Flux.2 et OmniGen2 peuvent produire des prédictions irréalistes, comme le retrait de l'éponge ou son placement à un mauvais endroit. Cette image est étroitement liée au contexte et illustre clairement l'avantage d'Orca dans la prédiction de scènes réelles, soulignant que ses résultats respectent la disposition de la scène et les relations entre les objets, en accord avec la description des capacités de prédiction d'images d'Orca dans le contexte.](https://we0-cms.oss-cn-beijing.aliyuncs.com/cms-assets/image/2026/07/f96fdbbc-cb9d-43ae-aaf5-c3e8b56393ce-12-8e944a34-7e1f-45d5-a9a3-937f15165375.png)

Dans ce contexte, la prédiction d'image devient une sonde visible de la compréhension du monde. La question n'est pas « Le modèle peut-il dessiner une belle image ? » mais « Le modèle sait-il ce que cette scène devrait devenir après l'interaction décrite ? »

Lecture d'action : aider les robots à généraliser sans pré-entraînement aux actions

L'une des expériences les plus intéressantes d'Orca est la lecture d'action pour les robots réels.

Pendant le pré-entraînement, Orca n'utilise pas de trajectoires robotiques étiquetées par action. Il ne mémorise pas d'abord comment un bras spécifique doit se déplacer. Au lieu de cela, il apprend les changements d'état du monde à partir de vidéos, d'événements et de langage.

Pour les tâches d'action en aval, les chercheurs ont gelé le backbone d'Orca et y ont attaché un Expert d'action de style DiT entraîné à partir de zéro. Chaque tâche utilise une petite quantité de données de trajectoire spécifiques au domaine, et le modèle est ensuite évalué dans des configurations de manipulation à deux bras hors distribution.

L'image montre le processus d'exécution d'actions d'Orca dans des tâches robotiques à deux bras. Dans la scène, le robot à deux bras opère sur différentes tables où divers objets sont disposés, comme des plantes, des fruits, du papier, etc. De gauche à droite et de haut en bas, les actions du robot dans différents scénarios sont présentées, telles que placer des objets ou ajuster leurs positions. Cette image est étroitement liée au contexte et illustre clairement le fonctionnement réel d'Orca dans les tâches robotiques à deux bras, en accord avec la mention de l'application d'Orca dans les tâches d'action en aval dans le document.

La comparaison de génération d'actions rapportée montre qu'Orca améliore la progression globale des tâches et le comportement de récupération par rapport à plusieurs références.

L'image est le tableau 4, comparant les performances de différents modèles en génération d'actions. Le tableau contient des données d'indicateurs tels que Rule-based, M25, M50, SR, MaxP-F, FNS, DRR et SQS dans divers environnements. Le modèle Orca surpasse les autres modèles sur tous les indicateurs. Par exemple, dans l'environnement OOD, les indicateurs M25, M50, MaxP-F et DRR d'Orca sont plus élevés que ceux des autres modèles. Ce tableau est étroitement lié au contexte et présente les données spécifiques de l'amélioration d'Orca en génération d'actions mentionnée précédemment.

Une comparaison globale simplifiée est présentée ci-dessous.

Modèle Rule-based ↑ M25 ↑ M50 ↑ SR ↑ MaxP-F ↑ FNS ↑ DRR ↑ SQS ↑
V-JEPA 2.1 17.0 27 7 0 17.4 10.1 20.5 0.0
Qwen3.5 10.5 18 5 0 13.1 7.6 11.9 0.0
π₀.₅ 29.4 54 14 5 26.5 15.3 26.7 3.0
Orca 32.4 55 14 6 27.9 15.1 30.3 2.9

Les exemples de récupération sont particulièrement pertinents. En robotique réelle, la première tentative échoue souvent. Un système qui se contente de mapper les observations à des actions mémorisées peut se bloquer après une perturbation. Un système doté d'une meilleure représentation de l'état du monde a plus de chances de remarquer que la tâche n'est pas terminée, que l'objet existe toujours et que l'état actuel a encore un chemin vers l'objectif.

L'image montre les performances d'Orca et de π_5 dans une tâche de préhension. En haut se trouvent les images vidéo du processus de préhension, en bas les graphiques de progression. Orca (point rouge) réussit la préhension avec une progression de 100,0 % ; π_5 (point vert) échoue avec une progression de seulement 53,7 %. Dans les images vidéo, Orca tente d'abord de saisir mais échoue, puis oscille sur place avant de réussir finalement la préhension ; π_5 tente plusieurs fois de saisir sans succès. Cette image illustre clairement l'avantage d'Orca dans la tâche de préhension, en accord avec le contexte qui souligne sa capacité à mieux identifier que la tâche n'est pas terminée et que l'objet existe après une perturbation.

C'est la valeur pratique de l'apprentissage de l'état du monde.

avant l'action. Orca ne prétend pas que les données d'action sont inutiles. Au contraire, elle modifie l'ordre d'apprentissage : d'abord apprendre les dynamiques mondiales évolutives, puis relier cette représentation aux actions du robot avec une quantité plus restreinte de données spécifiques à la tâche.

Pourquoi les trois objectifs d'entraînement sont importants ensemble

L'article aborde également des expériences d'ablation. Les chercheurs suppriment différents objectifs d'entraînement et observent comment les lectures de texte, d'image et d'action évoluent.

Le résultat est que les trois objectifs jouent des rôles différents.

  • La supervision VQA préserve l'interface linguistique et l'alignement sémantique.
  • La vidéo continue soutient les dynamiques naturelles denses et est particulièrement importante pour la lecture d'action.
  • L'apprentissage conditionné par événement connecte le langage, la structure des événements et la transition d'état visuelle, ce qui aide la prédiction d'image à suivre les instructions.

Le principal enseignement est qu'une représentation du monde n'est pas produite par un seul signal de supervision. Elle est façonnée par de multiples contraintes : changement naturel, événements sémantiques, raisonnement linguistique et transition d'état.

Optimisation de l'infrastructure : Accélération FlagScale

L'article mentionne également des améliorations au niveau du système d'entraînement basées sur le framework FlagScale de BAAI. L'équipe rapporte des améliorations autour de FSDP2, de la perte d'entropie croisée par morceaux et de la prélecture avant/arrière.

Sur un cluster H100, ces changements augmenteraient le débit d'entraînement de la ligne de base StarVLA de 0,66 échantillons/seconde/GPU à 2,91 échantillons/seconde/GPU, soit une accélération de 4,4x.

Cette partie est importante car l'entraînement du modèle mondial dépend fortement de l'échelle. Si le système d'entraînement ne peut pas gérer efficacement de grands pipelines de supervision vidéo, événementielle et multimodale, l'idée de modélisation devient difficile à tester en pratique.

Ce que Orca signifie pour les modèles mondiaux

Orca est encore une version précoce. Le rapport technique et les documents du projet décrivent plusieurs limitations.

L'Orca actuel repose principalement sur des signaux visuels et linguistiques. Il ne couvre pas encore complètement le toucher, la force, le son, la proprioception et d'autres modalités physiques qui seraient importantes pour une modélisation plus riche du monde. L'approche actuelle dépend également en partie des encodeurs visuels existants et des espaces de représentation multimodaux.

L'échelle du modèle et des données est encore précoce par rapport à l'ambition à long terme des modèles fondamentaux mondiaux généraux. La prédiction d'image, la généralisation d'action et les méthodes d'évaluation pour la modélisation du monde nécessitent également davantage de travail.

Néanmoins, la valeur d'Orca ne réside pas dans le fait de prétendre que la modélisation du monde est résolue. Sa valeur est qu'elle offre une voie concrète :

  1. Apprendre un état mondial unifié à partir de signaux multimodaux évolutifs.
  2. Geler ce squelette d'état mondial.
  3. Le lire pour produire des tâches linguistiques, d'image et d'action.
  4. Utiliser les performances en aval pour tester si le latent est effectivement

utile.

Si cette tendance se poursuit et s’améliore, elle pourrait avoir des répercussions au-delà de la robotique. De nombreux domaines impliquent des états, des interventions et des transitions : systèmes physiques, biologie, modélisation environnementale, expériences scientifiques et prise de décision agentique.

La question plus large est de savoir si les futurs systèmes d’IA peuvent d’abord construire un modèle interne, stable et transférable du monde avant de générer des réponses, des images ou des actions.

C’est l’idée centrale derrière Orca : Le monde est dans votre esprit.

FAQ

Qu’est-ce que BAAI RoboBrain Orca ?

BAAI RoboBrain Orca est un projet précoce de modèle de fondation du monde, axé sur la prédiction du prochain état. Il apprend une représentation latente du monde à partir de signaux multimodaux et utilise des modules de lecture légers pour la prédiction du langage, des images et la génération d’actions.

Que signifie « Prédiction du prochain état » ?

La prédiction du prochain état consiste à prédire comment l’état sous-jacent du monde change, et pas seulement à prédire le prochain jeton, image ou action. L’objectif est de modéliser les transitions d’état d’une manière qui puisse soutenir le raisonnement, la prédiction visuelle et le contrôle incarné.

Orca est-il principalement un modèle de langage, un modèle d’image ou un modèle robotique ?

Orca ne se limite pas à l’une de ces catégories. Il apprend d’abord un latent partagé du monde, puis utilise différentes lectures pour le langage, la vision et l’action. C’est pourquoi il est décrit comme un modèle mondial multimodal plutôt qu’un modèle à usage unique.

Quelles données Orca utilise-t-il pour le pré-entraînement ?

Orca utilise des ressources d’apprentissage mondiales à grande échelle, comprenant environ 125 000 heures de vidéo, 160 millions d’annotations d’événements et 11,5 millions d’exemples VQA. Ces signaux aident le modèle à apprendre la dynamique naturelle, les transitions conditionnées par des événements et une compréhension alignée sur le langage.

Pourquoi Orca gèle-t-il le réseau de base pendant l’entraînement de la lecture en aval ?

Geler le réseau de base rend l’évaluation plus propre. Si des modules de lecture légers peuvent bien fonctionner tandis que le réseau de base reste gelé, cela suggère que l’information utile est déjà présente dans le latent appris du monde, plutôt que d’être réapprise à partir de zéro en aval.

Orca peut-il contrôler des robots directement ?

Dans les expériences d’action rapportées, le latent gelé du monde d’Orca est connecté à un expert en action entraînable pour les tâches robotiques. Ce n’est pas simplement un contrôleur robotique direct prêt à l’emploi, mais les résultats suggèrent que le pré-entraînement de l’état mondial peut aider à la généralisation en aval en robotique.

Orca est-il prêt pour la production ?

Les matériaux disponibles présentent Orca comme une direction de recherche précoce, pas comme un système de production fini. Le projet a encore besoin de modalités physiques plus larges, de méthodes d’évaluation plus solides, d’un entraînement à plus grande échelle, et de points de contrôle ou de code d’inférence publiés pour une reproduction plus large.

Où puis-je lire les documents officiels d’Orca ?

Les meilleurs points de départ sont la page officielle du projet Orca, le rapport technique arXiv, le dépôt GitHub et la page de l’article Hugging Face. Ces sources fournissent les références les plus directes pour la conception du modèle, les données, l’évaluation et la citation.

Outils connexes

figures, ainsi que les futures versions de code ou de points de contrôle.

  • arXiv : Page officielle du rapport technique pour « Orca : The World is in Your Mind ».
  • Hugging Face Papers : Page communautaire pour discussions, collections et suivi des articles.
  • FlagScale : Kit d'outils d'entraînement de grands modèles lié à BAAI, mentionné dans la section sur l'optimisation de l'infrastructure.
  • PyTorch FSDP fully_shard : Documentation officielle de PyTorch pour l'API de partitionnement de style FSDP2.

Liens connexes

Résumé

RoboBrain Orca explore un changement de paradigme : au lieu de prédire des sorties isolées, il modélise les transitions d'états du monde. Au lieu de traiter le langage, les images et les actions comme des cibles séparées, il tente d'apprendre une représentation latente partagée du monde pouvant supporter plusieurs interfaces de lecture.

L'article explique la configuration d'apprentissage d'Orca, incluant la vidéo continue, les annotations d'événements et les données VQA. Il présente également les trois principales lectures : le raisonnement textuel, la prédiction d'images d'états futurs et la génération d'actions robotiques.

L'idée la plus importante n'est pas qu'Orca ait achevé la modélisation du monde. C'est qu'Orca offre une voie testable pour construire et évaluer un modèle latent du monde à travers le langage, la vision et l'action.

En bref : Orca est une tentative précoce pour faire comprendre à l'IA les changements d'état avant qu'elle ne génère des mots, des images ou des actions.