BAAI RoboBrain Orca: un modello di rappresentazione multimodale del mondo
RoboBrain Orca esplora un passaggio dalla previsione di output isolati alla modellazione delle transizioni di stato del mondo. Invece di trattare linguaggio, immagini e azioni come obiettivi separati, cerca di apprendere una rappresentazione latente condivisa del mondo in grado di supportare molteplici interfacce di lettura. L'articolo spiega l'impostazione di apprendimento di Orca, inclusi video continui, annotazioni di eventi e dati VQA. Descrive inoltre le tre principali modalità di lettura: ragionamento testuale, previsione di immagini dello stato futuro e generazione di azioni robotiche. L'idea più importante non è che Orca abbia completato la modellazione del mondo. È che Orca offre un percorso verificabile per costruire e valutare un modello latente del mondo che abbracci linguaggio, visione e azione. **In breve: Orca è un primo tentativo di far sì che l'AI comprenda il cambiamento di stato prima di generare parole, immagini o azioni.**
BAAI RoboBrain Orca: Un Modello di Rappresentazione del Mondo Multimodale
Introduzione
I sistemi di IA moderni possono già compiere molte cose impressionanti. Un modello linguistico può rispondere a domande e scrivere codice. Un modello di immagini o video può generare contenuti visivi realistici. Un modello robotico può imparare ad afferrare, posizionare o spostare oggetti.
Ma queste capacità spesso derivano da obiettivi di previsione separati. Un modello linguistico prevede il token successivo. Un modello video prevede il fotogramma successivo. Una politica robotica prevede l'azione successiva. Ogni obiettivo è utile, ma lascia comunque una domanda più profonda: il modello comprende come il mondo stesso cambia?
Il progetto RoboBrain Orca di BAAI, introdotto nel report tecnico "Orca: The World is in Your Mind", esplora questo problema dal punto di vista della rappresentazione del mondo. Orca non è presentato solo come un chatbot più potente, un generatore di immagini più bello, o una politica di apprendimento per imitazione diretta per robot. La sua idea centrale è più fondamentale: imparare prima una rappresentazione latente condivisa degli stati del mondo, poi leggere quella rappresentazione in comprensione del linguaggio, previsione di immagini e generazione di azioni.
Contesto del Progetto
L'articolo originale parte da un'osservazione semplice ma importante: l'IA può generare output, ma la generazione di output non è la stessa cosa della comprensione del mondo.
Ad esempio:
- Se una tazza viene rovesciata, il modello può dedurre che l'acqua potrebbe fuoriuscire?
- Se un robot fallisce il suo primo tentativo di presa, il modello sa che l'oggetto è ancora nella scena?
- Se un video di cucina passa dal lavaggio delle verdure al taglio delle verdure, il modello comprende questo come progressione dell'evento piuttosto che solo cambiamento visivo?
- Dopo che un'azione è avvenuta, il modello può tracciare come oggetti, relazioni e progresso del compito sono cambiati?
Queste domande puntano a un obiettivo più ampio. Un modello del mondo utile non dovrebbe solo prevedere un output esterno. Dovrebbe costruire una rappresentazione interna dello stato del mondo e della transizione di stato.
La pagina del progetto Orca e il report tecnico descrivono questo come un passaggio da Next X Prediction a Next State Prediction. Invece di prevedere separatamente il token successivo, il fotogramma successivo o l'azione successiva, Orca cerca di imparare come uno stato del mondo evolve sotto dinamiche naturali, condizioni degli eventi e intenzioni del compito.
Homepage del progetto: https://orca-wm.github.io
Report tecnico: https://arxiv.org/abs/2606.30534
Risposta della Comunità di Ricerca
Dopo il rilascio, Orca ha attirato l'attenzione delle comunità di ricerca interessate ai modelli del mondo, alla rappresentazione multimodale e all'intelligenza incarnata. La discussione si è concentrata meno sul fatto che Orca possa generare output visivamente attraenti, e più sul suo tentativo di collegare testo, immagini, video e azione come diverse proiezioni dello stesso mondo sottostante.
L'articolo è apparso anche su Hugging Face Papers, dove ha ricevuto una notevole attenzione da parte della comunità. Questo è importante perché i modelli del mondo vengono sempre più valutati non solo per la qualità dell'output, ma anche per la capacità delle loro rappresentazioni apprese di trasferirsi tra compiti diversi.
Dalla Previsione del Prossimo X alla Previsione del Prossimo Stato
Negli ultimi anni, molte scoperte nel campo dell'IA possono essere descritte come forme di "previsione del prossimo X".
I modelli linguistici prevedono il token successivo, il che conferisce loro capacità di scrittura, ragionamento, dialogo e codifica. I modelli video prevedono o sintetizzano fotogrammi futuri, aiutandoli a creare movimenti più coerenti. I modelli incarnati spesso prevedono l'azione successiva, consentendo ai robot di eseguire compiti di manipolazione.
Orca sostiene che questo non sia sufficiente per gli agenti che devono operare nel mondo reale. Linguaggio, immagini e azioni sono solo interfacce diverse verso il mondo. L'obiettivo più profondo è lo stato del mondo stesso.
Nell'impostazione di Orca, la Previsione del Prossimo Stato significa apprendere una rappresentazione interna dello stato che possa supportare transizioni fisicamente e semanticamente coerenti. Questo stato non è identico a una frase, un'immagine o una traiettoria d'azione. È più vicino a una rappresentazione latente compressa del mondo.
Una volta appresa tale rappresentazione, diversi moduli di lettura possono utilizzarla in modi differenti:
- Un modulo di lettura linguistica può spiegare o ragionare sullo stato.
- Un modulo di lettura di immagini può prevedere un probabile stato visivo futuro.
- Un modulo di lettura di azioni può aiutare un robot a scegliere cosa fare dopo.
Ecco perché il progetto usa la frase "Il Mondo è nella Tua Mente." Il mondo non viene trattato come token, fotogrammi ed etichette d'azione scollegati. Viene modellato come uno spazio latente che può essere letto attraverso molteplici modalità.
Cosa Cerca di Insegnare per Primo RoboBrain Orca al Modello?
Se un robot viene paragonato a un bambino, molti approcci attuali sono come mandare il bambino direttamente a un banco di lavoro e chiedergli di ripetere un compito specifico fino a quando non diventa bravo in quel compito.
Orca segue un ordine diverso. Prima di insegnare a un robot esattamente come agire, cerca di fornire al modello un'istruzione più generale sui cambiamenti del mondo.
Ciò include regolarità di base come:
- gli oggetti possono cadere;
- i liquidi possono scorrere;
- l'occlusione non significa scomparsa;
- il contatto può cambiare la posizione degli oggetti;
- gli eventi hanno un ordine temporale;
- l'avanzamento del compito cambia al variare dell'ambiente.
La motivazione è semplice. Se un modello impara prima come cambiano gli stati del mondo,
dei dati di azione potrebbe essere sufficiente per collegare quella rappresentazione al controllo del robot. Ciò potrebbe ridurre i costi di addestramento e migliorare la generalizzazione.
Due modalità di apprendimento e tre segnali di addestramento
Orca utilizza due modalità di apprendimento complementari: apprendimento inconscio e apprendimento conscio.
L'apprendimento inconscio cattura transizioni naturali dense da osservazioni continue. Il modello osserva come scene, oggetti, occlusioni, contatti e movimenti evolvono senza bisogno di etichette di azione o istruzioni esplicite.
L'apprendimento conscio aggiunge struttura semantica. Utilizza descrizioni di eventi, linguaggio e supervisione di tipo VQA in modo che il modello possa collegare i cambiamenti visivi con concetti umani, istruzioni e significato causale.
Insieme, queste modalità di apprendimento sono supportate da tre tipi principali di segnale.
1. Video continuo per transizioni di stato naturali
Il primo segnale è il video continuo del mondo reale. Questo fornisce al modello un'esperienza densa di cambiamenti di stato naturali, come movimento di oggetti, evoluzione della scena, effetti di contatto e occlusione.
Questo tipo di apprendimento non richiede che il modello conosca in anticipo l'obiettivo del compito. È più vicino all'osservazione passiva: il modello impara come il mondo cambia guardando il mondo cambiare.
2. Dati di evento per transizioni di stato semantiche
Il secondo segnale è l'organizzazione a livello di evento. I processi del mondo reale non sono solo fotogrammi isolati. Le persone li descrivono naturalmente come eventi: lavare le verdure prima di tagliarle, aprire un rubinetto prima che l'acqua cambi lo stato del cibo, o muovere una mano prima che un oggetto cambi posizione.
La supervisione degli eventi aiuta Orca ad apprendere transizioni di stato significative in condizioni semantiche specifiche.
3. Supervisione VQA e linguistica per ragionamento ed espressione
Il terzo segnale è la comprensione basata sul linguaggio. Il linguaggio non è l'obiettivo finale di Orca, ma è un'interfaccia importante tra gli stati del mondo e l'intento umano.
La supervisione VQA aiuta ad allineare stati visivi, struttura degli eventi e linguaggio naturale. In altre parole, il modello non dovrebbe solo notare che qualcosa è cambiato, ma anche descrivere e ragionare sul perché il cambiamento sia importante.
Scala dei dati di apprendimento del mondo
Per supportare l'apprendimento dello stato del mondo, Orca utilizza un inventario di dati di apprendimento del mondo su larga scala. L'articolo originale e la pagina ufficiale del progetto descrivono le seguenti risorse.
| Tipo di risorsa | Scala | Ruolo nell'apprendimento |
|---|---|---|
| Video continuo | Circa 125.000 ore | Osservazione densa delle transizioni di stato naturali |
| Annotazioni di eventi | Circa 160 milioni di eventi | Supervisione semantica per |
transizioni di stato significative |
| Esempi di VQA | Circa 11,5 milioni di esempi | Allineamento linguistico e comprensione dello stato condizionata dalla domanda |
Queste fonti di dati coprono interazioni egocentriche, manipolazioni esocentriche, video di esecuzione robotica, scene dinamiche naturali, transizioni a livello di evento e risposta a domande visive generali.
Il punto importante è che Orca non viene addestrato solo su traiettorie robotiche o solo su risposta a domande visive. Cerca di apprendere uno spazio latente mondiale più ampio a partire da molteplici tipi di segnali del mondo reale.
Comportamento di scaling: lo spazio latente mondiale può continuare a migliorare?
Una rappresentazione del mondo è utile solo se può essere testata e migliorata. Gli esperimenti di Orca pongono quindi due domande fondamentali.
- Il paradigma di apprendimento scala con i dati e la dimensione del modello?
- Una migliore rappresentazione del mondo migliora le prestazioni a valle?
I risultati dello scaling suggeriscono che, all'aumentare dei dati di pre-addestramento, la perdita continua a diminuire sia per il modello da 0,8B che per quello da 4B. Il modello da 4B raggiunge anche un livello di perdita inferiore rispetto a quello da 0,8B.
Ciò supporta l'idea che la previsione dello stato successivo non sia solo un trucco su piccola scala. Sembra essere un obiettivo di apprendimento mondiale scalabile, almeno nell'intervallo testato.
Come Orca verifica se il latente è utile
Il test chiave non è se Orca possa inventare un concetto dall'aspetto gradevole. Il test è se il latente appreso può supportare compiti a valle reali.
Orca congela il backbone pre-addestrato e collega moduli di lettura leggeri per tre direzioni:
- Lettura di testo per comprensione e ragionamento linguistico;
- Lettura di immagini per la previsione visiva dello stato futuro;
- Lettura di azioni per il controllo robotico e l'esecuzione di compiti incarnati.
Questo design è importante perché il backbone congelato impedisce ai moduli a valle di reimparare semplicemente tutto da zero. Se diversi lettori possono estrarre capacità linguistiche, visive e di azione dallo stesso latente congelato, allora la rappresentazione latente stessa probabilmente trasporta informazioni utili sullo stato del mondo.
Anche i risultati a valle migliorano all'aumentare del pre-addestramento.
com/cms-assets/image/2026/07/28b12759-9160-48b4-92f6-6c6194bf0621-09-eb93bffa-9db9-456a-bfa9-cd10764544ba.png)
Lettura del testo: Più forte nelle domande sul cambiamento del mondo
Nelle attività di generazione testuale e VQA, Orca viene confrontato con diversi modelli linguistici visivi e modelli del mondo, tra cui V-JEPA, Emu3, Qwen3.5, Gemma, MiniCPM-V e DeepSeek-VL2.
I risultati riportati mostrano che il modello 4B di Orca si comporta in modo eccellente tra modelli di dimensioni simili, specialmente in domande che coinvolgono ragionamento temporale, transizione di stato e movimento dinamico.
Di seguito è riportata una suddivisione semplificata delle capacità dall'articolo.
| Dimensione della capacità | Qwen3.5-4B | Orca-4B | Vantaggio di Orca |
|---|---|---|---|
| Transizione di stato | 51,86 | 64,13 | +12,27% |
| Ragionamento di senso comune | 57,76 | 62,95 | +5,19% |
| Relazioni spaziali | 54,68 | 55,25 | +0,57% |
| Movimento dinamico | 57,03 | 65,55 | +8,52% |
Questo schema è importante. Il vantaggio di Orca non riguarda solo il riconoscimento di oggetti in una scena statica. I guadagni maggiori si verificano in categorie più vicine alla dinamica del mondo: come cambia uno stato, come si svolgono gli eventi e come il movimento influisce sulla scena.
Per un modello del mondo, questo è più significativo della semplice comprensione ordinaria delle immagini. Il mondo reale non è una raccolta di immagini fisse. È un sistema in cambiamento.
Lettura dell'immagine: Prevedere uno stato futuro ragionevole
La lettura dell'immagine di Orca non è presentata come una funzionalità standard di generazione di immagini. Viene utilizzata come un modo per testare se il modello può prevedere un plausibile stato visivo successivo dopo un'interazione.
Questo differisce dalla generazione di immagini ordinaria. Un generatore di immagini tipico può creare qualcosa di visivamente accattivante, ma comunque violare i vincoli effettivi della scena. Potrebbe aggiungere oggetti che non c'erano, rimuovere l'embodimento robotico, ignorare l'istruzione o seguire uno stereotipo piuttosto che lo stato attuale.
Ad esempio, se un prompt menziona un palloncino rosso, un generatore normale potrebbe disegnare un palloncino rosso completamente gonfio indipendentemente dallo stato reale del palloncino. Un predittore dello stato del mondo dovrebbe invece ragionare a partire dalla scena corrente e dalla condizione di interazione.
Sul benchmark di interazione nel mondo reale PRICE, Orca viene valutato rispetto a baseline di generazione di immagini come FLUX e OmniGen2. L'obiettivo non è solo la qualità visiva, ma se lo stato futuro previsto rispetta il layout della scena, le relazioni tra oggetti, l'embodimento robotico e i vincoli fisici.
In questo contesto, la previsione delle immagini diventa una sonda visibile della comprensione del mondo. La domanda non è "Il modello sa disegnare una bella immagine?" La domanda è "Il modello sa cosa dovrebbe diventare questa scena dopo l'interazione descritta?"
Lettura dell'azione: aiutare i robot a generalizzare senza pre-addestramento all'azione
Uno degli esperimenti più interessanti di Orca è la lettura dell'azione per robot reali.
Durante il pre-addestramento, Orca non utilizza traiettorie robotiche etichettate con azioni. Non memorizza prima come dovrebbe muoversi un braccio specifico. Invece, apprende i cambiamenti di stato del mondo da video, eventi e linguaggio.
Per le attività di azione downstream, i ricercatori congelano il backbone di Orca e collegano un Esperto di Azione stile DiT addestrato da zero. Ogni attività utilizza una piccola quantità di dati di traiettoria specifici del dominio, e il modello viene quindi valutato in ambienti di manipolazione a doppio braccio fuori distribuzione.
Il confronto sulla generazione di azioni riportato mostra che Orca migliora il progresso complessivo dell'attività e il comportamento di recupero rispetto a diversi metodi di base.
Un confronto complessivo semplificato è mostrato di seguito.
| Modello | Rule-based ↑ | M25 ↑ | M50 ↑ | SR ↑ | MaxP-F ↑ | FNS ↑ | DRR ↑ | SQS ↑ |
|---|---|---|---|---|---|---|---|---|
| V-JEPA 2.1 | 17.0 | 27 | 7 | 0 | 17.4 | 10.1 | 20.5 | 0.0 |
| Qwen3.5 | 10.5 | 18 | 5 | 0 | 13.1 | 7.6 | 11.9 | 0.0 |
| π₀.₅ | 29.4 | 54 | 14 | 5 | 26.5 | 15.3 | 26.7 | 3.0 |
| Orca | 32.4 | 55 | 14 | 6 | 27.9 | 15.1 | 30.3 | 2.9 |
Gli esempi di recupero sono particolarmente rilevanti. Nella robotica reale, il primo tentativo spesso fallisce. Un sistema che mappa solo le osservazioni in azioni memorizzate potrebbe bloccarsi dopo un disturbo. Un sistema con una rappresentazione dello stato del mondo più forte ha maggiori possibilità di notare che l'attività non è completata, l'oggetto esiste ancora e lo stato corrente ha ancora un percorso verso l'obiettivo.
Questo è il valore pratico dell'apprendimento dello stato del mondo
prima dell'azione. Orca non sostiene che i dati sull'azione siano superflui. Piuttosto, modifica l'ordine di apprendimento: prima impara le dinamiche del mondo scalabili, poi collega tale rappresentazione all'azione robotica con una quantità minore di dati specifici per il compito.
Perché i Tre Obiettivi di Addestramento Contano Insieme
L'articolo discute anche esperimenti di ablation. I ricercatori rimuovono diversi obiettivi di addestramento e osservano come cambiano le letture di testo, immagine e azione.
Il risultato è che i tre obiettivi svolgono ruoli diversi.
- La supervisione VQA preserva l'interfaccia linguistica e l'allineamento semantico.
- Il video continuo supporta una densa dinamica naturale ed è particolarmente importante per la lettura dell'azione.
- L'apprendimento condizionato da eventi collega linguaggio, struttura dell'evento e transizione di stato visiva, aiutando la predizione di immagini a seguire le istruzioni.
La lezione principale è che una rappresentazione del mondo non è prodotta da un solo segnale di supervisione. È modellata da molteplici vincoli: cambiamento naturale, eventi semantici, ragionamento linguistico e transizione di stato.
Ottimizzazione dell'Infrastruttura: Accelerazione FlagScale
L'articolo menziona anche miglioramenti a livello di sistema per l'addestramento basati sul framework FlagScale di BAAI. Il team riporta aggiornamenti riguardanti FSDP2, la perdita di entropia incrociata chunked e il prefetching forward/backward.
Su un cluster H100, queste modifiche aumenterebbero la produttività dell'addestramento dalla baseline StarVLA di 0,66 campioni/sec/GPU a 2,91 campioni/sec/GPU, un'accelerazione di 4,4x.
Questa parte è importante perché l'addestramento del modello del mondo dipende fortemente dalla scala. Se il sistema di addestramento non riesce a gestire in modo efficiente grandi pipeline di supervisione video, eventi e multimodali, l'idea modellistica diventa difficile da testare nella pratica.
Cosa Significa Orca per i Modelli del Mondo
Orca è ancora una versione iniziale. Il rapporto tecnico e i materiali del progetto descrivono diverse limitazioni.
L'attuale Orca si basa principalmente su segnali visivi e linguistici. Non copre ancora completamente il tatto, la forza, il suono, la propriocezione e altre modalità fisiche che sarebbero importanti per una modellazione del mondo più ricca. L'attuale approccio dipende anche in parte da encoder visivi esistenti e spazi di rappresentazione multimodale.
La scala del modello e dei dati sono iniziali rispetto all'ambizione a lungo termine dei modelli fondamentali del mondo generale. La predizione di immagini, la generalizzazione delle azioni e i metodi di valutazione per la modellazione del mondo necessitano anche di ulteriore lavoro.
Tuttavia, il valore di Orca non sta nell'affermare che la modellazione del mondo sia risolta. Il suo valore è che offre una via concreta:
- Apprendere uno stato del mondo unificato da segnali multimodali scalabili.
- Congelare la spina dorsale dello stato del mondo.
- Estrarlo in compiti di linguaggio, immagine e azione.
- Utilizzare la performance a valle per testare se il latente è effettivamente
utile.
Se questa direzione continua a migliorare, potrebbe avere un impatto che va oltre la robotica. Molti ambiti coinvolgono stato, intervento e transizione: sistemi fisici, biologia, modellazione ambientale, esperimenti scientifici e processi decisionali autonomi.
La domanda più ampia è se i sistemi di IA futuri possano prima costruire un modello del mondo interno, stabile e trasferibile, prima di generare risposte, immagini o azioni.
Questa è l'idea centrale alla base di Orca: Il mondo è nella tua mente.
FAQ
Che cos'è BAAI RoboBrain Orca?
BAAI RoboBrain Orca è un progetto preliminare di modello fondazionale del mondo incentrato sulla previsione dello stato successivo. Apprende una rappresentazione latente del mondo da segnali multimodali e utilizza moduli di lettura leggeri per la previsione del linguaggio, delle immagini e la generazione di azioni.
Cosa significa "Previsione dello Stato Successivo"?
Previsione dello Stato Successivo significa prevedere come cambia lo stato sottostante del mondo, non solo prevedere il token, il fotogramma o l'azione successivi. L'obiettivo è modellare le transizioni di stato in modo da supportare il ragionamento, la previsione visiva e il controllo incarnato.
Orca è principalmente un modello linguistico, un modello di immagini o un modello robotico?
Orca non si limita a una di queste categorie. Prima apprende un latente condiviso del mondo, poi utilizza diverse letture per linguaggio, visione e azione. Per questo è descritto come un modello del mondo multimodale piuttosto che un modello per un unico scopo.
Quali dati utilizza Orca per il pre-training?
Orca utilizza risorse di apprendimento mondiale su larga scala, tra cui circa 125.000 ore di video, 160 milioni di annotazioni di eventi e 11,5 milioni di esempi VQA. Questi segnali aiutano il modello ad apprendere le dinamiche naturali, le transizioni condizionate da eventi e la comprensione allineata al linguaggio.
Perché Orca congela il backbone durante l'addestramento dei readout a valle?
Congelare il backbone rende la valutazione più pulita. Se moduli di lettura leggeri possono funzionare bene mentre il backbone rimane congelato, suggerisce che le informazioni utili sono già presenti nel latente del mondo appreso, piuttosto che essere riapprese da zero a valle.
Orca può controllare direttamente i robot?
Negli esperimenti di azione riportati, il latente del mondo congelato di Orca è collegato a un esperto di azione addestrabile per compiti robotici. Non è semplicemente un controllore robotico plug-and-play diretto, ma i risultati suggeriscono che il pre-training sullo stato del mondo può aiutare la generalizzazione a valle per la robotica.
Orca è pronto per la produzione?
I materiali disponibili presentano Orca come una direzione di ricerca iniziale, non un sistema di produzione finito. Il progetto necessita ancora di modalità fisiche più ampie, metodi di valutazione più robusti, addestramento su scala maggiore e checkpoint rilasciati o codice di inferenza per una riproduzione più ampia.
Dove posso leggere i materiali ufficiali su Orca?
I migliori punti di partenza sono la pagina ufficiale del progetto Orca, il rapporto tecnico su arXiv, il repository GitHub e la pagina del documento su Hugging Face. Queste fonti forniscono i riferimenti più diretti per la progettazione del modello, i dati, la valutazione e le citazioni.
Strumenti correlati
- Pagina del Progetto Orca: Pagina ufficiale del progetto per il modello fondazionale del mondo Orca.
- Repository GitHub di Orca: Repository ufficiale per informazioni sul progetto,
figure, e future rilasci di codice o checkpoint.
- arXiv: Pagina ufficiale del report tecnico per “Orca: The World is in Your Mind.”
- Hugging Face Papers: Pagina comunitaria per discussioni, raccolte e tracciamento del paper.
- FlagScale: Toolkit di addestramento per modelli di grandi dimensioni correlato a BAAI, citato nella sezione sull'ottimizzazione dell'infrastruttura.
- PyTorch FSDP fully_shard: Documentazione ufficiale di PyTorch per l'API di sharding in stile FSDP2.
Link correlati
- Pagina ufficiale del progetto Orca: Sito principale del progetto con panoramica del modello, dati, valutazione e citazioni.
- Report tecnico Orca su arXiv: Paper di ricerca per il modello fondazionale mondiale Orca.
- Repository GitHub di Orca: Repository ufficiale contenente il README del progetto e la roadmap dei rilasci.
- Orca su Hugging Face Papers: Pagina comunitaria per il paper Orca su Hugging Face.
- Repository GitHub di FlagScale: Toolkit di addestramento correlato all'ottimizzazione dell'infrastruttura descritta nell'articolo.
- Documentazione PyTorch FSDP fully_shard: Riferimento ufficiale per le API di addestramento distribuito completamente condiviso.
Riepilogo
RoboBrain Orca esplora un passaggio dalla previsione di output isolati alla modellazione delle transizioni di stato del mondo. Invece di trattare linguaggio, immagini e azioni come target separati, cerca di apprendere una rappresentazione latente condivisa del mondo in grado di supportare molteplici interfacce di lettura.
L'articolo spiega la configurazione di apprendimento di Orca, inclusi video continui, annotazioni di eventi e dati VQA. Vengono inoltre illustrati i tre principali tipi di output: ragionamento testuale, previsione di immagini di stato futuro e generazione di azioni robotiche.
L'idea più importante non è che Orca abbia completato la modellazione del mondo. È che Orca offre una strada testabile per costruire e valutare un modello latente del mondo attraverso linguaggio, visione e azione.
In breve: Orca è un primo tentativo di far comprendere all'IA i cambiamenti di stato prima che generi parole, immagini o azioni.