GPT-5.6 Sol su Cerebras: 750 Token al Secondo e la Teoria del Dispiegamento Multi-Wafer

Introduzione

GPT-5.6 Sol sta spostando la conversazione sui modelli avanzati dalle sole capacità a qualcosa di altrettanto importante: la velocità di risposta.

OpenAI ha dichiarato che GPT-5.6 Sol può funzionare sull'infrastruttura Cerebras fino a 750 token al secondo. A quella velocità, un sistema di IA non sembra più uno strumento che si ferma dopo ogni azione. Agenti di coding, operatori di browser, assistenti di ricerca e sistemi per uso informatico possono muoversi attraverso flussi di lavoro multi-fase con tempi di attesa molto ridotti tra una decisione e l'altra.

Il dato principale è ufficiale. Molti dei dettagli architetturali discussi al riguardo, tuttavia, non lo sono. Le stime secondo cui il modello contiene circa tre trilioni di parametri, si estende su 70-100 sistemi wafer-scale, o assegna uno strato di rete a ciascun wafer provengono da analisi tecniche esterne e non da una specifica pubblicata da OpenAI.

Questo articolo mantiene chiara questa distinzione. Spiega cosa è stato confermato, cosa rimane una plausibile teoria ingegneristica e perché la combinazione di GPT-5.6 e inferenza wafer-scale è importante per l'IA in tempo reale.

[Immagine]

Perché 750 Token al Secondo Contano

Una velocità di 750 token al secondo è difficile da apprezzare finché non viene confrontata con il modo in cui le persone usano realmente i sistemi di IA.

Una risposta lunga che una volta appariva riga per riga ora può essere prodotta quasi immediatamente. Ancora più importante, il modello può muoversi molto più velocemente attraverso ragionamenti interni, chiamate a strumenti, generazione di codice, azioni sull'interfaccia e decisioni successive. Il vantaggio non è semplicemente che il testo arriva prima. L'intero ciclo dell'agente diventa più reattivo.

Questo cambiamento è importante in flussi di lavoro come:

• Modificare e testare codice ripetutamente
• Navigare siti web e interfacce software
• Condurre ricerche su più fonti
• Coordinare diversi strumenti o sotto-agenti
• Rispondere durante interazioni vocali o visive in tempo reale
• Completare lunghe catene di azioni d'uso informatico

Per una chat convenzionale, un breve ritardo può essere accettabile. Per un agente che deve cliccare un pulsante, ispezionare il risultato, rivedere il suo piano e continuare, ogni andata e ritorno aggiunge attrito. L'inferenza ad alta velocità riduce questa latenza accumulata.

Lo sviluppatore Caleb Shepherd ha evidenziato questa distinzione nella discussione su GPT-5.6 Sol. Il guadagno più importante non è solo una generazione di codice più veloce, ma un uso informatico più rapido: un agente non dovrebbe più aver bisogno di minuti per completare una sequenza di semplici azioni sull'interfaccia.

[Immagine]

Sulla questione delle dimensioni del modello

L'affermazione sulla velocità ha immediatamente sollevato una domanda tecnica: come può un modello multimodale all'avanguardia funzionare così rapidamente su hardware su scala wafer?

La documentazione pubblica di OpenAI descrive GPT-5.6 Sol come il modello di punta della famiglia GPT-5.6, con input di testo e immagini, una finestra di contesto di 1.050.000 token e fino a 128.000 token di output. Non viene pubblicato il conteggio dei parametri del modello, il conteggio dei parametri attivi, il numero di strati, il design dell'attenzione o la topologia fisica di distribuzione.

Queste informazioni mancanti hanno portato sviluppatori e specialisti di infrastrutture a lavorare a ritroso partendo da ciò che è noto sull'hardware Cerebras.

Peter Gostev ha riassunto il quesito centrale: se GPT-5.6 Sol è il modello multimodale completo e non una variante ridotta, potrebbe essere troppo grande per entrare in un singolo sistema su scala wafer. Le possibilità rimanenti includono un modello più piccolo del previsto, una nuova configurazione hardware o un'architettura di servizio multi-sistema.

Potrebbe GPT-5.6 Sol Estendersi su 70-100 Wafer?

Una stima ampiamente discussa è arrivata dall'esperto tecnico Bleys Goodson. La sua analisi ha proposto che GPT-5.6 Sol potrebbe avere:

• Circa da 2 a 4 trilioni di parametri totali
• Circa 150 miliardi di parametri attivi per token
• Approssimativamente da 70 a 90 strati del modello
• Una distribuzione su da 70 a 100 sistemi su scala wafer Cerebras

Queste cifre non costituiscono una specifica ufficiale. Sono una stima ingegneristica basata sui vincoli di servizio del modello, sui requisiti di memoria e sulla nota capacità dei cluster Cerebras di distribuire modelli molto grandi su più sistemi.

La parte sorprendente della teoria non è semplicemente il conteggio dei wafer. È la proposta di mappatura tra architettura del modello e hardware.

La Teoria della Distribuzione "Un Wafer, Uno Strato"

Il design proposto assegna a ogni strato principale della rete il proprio sistema su scala wafer. Le attivazioni si muoverebbero attraverso i wafer come una pipeline, mentre ogni wafer esegue il calcolo assegnato al suo strato.

In una distribuzione GPU convenzionale, l'esecuzione del modello può coinvolgere complesso parallelismo tensoriale, parallelismo degli esperti e frequenti comunicazioni tra i nodi. Il sovraccarico di comunicazione può diventare un serio collo di bottiglia, specialmente quando il modello è grande e l'obiettivo è una bassa latenza piuttosto che il massimo throughput in batch.

Una pipeline strato-per-wafer adotta un approccio diverso. Una volta che la pipeline è piena, più token possono essere elaborati in fasi diverse contemporaneamente. Aggiungere fasi può aumentare il

ritardo prima della comparsa del primo token, ma non necessariamente riduce il throughput costante dei token nella stessa proporzione.

Questo aiuta a spiegare come un modello estremamente grande possa rimanere veloce dopo l'inizio della generazione. Spiega anche perché la distribuzione può essere costosa: raggiungere un'elevata velocità sequenziale potrebbe richiedere la dedica di una quantità molto grande di hardware a una singola replica del modello.

L'articolo originale cita una stima esterna di tokenomics che modella GPT-5.6 Sol come un sistema da tre trilioni di parametri che richiederebbe circa 70 sistemi su scala wafer sotto un insieme di ipotesi.

Importante: La stima di 70-100 wafer e la descrizione di "un wafer per strato" rimangono speculazioni informate. OpenAI e Cerebras non hanno confermato pubblicamente questa topologia fisica.

Perché la Cache KV Diventa un Vincolo Critico

Il calcolo è solo una parte del problema. I modelli autoregressivi mantengono anche una cache chiave-valore, comunemente chiamata cache KV, in modo da poter riutilizzare le informazioni dai token precedenti invece di ricalcolare l'intera sequenza.

Per i modelli a contesto lungo, questa cache può consumare una grande quantità di memoria. La sfida diventa più severa quando il sistema deve supportare molte richieste simultanee.

I processori su scala wafer di Cerebras includono grandi quantità di veloce SRAM on-chip. Questa memoria offre una larghezza di banda eccezionale, ma è comunque una risorsa limitata e preziosa. Un'architettura di attenzione convenzionale con un'impronta di cache KV pesante potrebbe consumare troppa capacità e ridurre i vantaggi di mantenere il lavoro vicino al processore.

Questo porta alla teoria che GPT-5.6 Sol possa utilizzare un'architettura progettata attorno a requisiti di cache inferiori. Le possibilità discusse nell'articolo includono:

1. Un design della cache KV altamente compresso o altrimenti ottimizzato
2. Tecniche di attenzione a query raggruppate, multi-query o latente
3. Un'architettura ibrida che combina strati Transformer con componenti a spazio di stato
4. Altre modifiche hardware-aware che riducono il traffico di memoria per token generato

Il design esatto è sconosciuto. OpenAI non ha pubblicato abbastanza dettagli architetturali per determinare se, e quale, di questi metodi venga utilizzato.

Quello che si può dire con sicurezza è che la co-progettazione hardware-software diventa sempre più importante a questa scala. Un modello ottimizzato solo per cluster di acceleratori generici potrebbe lasciare prestazioni significative inutilizzate su un sistema su scala wafer.

Potrebbero Attenzione e Calcolo FFN Essere Separati?

Un'altra ipotesi è che hardware diverso possa gestire parti diverse del modello.

L'inferenza Transformer è dominata da due grandi categorie di lavoro:

• Attenzione, che elabora le relazioni tra i token ed è fortemente influenzata dalla lunghezza della sequenza e dal comportamento della cache
• Calcolo della rete feed-forward, che spesso è molto intensivo dal punto di vista computazionale e rappresenta una grande parte del modello

parametri

Lo sviluppatore John Lam ha suggerito che gli acceleratori tradizionali potrebbero gestire l'attenzione, mentre i sistemi Cerebras si occuperebbero degli strati della rete feed-forward. Questo tipo di decomposizione attenzione-FFN potrebbe assegnare ogni carico di lavoro all'architettura hardware più adatta.

Ancora una volta, si tratta di un'ipotesi, non di un dettaglio divulgato sul dispiegamento di GPT-5.6. È tecnicamente rilevante perché i sistemi di inferenza eterogenei stanno diventando più pratici. Invece di aspettarsi che un singolo acceleratore esegua tutte le operazioni altrettanto bene, i fornitori possono suddividere un modello su sistemi specializzati di calcolo, memoria e rete.

Il costo è una maggiore complessità del sistema. La pianificazione, il trasferimento delle attivazioni, la gestione dei guasti e il controllo della latenza diventano tutti più difficili quando una richiesta attraversa più tipi di hardware.

Il precedente Kimi K2.6

Cerebras ha già dimostrato che i sistemi wafer-scale possono servire modelli mixture-of-experts molto grandi a velocità insolitamente elevate.

Nel suo materiale ufficiale su Kimi K2.6, Cerebras descrive un modello open-weight da un trilione di parametri servito a quasi 1.000 token al secondo. L'azienda afferma che i pesi del modello possono essere distribuiti su più wafer mentre le attivazioni fluiscono tra di essi. Descrive inoltre l'archiviazione dei pesi originali a precisione inferiore mentre si calcola a precisione maggiore, supportata da kernel personalizzati e decodifica speculativa.

Questa è una prova importante che l'inferenza multi-wafer è reale e operativa. Tuttavia, non dimostra che GPT-5.6 Sol utilizzi la stessa configurazione, la stessa strategia di precisione o la stessa partizione del modello.

Il dispiegamento di Kimi mostra comunque perché Cerebras sia rilevante per la strategia di latenza di OpenAI. I sistemi wafer-scale sono costruiti attorno a una larghezza di banda intra-dispositivo estremamente elevata e a una dipendenza ridotta dalla comunicazione tra molti pacchetti di acceleratori separati.

L'annuncio di partnership di OpenAI del gennaio 2026 affermava che l'azienda prevedeva di aggiungere 750 MW di potenza di calcolo Cerebras a latenza ultra-bassa. L'obiettivo era semplice: ridurre la latenza di inferenza e rendere l'esperienza interattiva con l'IA più immediata.

GPT-5.6 Sol e accesso limitato ad alta velocità

OpenAI ha inizialmente descritto la versione di GPT-5.6 Sol supportata da Cerebras come un'implementazione limitata per clienti selezionati, mentre la capacità veniva ampliata.

Tale limitazione è comprensibile. Un'implementazione che dedica decine di sistemi wafer-scale a ogni replica del modello sarebbe costosa, con capacità limitata e

difficile da scalare istantaneamente. L'accesso ad alta velocità può quindi essere posizionato per primo per carichi di lavoro in cui la latenza ha un valore commerciale diretto.

Esempi includono:

• Agenti di codifica interattivi
• Sistemi di assistenza clienti in tempo reale
• Agenti di ricerca finanziaria o operativa
• Flussi di lavoro scientifici con chiamate a strumenti ripetute
• Applicazioni vocali e per uso su computer
• Automazione aziendale ad alto valore

L'attuale documentazione di GPT-5.6 di OpenAI elenca Sol, Terra e Luna nei prodotti supportati e nell'accesso API. La speciale configurazione da 750 token al secondo basata su Cerebras potrebbe ancora avere vincoli separati di capacità, idoneità o instradamento rispetto all'accesso standard di GPT-5.6.

Jalapeño: il chip di inferenza personalizzato di OpenAI

La partnership con Cerebras si inserisce in una strategia infrastrutturale più ampia di OpenAI.

Nel giugno 2026, OpenAI e Broadcom hanno svelato ufficialmente Jalapeño, il primo Processore per Intelligenza di OpenAI. È un acceleratore personalizzato progettato fin dall'inizio per l'inferenza moderna di LLM, e non un processore generico adattato da carichi di lavoro più datati.

Secondo OpenAI, il chip è stato sviluppato basandosi sulla roadmap dei modelli dell'azienda, sui kernel, sui sistemi di servizio, sul movimento della memoria, sui requisiti di rete e sulle esigenze dei prodotti. Broadcom contribuisce con l'implementazione del silicio e l'esperienza nelle reti, mentre Celestica supporta l'integrazione a livello di scheda e rack.

OpenAI afferma inoltre che il primo chip è passato dalla progettazione iniziale alla produzione in nove mesi, con modelli di intelligenza artificiale che hanno assistito parti del processo di progettazione e ottimizzazione.

Diversi punti sono già confermati:

• Jalapeño è progettato per l'inferenza di LLM
• Ha lo scopo di supportare i modelli attuali e futuri in tutto il settore
• I campioni ingegneristici stanno eseguendo carichi di lavoro di machine learning in laboratorio
• OpenAI prevede prestazioni sostanzialmente migliori per watt rispetto agli attuali sistemi all'avanguardia
• È previsto un rapporto tecnico più dettagliato sulle prestazioni
• La piattaforma fa parte di una roadmap multi-generazionale

Jalapeño non rende superflua la partnership con Cerebras. Piuttosto, i due sforzi possono essere considerati complementari. Cerebras fornisce a OpenAI l'accesso a un'architettura a bassissima latenza già consolidata, mentre Jalapeño le garantisce un maggiore controllo a lungo termine sulla propria pila di inferenza.

La strategia infrastrutturale a tutto tondo di OpenAI

Il cambiamento più grande è chiaro: le aziende AI all'avanguardia non trattano più l'hardware come un livello neutrale al di sotto del modello.

OpenAI sta ora lavorando su:

• Architettura del modello
• Kernel di training e inferenza
• Sistemi di memoria
• Reti
• Pianificazione
• Infrastruttura di deployment
• Silicio personalizzato
• Prodotti per l'utente finale

Ciò consente all'azienda di ottimizzare la pila attorno a un obiettivo condiviso. Un cambiamento nell'architettura del modello può ridurre la pressione sulla memoria. Un chip può essere progettato attorno ai kernel più comuni del modello. La rete può essere scelta in base ai pattern di movimento delle attivazioni e dei parametri che contano di più. I sistemi di servizio possono quindi tradurre questi guadagni in latenza inferiore o costo inferiore.

Il risultato è un ciclo di feedback:

1. Modelli migliori aiutano gli ingegneri a progettare e ottimizzare l'infrastruttura.
2. Un'infrastruttura migliore rende il training e l'inferenza più efficienti.
3. Una maggiore efficienza consente di servire modelli più grandi o più veloci.
4. Modelli più veloci e

Modelli capaci creano prodotti migliori e un maggiore utilizzo.
5. Un maggiore utilizzo finanzia la successiva generazione di infrastrutture.

La configurazione GPT-5.6 Sol a 750 token al secondo è quindi più di una dimostrazione di velocità. È un esempio di modello, hardware, rete e software di servizio progettati come un unico sistema.

Cosa è confermato e cosa resta speculativo?

Confermato da fonti ufficiali

• OpenAI ha lanciato la famiglia GPT-5.6, inclusi Sol, Terra e Luna.
• GPT-5.6 Sol è il modello più avanzato della famiglia.
• OpenAI ha annunciato GPT-5.6 Sol su Cerebras a una velocità fino a 750 token al secondo.
• OpenAI e Cerebras hanno una grande partnership infrastrutturale incentrata sull'inferenza a latenza ultra-bassa.
• Cerebras ha dimostrato un servizio di quasi 1.000 token al secondo per il modello Kimi K2.6 da un trilione di parametri.
• OpenAI e Broadcom hanno svelato l'acceleratore di inferenza LLM Jalapeño.
• Jalapeño è stato progettato con il supporto di OpenAI, Broadcom e Celestica.

Non confermato pubblicamente

• Il numero totale di parametri di GPT-5.6 Sol
• Il numero di parametri attivi per token
• Il numero esatto di layer del modello
• Una distribuzione su esattamente 70-100 wafer
• Una mappatura rigorosa di un layer per wafer
• Un'architettura ibrida a spazio degli stati
• L'uso di tecniche di cache simili a DeepSeek
• Una suddivisione con attenzione su GPU e FFN su Cerebras

Trattare queste categorie separatamente è essenziale. Le idee speculative sono tecnicamente plausibili e utili per comprendere il problema della progettazione del sistema, ma non dovrebbero essere presentate come specifiche ufficiali di GPT-5.6.

FAQ

Cos'è GPT-5.6 Sol?

GPT-5.6 Sol è il modello più avanzato della famiglia GPT-5.6 di OpenAI. OpenAI lo posiziona per lavori professionali complessi in ambito di programmazione, ricerca, uso del computer, scienza, cybersecurity e altri flussi di lavoro agentivi impegnativi.

GPT-5.6 Sol è ufficialmente in esecuzione a 750 token al secondo?

OpenAI ha annunciato una configurazione GPT-5.6 Sol basata su Cerebras in grado di funzionare fino a 750 token al secondo. La velocità effettiva dell'applicazione può comunque variare in base alla dimensione del prompt, all'uso di strumenti, alle impostazioni di ragionamento, alla latenza di rete e alla capacità.

GPT-5.6 Sol utilizza davvero 100 wafer Cerebras?

Questo numero proviene da stime tecniche esterne, non da una divulgazione ufficiale dell'architettura. OpenAI e Cerebras non hanno confermato il numero di wafer del modello né il suo design di distribuzione fisica esatto.

Cosa significa "un wafer per layer"?

Descrive una pipeline in cui ogni sistema su larga scala su wafer contiene e calcola un layer principale del modello, passando le attivazioni allo stadio successivo. Il design potrebbe mantenere un'elevata produttività di token dopo il riempimento della pipeline, ma rimane una teoria su GPT-5.6 Sol piuttosto che un fatto confermato.

Perché la dimensione della cache KV è importante per l'inferenza su wafer?

La cache KV cresce con la lunghezza del contesto, l'architettura del modello, la dimensione del batch e gli utenti concorrenti. Anche la memoria su chip molto veloce ha una capacità limitata, quindi ridurre la dimensione della cache e il movimento della memoria può essere essenziale per un servizio a bassa latenza.

Cerebras è più veloce di un cluster GPU?

Cerebras può essere sostanzialmente più veloce per determinati carichi di lavoro di inferenza perché la sua architettura su wafer offre un'elevata larghezza di banda su dispositivo ed evita alcuni overhead di comunicazione.

riscontrato nei sistemi multi-GPU. Le prestazioni dipendono comunque dal modello, dalla dimensione del batch, dalla precisione, dal contesto e dalla configurazione di servizio.

Cos'è il chip Jalapeño di OpenAI?

Jalapeño è il primo processore intelligente personalizzato di OpenAI, sviluppato in collaborazione con Broadcom per l'inferenza dei LLM. OpenAI afferma che fa parte di una piattaforma di calcolo completa multigenerazionale ed è progettato per migliorare prestazioni, efficienza e scalabilità.

Gli sviluppatori possono accedere a GPT-5.6 Sol tramite API?

Sì. La documentazione API di OpenAI elenca GPT-5.6 Sol e identifica gpt-5.6 come alias che instrada al livello Sol. La disponibilità, i limiti di richiesta, i prezzi e le funzionalità supportate dipendono dall'account dello sviluppatore e dai termini API correnti.

Strumenti correlati

• API OpenAI: Crea applicazioni con modelli GPT-5.6, strumenti, output strutturati e flussi di lavoro agentici.
• Playground OpenAI: Testa i prompt del modello, le impostazioni di ragionamento e il comportamento dell'API prima dell'implementazione.
• Cerebras Cloud: Accedi all'inferenza ad alta velocità alimentata dai sistemi su wafer Cerebras.
• ChatGPT: Utilizza le opzioni di ragionamento GPT-5.6 supportate tramite l'interfaccia conversazionale di OpenAI.
• Codex: Applica i modelli GPT a codifica, lavoro su repository e attività software di lunga durata.

Link correlati

• Lancio ufficiale di GPT-5.6: Panoramica ufficiale di OpenAI sulla famiglia GPT-5.6, le capacità, i prezzi e la disponibilità.
• Documentazione del modello API GPT-5.6 Sol: Limiti di contesto ufficiali, prezzi, modalità, endpoint e strumenti supportati.
• Partnership OpenAI e Cerebras: Annuncio di OpenAI di 750 MW di potenza di calcolo Cerebras a latenza ultra-bassa.
• Inferenza Enterprise Cerebras Kimi K2.6: Dettagli ufficiali sul servire un modello da un trilione di parametri a quasi 1.000 token al secondo.
• OpenAI e Broadcom svelano Jalapeño: Annuncio ufficiale del primo processore di inferenza LLM personalizzato di OpenAI.
• Centro per la sicurezza del deployment di GPT-5.6: Valutazioni di sicurezza e informazioni sul deployment di OpenAI per GPT-5.6.

Riepilogo

Il picco riportato di 750 token al secondo di GPT-5.6 Sol mostra come l'inferenza a bassa latenza possa cambiare il comportamento pratico degli agenti AI. Il miglioramento più importante non è solo la generazione di testo più veloce, ma ritardi più brevi in cicli ripetuti di ragionamento, uso di strumenti, codifica e controllo del computer.

Cerebras ha già dimostrato che i sistemi su wafer possono servire modelli da un trilione di parametri a quasi 1.000 token al secondo. Ciò rende plausibile una grande distribuzione multi-wafer di GPT-5.6, ma i conteggi di parametri, wafer, architettura della cache e suddivisione attenzione-FFN ampiamente discussi rimangono stime esterne.

La partnership di OpenAI con Cerebras e il suo chip personalizzato Jalapeño puntano nella stessa direzione: i prossimi miglioramenti nell'IA deriveranno sempre più dalla co-progettazione di modelli, memoria, rete, acceleratori e servizio.

Sistemi insieme.

Il breakthrough confermato è l'inferenza all'avanguardia di 750 token al secondo; la configurazione hardware esatta alla base non è stata ancora divulgata pubblicamente.