Fable 5 Scrive un Megakernel CUDA su KernelBench-Mega: 18,7x di Accelerazione in 2,5 Ore

Introduzione

Fable 5 è diventato il centro di un nuovo dibattito nell'ingegneria dell'IA dopo aver apparentemente scritto il primo vero megakernel CUDA mai inviato a KernelBench-Mega. Il risultato è sorprendente: un'accelerazione della decodifica di 18,71x su una configurazione RTX PRO 6000 Blackwell, ottenuta in una singola sessione autonoma di circa 2,5 ore.

Il titolo non è solo che un sistema di IA ha scritto codice veloce di basso livello. Il punto più importante è la forma della soluzione. Invece di cucire insieme diversi kernel GPU più piccoli, Fable 5 ha fuso il flusso di lavoro di decodifica in un singolo lancio di kernel cooperativo per token. Questa è la parte che ha attirato l'attenzione di ricercatori e ingegneri.

Questo articolo mantiene la struttura originale e il significato tecnico, ma riscrive la storia in un inglese più chiaro per la pubblicazione. Spiega cosa sta testando KernelBench-Mega, perché questo risultato è importante, come il megakernel differisce dalla generazione ordinaria di kernel GPU, e perché alcuni ricercatori lo collegano all'idea di auto-miglioramento ricorsivo.

Fable 5 Raggiunge 18,7x e Supera GPT-5.5

Il risultato del benchmark proviene da KernelBench-Mega, un benchmark incentrato sulla generazione di megakernel a blocchi completi piuttosto che sull'ottimizzazione di operatori isolati. In questa esecuzione, Fable 5 ha preso di mira 02_kimi_linear_decode, un'attività di decodifica ibrida Kimi-Linear W4A16 che utilizza pesi a 4 bit e attivazioni bf16.

La configurazione riportata era rigorosa: una sessione autonoma, un tetto di 3 ore di tempo reale, e un vero harness di benchmark. Entro questo limite, Fable 5 ha raggiunto un'accelerazione della decodifica di 18,71x rispetto al riferimento PyTorch ottimizzato.

Il confronto rende il risultato più facile da comprendere:

Modello	Velocità Riportata	Note
Fable 5	18,71x	Megakernel CUDA, singolo percorso di lancio fuso
Claude Opus 4.8	14,40x	Buon risultato, ma non lo stesso pattern di megakernel CUDA singolo
GPT-5.5	4,34x	Accelerazione molto inferiore su questo compito
Claude Sonnet 5	4,03x	Gamma simile a GPT-5.5 su questa classifica

oss-cn-beijing.aliyuncs.com/cms-assets/image/2026/07/ce6c9cad-7360-4ac5-854b-279a01ab49ee-04-4d685459-6d03-4b22-840d-4e6787d38b10.png)

Anche la suddivisione per lunghezza del contesto è importante. Secondo la classifica mostrata, Fable 5 è rimasto performante all'aumentare del contesto:

• Contesto 2K: circa 17,8x
• Contesto 8K: circa 18,9x
• Contesto 16K: circa 19,5x

Questo è controintuitivo a prima vista. Un contesto più lungo di solito aumenta il costo dell'attenzione e della gestione della KV-cache. Molti sistemi iniziano a perdere prestazioni in queste condizioni. Il risultato di Fable 5 suggerisce che il design fuso ha ridotto l'overhead di avvio abbastanza da rendere il suo vantaggio relativo maggiore all'aumentare del carico di lavoro.

Perché KernelBench-Mega è più difficile di un normale benchmark di kernel

KernelBench-Mega non chiede semplicemente a un modello di ottimizzare un piccolo operatore. Chiede all'agente di fondere un blocco di modello più grande in un megakernel a blocco intero. Questo è importante perché la parte difficile non è più semplicemente scrivere codice CUDA o Triton sintatticamente valido. La parte difficile è gestire molte fasi di calcolo interagenti all'interno di un unico percorso efficiente.

Il compito 02_kimi_linear_decode include un carico di lavoro di decodifica ibrido per Kimi-Linear W4A16. In termini pratici, il modello deve gestire pesi quantizzati, attivazioni bf16, stato relativo all'attenzione, routing, normalizzazione e comportamento della cache.

Questo è il motivo per cui questo benchmark è un test di stress significativo per il codice a basso livello generato dall'IA. Un semplice aumento di velocità su un piccolo operatore isolato è utile, ma un megakernel a blocco intero è più vicino al tipo di lavoro di ottimizzazione che può influenzare i sistemi di inferenza reali.

Il primo vero "Megakernel"

L'affermazione tecnica più importante è che Fable 5 ha prodotto il primo vero megakernel nella storia di KernelBench-Mega.

Un megakernel comprime un percorso di inferenza più ampio in un unico kernel. Invece di lanciare diversi kernel separati e spostare il controllo avanti e indietro, mantiene il lavoro all'interno di un flusso di esecuzione coordinato. Questo è difficile perché il kernel deve coordinare molte fasi pur mantenendo la correttezza.

In questo caso, il rapporto afferma che torch.profiler ha mostrato esattamente un avvio di kernel cooperativo per token decodificato. Quel singolo avvio ha gestito il lavoro che normalmente sarebbe suddiviso in diverse fasi, tra cui:

• Dequantizzazione int4
• Convoluzione
• Attivazione SiLU
• Stato delta gated KDA
• Gestione dell'attenzione latente MLA
• Routing MoE e selezione top-8 degli esperti
• Operazioni relative a RMSNorm
• Scritture nella KV-cache

![L'immagine è un tweet che afferma che Fable è il primo modello a generare un vero superkernel (megakernel) GPU, con una velocità di esecuzione 18,7 volte superiore all'implementazione di riferimento. Il tweet cita le parole del fondatore di Fable, Fabien Mikol: "I Megakernel sono tra le cose più difficili da implementare nella programmazione GPU - solo pochissime persone al mondo sono in grado di scriverli." Sotto l'immagine c'è l'opzione "Valuta questa traduzione", e mostra anche i dati di esecuzione su RTX 4090 per diversi modelli, con Fable a 10,71x. Questa immagine è strettamente correlata al contesto e mostra visivamente i vantaggi di Fable nei superkernel GPU.](https://we0-cms.oss-cn-beijing.aliyuncs.

com/cms-assets/image/2026/07/0284bb32-eef6-4fc5-93a4-b8b21ae807ea-06-8afeece2-a6c6-493a-ba7e-b089780ec8a1.png)

Secondo quanto riportato, altre soluzioni con punteggi elevati suddividevano il lavoro in un numero compreso tra 4 e 14 lanci distinti del kernel. Fable 5 ha invece compresso il percorso temporizzato in un unico lancio cooperativo. È questa la differenza tra un "codice kernel generato rapidamente" e un artefatto di programmazione GPU molto più aggressivo.

Come un singolo lancio del kernel modifica il profilo delle prestazioni

I lanci dei kernel non sono gratuiti. Ogni lancio comporta un overhead, costi di sincronizzazione e interruzioni di schedulazione. In un carico di lavoro di decodifica, questi costi possono diventare particolarmente onerosi, perché il lavoro si ripete token dopo token.

L'approccio di Fable 5 riduce questo overhead ripetuto concentrando le fasi di decodifica in un unico percorso cooperativo. Il rapporto originale descrive la soluzione come l'utilizzo di 14 barriere di griglia per scandire il calcolo all'interno dello stesso lancio.

Ecco perché il risultato non riguarda solo un'abile matematica. Riguarda l'esecuzione a livello di sistema sulla GPU. Quando altre soluzioni escono e rientrano ripetutamente nei kernel, perdono tempo nei passaggi di consegna. Fable 5 evita gran parte di questo costo mantenendo la pipeline fusa.

In parole semplici: altri svolgono il lavoro in più viaggi; Fable 5 cerca di farlo in uno solo.

2,5 ore e circa 550.000 token

Un altro aspetto notevole dell'esecuzione è come il modello ha impiegato il suo tempo. Non ha iniziato immediatamente a scaricare codice CUDA finale. La traccia suggerisce un flusso di lavoro più misurato.

Per gran parte della sessione, Fable 5 ha eseguito il benchmark della baseline, esplorato i costi delle barriere di griglia e ragionato sulla larghezza di banda della memoria. L'articolo descrive che circa il 64% della sessione è stato dedicato a misurazioni e progettazione prima dell'implementazione principale.

Una volta scritta la versione iniziale, il primo benchmark avrebbe raggiunto circa 14,4x. Fable 5 ha quindi utilizzato il tempo rimanente per rimuovere le barriere, ottimizzare la dequantizzazione int4, testare le modifiche e annullare un'ottimizzazione negativa quando la misurazione mostrava che era peggiorativa.

L'esecuzione completa è durata circa 2,5 ore e ha utilizzato circa 550.000 token di output. Il dettaglio chiave non è solo la scala. È il comportamento: fare benchmark, costruire, misurare, annullare quando necessario e ottimizzare basandosi sui dati piuttosto che sulla sicurezza.

La fonte originale nota anche che Fable 5 è descritta come una versione più sicura o ridotta del modello Mythos interno di Anthropic. Tale affermazione va letta come parte della narrazione della fonte, non come un annuncio di prodotto pubblico.

"Il ciclo di auto-miglioramento dell'AI è iniziato"

La discussione più ampia è nata dalla newsletter Import AI di Jack Clark. In quella

issue, Clark ha presentato il risultato relativo al kernel GPU come un segnale che i sistemi di IA stanno migliorando nell'automatizzare parti della stessa ricerca e sviluppo dell'IA.

La logica è diretta:

1. Sistemi di IA migliori possono scrivere kernel di basso livello migliori.
2. Kernel migliori possono rendere l'addestramento e l'inferenza più veloci o più economici.
3. Sistemi di IA più veloci ed economici possono aiutare a costruire la generazione successiva.
4. La generazione successiva potrebbe diventare ancora più abile nello scrivere kernel.

Ecco perché in questa discussione compare l'espressione "auto-miglioramento ricorsivo". Non significa che un ciclo di fuga autonomo e completo sia già avvenuto. Significa che un pezzo del ciclo — l'IA che migliora l'infrastruttura utilizzata per costruire l'IA — sta diventando più visibile e misurabile.

Dalla scrittura di kernel al lavoro a distanza

L'articolo originale collega anche questo risultato sui kernel a parametri di automazione più ampi. Import AI discute l'Indice di Lavoro a Distanza, dove gli agenti di IA vengono valutati su progetti online economicamente utili.

Il punto non è che la scrittura di kernel CUDA e l'automazione dei lavori freelance siano la stessa cosa. Non lo sono. Ma entrambi puntano nella stessa direzione: i sistemi di IA avanzati stanno migliorando in compiti più lunghi e strutturati che richiedono pianificazione, uso di strumenti, verifica e iterazione.

Un commento nella fonte cattura bene la preoccupazione: una volta che un modello può scrivere kernel che rendono i modelli più veloci, lo strumento non sta più solo aiutando gli utenti. Sta anche migliorando parti della propria base.

Ed è qui che la verifica diventa critica. Un kernel che sembra corretto non è necessariamente più veloce. Un kernel che sembra più veloce potrebbe contenere problemi di correttezza sottili. Con il lavoro su GPU di basso livello, il ciclo di revisione deve rimanere rigoroso.

Progressi rapidi, vera cautela

La storia ha due facce. Da un lato, il risultato è entusiasmante. I sistemi di IA stanno ora producendo artefatti di prestazioni di basso livello che un tempo erano limitati a un piccolo numero di programmatori GPU esperti.

![L'immagine mostra un commento di un utente chiamato "Pristine-Today-9177" pubblicato 9 ore fa. Il commento è in inglese e esprime stupore per il fatto che un collo di bottiglia importante a livello di esperti sia stato ora automatizzato a un livello sovrumano, e quanto sia fantastico vivere in quest'epoca. Sotto c'è anche la traduzione in cinese. L'immagine si trova nella sezione "Progressi rapidi, vera cautela" del documento, ed è un commento sul fenomeno della generazione di codice di prestazioni di basso livello da parte dei sistemi di IA, esprimendo stupore e ammirazione per questo progresso tecnologico.](https://we0-cms.oss-cn-beijing.aliyuncs.

com/cms-assets/image/2026/07/0fdc859f-d6a1-47e7-b2ba-5e2fefcf3a3f-12-593ae533-5c09-47f2-840c-11d03c53dc3a.png)

D'altro canto, è esattamente questo tipo di capacità che merita un'attenta considerazione. La stessa edizione della newsletter immagina un futuro in cui l'informatica general-purpose diventa così potente e pericolosa da spingere le persone a tentare di limitarla. Quel finale immaginario non è una previsione, ma riflette il disagio legato all'accelerazione dei sistemi tecnici.

Poco più di un anno dopo che il lavoro originale di KernelBench aveva mostrato quanto potessero essere difficili i kernel generati dall'IA, questo risultato suggerisce un salto significativo. Fable 5 non si è limitata a generare un kernel funzionante. Ha prodotto un percorso megakernel fuso che ha raggiunto la vetta di un benchmark difficile in una singola sessione limitata.

Per l'infrastruttura dell'IA, questo è un segnale serio.

Note sulla fonte

• Fonte originale: Articolo di BAAI Hub.
• L'articolo originale cita report e discussioni da Import AI 464, KernelBench-Mega, post di Elliot Arledge su X e una discussione su Reddit.
• L'articolo originale include diversi divisori di branding, loghi decorativi, grafiche di coinvolgimento e una foto di persona. Questi sono stati intenzionalmente esclusi in quanto non necessari per il flusso di lettura tecnico.
• Non erano presenti blocchi di codice autonomi nella fonte. Identificatori tecnici in linea come 02_kimi_linear_decode e torch.profiler sono stati preservati.

FAQ

Cos'è KernelBench-Mega?

KernelBench-Mega è un benchmark focalizzato sulla generazione di megakernel a blocchi interi. Invece di chiedere a un modello di ottimizzare un singolo operatore isolato, gli chiede di fondere un carico di lavoro più ampio in un percorso kernel efficiente e quindi misura le prestazioni reali.

Cosa ha ottenuto Fable 5 su KernelBench-Mega?

Si dice che Fable 5 abbia raggiunto un'accelerazione del decode di 18,71x rispetto a un riferimento PyTorch ottimizzato nel compito 02_kimi_linear_decode. Il risultato è stato prodotto all'interno di una singola sessione autonoma con un limite di 3 ore.

Perché è difficile scrivere un megakernel CUDA?

Un megakernel deve coordinare molte fasi di calcolo all'interno di un unico lancio di kernel. Ciò significa che l'implementazione deve gestire il movimento dei dati, la sincronizzazione, la correttezza numerica, la larghezza di banda della memoria e l'ordine di esecuzione senza suddividere il lavoro in kernel più piccoli e più sicuri.

Perché è importante un singolo lancio di kernel?

Ogni lancio di kernel GPU ha un overhead. Nel decoding token per token, i lanci ripetuti possono accumularsi rapidamente. Un singolo lancio fuso può ridurre l'overhead di sincronizzazione e pianificazione, motivo per cui è fondamentale.

L'approccio di Fable 5 è tecnicamente significativo.

Questa è una prova di auto-miglioramento ricorsivo?

Non è una prova di un ciclo completo di auto-miglioramento autonomo. È meglio inteso come un segnale concreto che i sistemi di IA stanno iniziando ad automatizzare compiti che possono migliorare l'infrastruttura dell'IA, come la progettazione del kernel e l'ottimizzazione dell'inferenza.

Questo tipo di codice CUDA generato dall'IA può essere utilizzato in produzione?

Non direttamente senza un'attenta revisione. Il codice performante richiede controlli rigorosi di correttezza, profilazione, test di regressione e validazione hardware-specifica. Un risultato veloce nel benchmark è promettente, ma il deployment in produzione richiede molta più verifica.

Quali strumenti sono utili per studiare questo risultato?

KernelBench-Mega fornisce la classifica e gli artefatti delle esecuzioni. PyTorch profiler, gli strumenti CUDA, i dataset di trace di Hugging Face e gli strumenti di profilazione GPU sono utili per capire come si comporta il kernel generato.

Strumenti correlati

• KernelBench-Mega: La pagina del benchmark per i risultati dei megakernel a blocco intero e gli artefatti delle esecuzioni.
• Repository GitHub di KernelBench: Il framework originale del benchmark per valutare i kernel GPU generati da LLM.
• NVIDIA CUDA Toolkit: Il toolkit principale per scrivere, compilare e profilare applicazioni CUDA.
• PyTorch Profiler: Uno strumento di profilazione utilizzato per ispezionare i tempi di esecuzione, i lanci del kernel e il comportamento runtime nei carichi di lavoro PyTorch.
• Hugging Face Datasets: Una piattaforma per ospitare dataset e trace di benchmark, inclusi gli artefatti delle esecuzioni di KernelBench.
• Triton: Un linguaggio e compilatore per scrivere kernel GPU personalizzati spesso utilizzati nell'ingegneria delle performance dell'IA.

Link correlati

• Leaderboard di KernelBench-Mega: Classifica ufficiale e spiegazione per il benchmark megakernel.
• Hub dei Risultati di KernelBench: Risultati pubblici del benchmark, visualizzatori di trascrizioni e dataset.
• Import AI 464: Il numero della newsletter di Jack Clark che discute di Fable, kernel GPU, automazione IA e calcolo analogico.
• Trace KernelBench-Mega di Fable 5: Il trace di esecuzione menzionato nell'articolo originale.
• Articolo di KernelBench su arXiv: L'articolo di ricerca che introduce KernelBench come benchmark per i kernel GPU generati da LLM.
• Repository ScalingIntelligence KernelBench: Codice sorgente e strumenti di valutazione per il progetto originale KernelBench.
• Discussione su Reddit: Discussione della community menzionata nell'articolo di partenza.

Riepilogo

Questo articolo spiega perché il risultato riportato di Fable 5 su KernelBench-Mega è più di un'altra vittoria in un benchmark. Il dettaglio importante è

Megakernel CUDA a lancio singolo: un percorso unificato che ha gestito un carico di lavoro di decodifica complesso con un overhead di lancio molto inferiore rispetto alle soluzioni multi-kernel.

Il risultato è importante anche perché indica che i sistemi di IA stanno diventando più abili nelle attività di ingegneria delle prestazioni che supportano lo sviluppo dell'IA stessa. Kernel più veloci possono rendere l'inferenza e l'addestramento più efficienti, creando un ciclo di feedback che vale la pena osservare.

Allo stesso tempo, il codice a basso livello generato dall'IA non dovrebbe essere considerato pronto per la produzione di default. La correttezza, il profiling, il comportamento hardware e i test di regressione contano ancora.

La vera conclusione: il megakernel di Fable 5 è un segnale forte che l'ingegneria delle prestazioni GPU assistita dall'IA sta passando dal territorio delle demo a un lavoro infrastrutturale serio.