L'AI ha davvero rotto il fossato CUDA di NVIDIA? Ecco cosa ha costruito Infinity in 10 ore
Il fossato CUDA di NVIDIA è stato dichiarato morto così tante volte che ormai è quasi un rito del settore. Un nuovo acceleratore appare. Un compilatore entra in beta. Un provider cloud...
L'IA ha forse infranto il fossato difensivo CUDA di NVIDIA? Cosa ha costruito realmente Infinity in 10 ore
Introduzione
Il fossato difensivo CUDA di NVIDIA è stato dichiarato morto così tante volte che ormai è quasi diventato un rito del settore.
Un nuovo acceleratore viene presentato. Un compilatore entra in fase di beta testing pubblico. Un provider cloud promuove il proprio chip IA. Un'astrazione di programmazione promette kernel portabili. Qualcuno annuncia che gli sviluppatori non dovranno più scrivere CUDA a mano.
Eppure, CUDA continua a occupare una posizione centrale nella prossima generazione di infrastrutture IA.
La sfida più recente è interessante perché arriva dall'IA stessa.
Infinity, una startup di infrastrutture IA fondata dall'ex ricercatore di Google Brain Jeremy Nixon, afferma che il suo agente Ignition ha trasferito componenti cruciali dello stack software di inferenza sull'acceleratore d-Matrix Corsair, fino ad allora sconosciuto, a una velocità di gran lunga superiore ai processi ingegneristici tradizionali.
Il risultato più eclatante: in circa 10 ore, Ignition ha implementato la moltiplicazione di matrici con parallelismo tensoriale su tutti i 32 unità di calcolo, raggiungendo il 92% del tetto di calcolo misurato del chip.
È un risultato significativo. Ma non equivale a ricostruire CUDA in 10 ore.
Lo stesso case study di Infinity sottolinea che il percorso completo di inferenza end-to-end di Qwen3 ha richiesto circa 10 giorni, con ogni operazione necessaria riscritta per il nuovo hardware. E CUDA non è un'implementazione di moltiplicazione di matrici o un runtime di modelli. È una piattaforma matura che comprende compilatori, runtime, librerie, strumenti di profiling e debugging, sistemi di comunicazione, integrazione con framework, documentazione e quasi vent'anni di esperienza produttiva.
La domanda migliore non è se l'IA abbia replicato CUDA dall'oggi al domani.
È se gli agenti di codifica possano ridurre drasticamente il tempo necessario per rendere utile un nuovo chip IA.
La risposta tende sempre più verso "sì".
Il fossato di CUDA non è mai stato solo la GPU
NVIDIA è più conosciuta per l'hardware: H100, Blackwell, Rubin e i grandi sistemi costruiti attorno a essi.
Il suo vantaggio più duraturo è il software costruito attorno all'hardware.
CUDA sta per Compute Unified Device Architecture. NVIDIA lo descrive come una piattaforma di calcolo accelerato, non semplicemente un linguaggio di programmazione.
La piattaforma CUDA include:
- Modello di programmazione GPU.
- Toolchain del compilatore.
- Librerie runtime.
- Interfacce driver.
- Librerie matematiche e IA altamente ottimizzate.
- Strumenti di debug e profiling.
- Software di comunicazione multi-GPU.
- Integrazione con framework.
- Documentazione, formazione ed esempi di codice.
- Un vasto ecosistema di sviluppatori e partner.
Alla base, CUDA consente agli ingegneri di scrivere kernel che vengono eseguiti direttamente sulla GPU NVIDIA.
Al di sopra vi sono librerie come cuBLAS, cuDNN, cuFFT, NCCL, TensorRT e TensorRT-LLM. Al di sopra delle librerie vi sono PyTorch, TensorFlow, JAX, server di inferenza, codice di ricerca e sistemi interni alle aziende.
Una vista semplificata è la seguente:
Applicazioni e framework IA
↓
Librerie ottimizzate e sistemi distribuiti
↓
Compilatori, runtime, profiler, debugger e kernel
↓
GPU NVIDIA e tecnologie di interconnessione
Le aziende non restano nell'ecosistema NVIDIA solo perché conoscono la sintassi CUDA, ma perché modelli, test, sistemi di deployment, aspettative di performance, flussi di debug e team di produzione dipendono dall'intero stack tecnologico.
Cambiare hardware può significare molto più che tradurre codice sorgente: può richiedere di ricostruire la fiducia.
Cosa ha fatto realmente Infinity in 10 ore
Il case study ufficiale di Infinity è più rigoroso dei titoli virali.
La società ha collaborato con d-Matrix, una startup focalizzata su hardware di inferenza per IA generativa. Il suo acceleratore Corsair utilizza un'architettura e un set di istruzioni diversi rispetto alle GPU NVIDIA. Infinity afferma che il chip aveva pochissima storia software pubblica da cui i modelli di programmazione generali potessero attingere direttamente dai dati di addestramento.
Ignition ha ricevuto le informazioni hardware e ha iniziato a generare il software di basso livello necessario per eseguire carichi di lavoro IA.
Secondo Infinity, in circa 10 ore il sistema ha ottenuto:
- Moltiplicazione di matrici con parallelismo tensoriale.
- Esecuzione su tutte le 32 unità di calcolo Corsair.
- Fino al 92% delle prestazioni "velocità della luce".
Infinity definisce "velocità della luce" come la percentuale del picco di calcolo raggiungibile del chip misurata dai kernel generati. Il tetto empirico nel case study pubblicato è esso stesso circa il 90% del picco teorico.
È un eccellente risultato di avvio rapido dei kernel, ma non è una piattaforma completa ed equivalente a CUDA.
Dieci ore: moltiplicazione di matrici ad alte prestazioni
La moltiplicazione di matrici è al centro dell'inferenza Transformer, ma è solo una delle categorie di operazioni.
Un modello completo richiede anche meccanismi di attenzione, normalizzazione, funzioni di attivazione, routing, quantizzazione, gestione della cache KV, campionamento, movimenti tensoriali, gestione degli stati e lavoro aggiuntivo per il servizio del modello.
Dieci giorni: inferenza del modello end-to-end
Infinity afferma che in circa 10 giorni Qwen3 era operativo end-to-end su Corsair. Il successivo annuncio di finanziamento dichiara che in quel lasso di tempo tre modelli di punta erano operativi end-to-end, con kernel scritti da zero.
Questa timeline più lunga rimane comunque impressionante.
Portare un acceleratore sconosciuto da operazioni di base a un runtime di modelli funzionante, riducendo i tempi da mesi a giorni, potrebbe cambiare radicalmente l'economia del lancio di nuovo hardware.
| Affermazione | Interpretazione più precisa |
|---|---|
| "L'IA ha ricreato CUDA in 10 ore" | Esagerazione |
| Moltiplicazione di matrici operativa in 10 ore | Segnalato da Infinity |
| Prestazioni al 92% del tetto empirico | Segnalato da Infinity |
| Qwen3 operativo end-to-end in circa 10 giorni | Segnalato da Infinity |
| Infinity sta costruendo una libreria di inferenza generica | Confermato da Infinity |
| L'intero ecosistema CUDA è stato replicato | No |
Ignition è un agente di ingegneria automatizzata di kernel e inferenza
Infinity definisce Ignition un agente di ricerca IA.
Il suo scopo è generare e migliorare il software di basso livello che trasforma le operazioni dei modelli in lavoro efficiente su chip specifici.
Il ciclo è simile a un processo automatizzato di performance engineering:
Genera codice
→ Compila
→ Esegui su hardware
→ Verifica correttezza
→ Misura prestazioni
→ Diagnostica colli di bottiglia
→ Modifica implementazione
→ Ripeti
Gli ingegneri umani forniscono ancora obiettivi, informazioni sull'hardware, vincoli, criteri di accettazione e indicazioni di alto livello. Ignition esegue invece gran parte del lavoro ripetitivo di ricerca e ottimizzazione.
Questo tipo di attività è ideale per gli agenti, perché l'ambiente genera un feedback estremamente chiaro.
I kernel generati possono essere valutati rispetto a problemi specifici:
- Compilano?
- Eseguono?
- L'output numerico è corretto?
- Sono stabili?
- Quanta prestazione hardware raggiungono?
- Le modifiche più recenti migliorano i risultati?
L'hardware e i test forniscono una base fattuale oggettiva.
Perché l'ingegneria dei kernel è un problema ideale per gli agenti
Molte attività software hanno criteri di accettazione ambigui. L'ottimizzazione dei kernel, sebbene difficile, ha componenti quantificabili.
Un'implementazione valida deve soddisfare due criteri indipendenti.
Correttezza
Il kernel deve produrre output entro tolleranze numeriche accettabili.
Prestazioni
Il kernel deve utilizzare l'hardware di destinazione in modo sufficientemente efficiente da giustificare la sostituzione dell'implementazione esistente.
L'agente può generare centinaia di candidati, scartare quelli errati, eseguire benchmark su quelli sopravvissuti e ottimizzare continuamente il percorso più promettente.
Lo stesso schema appare negli agenti CUDA di NVIDIA, nella PTX Kernel Factory di INT21, nel lavoro TileKernels di DeepSeek e nei sistemi di ricerca che generano kernel Triton o TileLang.
Il cambiamento recente è che i modelli di base ora possono partecipare a un ciclo più completo, non solo riempire poche righe di codice sintattico.
Infinity raccoglie 15 milioni di dollari con una valutazione di 100 milioni
La storia tecnologica di Infinity ha attratto gli investitori.
L'azienda ha annunciato a luglio 2026 la chiusura di un round seed da 15 milioni di dollari, con una valutazione post-money di 100 milioni di dollari secondo quanto riportato. Touring Capital e Principal Venture Partners hanno partecipato all'investimento, insieme a dirigenti del settore chip e ricercatori legati ai principali laboratori di IA.
Infinity sta costruendo un livello software di inferenza consapevole del modello per fornitori di hardware e provider di servizi di inferenza. Il suo flusso di lavoro dichiarato è essenzialmente:
Specifiche hardware
→ Software di inferenza di livello produttivo generato
È stato inoltre riportato che Infinity ha generato un motore di inferenza NVIDIA da zero, che su Qwen3-8B supera fino al 34,3% le prestazioni di un'implementazione vLLM con configurazione equivalente.
Il risultato è stato auto-riportato dall'azienda e dipende da hardware, impostazioni batch, configurazione del modello e metodologia di misurazione. Tuttavia, ciò indica che l'ambizione di Infinity va ben oltre l'avvio di chip di base.
I TileKernels di DeepSeek richiedono la stessa precisione
Il testo originale menziona anche il repository TileKernels di DeepSeek.
TileKernels è una libreria di kernel GPU ottimizzati scritti con TileLang, un linguaggio domain-specific basato su Python per lo sviluppo di kernel ad alte prestazioni.
Il repository include le seguenti operazioni:
- Gating Mixture of Experts (MoE).
- Routing MoE.
- Quantizzazione FP8 e FP4.
- Trasposizioni.
- Gating Engram.
- Manifold HyperConnection.
- Wrapper per autograd di PyTorch.
DeepSeek afferma che molti kernel sono già vicini ai limiti hardware in termini di intensità computazionale o larghezza di banda di memoria, e alcuni sono già in uso internamente.
TileLang riduce la quantità di codice CUDA C++ di basso livello che gli ingegneri devono scrivere manualmente.
Nella sua forma attuale, non indica che DeepSeek abbia eliminato la dipendenza dallo stack tecnologico NVIDIA.
I requisiti attuali ufficiali di TileKernels includono:
GPU NVIDIA SM90 o SM100
CUDA Toolkit 13.1 o successivo
PyTorch 2.10 o successivo
TileLang 0.1.9 o successivo
La libreria attuale è progettata per le architetture NVIDIA più recenti. Riduce la dipendenza dal codice sorgente CUDA scritto manualmente, ma non riduce la dipendenza dall'hardware NVIDIA o dal toolkit CUDA.
TileLang ha una portata più ampia dell'attuale libreria DeepSeek
TileLang stesso ha ambizioni più ampie.
Il progetto descrive un modello di programmazione a tile (piastrellato) per kernel GPU, CPU e acceleratori, basato sull'infrastruttura del compilatore TVM, con sintassi in stile Python.
Il suo obiettivo è separare il flusso di dati desiderato dall'ingegnere dalla pianificazione di basso livello necessaria per un'esecuzione efficiente.
TileLang ha continuato ad aggiungere supporto per linguaggi multi-backend e percorsi hardware che coinvolgono CUDA, ROCm e Metal.
Questa portabilità può ridurre i costi di cambio fornitore, ma solo se i risultati generati sono corretti, stabili, debuggeabili e competitivi rispetto alle librerie dei fornitori.
Un kernel che funziona ovunque ma con scarse prestazioni non sostituisce un percorso CUDA in produzione.
Il codice corretto può comunque essere centinaia di volte più lento
Un articolo di ricerca del luglio 2026 ha esaminato il divario tra correttezza dei kernel e qualità sostitutiva in Triton e TileLang.
Gli autori hanno scoperto che i kernel possono superare i test di correttezza numerica ma avere prestazioni molto inferiori rispetto alle baseline ottimizzate. È stato riportato che un'implementazione LayerNorm in TileLang, nonostante abbia superato i controlli di correttezza, era oltre 300 volte più lenta della baseline PyTorch.
L'articolo non è contro TileLang, ma sostiene di valutare i kernel generati su due dimensioni:
Correttezza
+
Efficienza hardware
La generazione del codice sta diventando sempre più rapida. Ma dimostrare che il codice generato sia sufficiente a sostituire software di produzione maturo rimane difficile.
L'inferenza è il primo campo di battaglia principale
La sfida a CUDA è più credibile nell'ambito dell'inferenza che nell'addestramento di modelli all'avanguardia.
L'addestramento privilegia scala massima e stabilità
Gli addestramenti su larga scala possono coinvolgere migliaia o decine di migliaia di acceleratori che operano in parallelo per settimane o mesi.
Le piattaforme di addestramento devono gestire comunicazione distribuita su grandi numeri di dispositivi, checkpoint, recupero da guasti, gestione della memoria, parallelismo, riproducibilità e debug.
Un singolo guasto hardware o software può sprecare una quantità enorme di potenza di calcolo. Pertanto, le organizzazioni sono spesso molto caute nel migrare carichi di addestramento critici da sistemi maturi.
CUDA, le librerie CUDA-X, NCCL, il supporto PyTorch e le capacità di rete integrate di NVIDIA danno all'azienda una posizione di forza in quest'area.
L'inferenza si concentra sul costo per risposta utile
L'inferenza è la fase di servizio dopo che il modello ha completato l'addestramento.
Le metriche aziendali rilevanti sono solitamente più vicine a:
Qualità dell'output accettabile
÷
Costo totale del servizio
L'inferenza può essere distribuita su un singolo acceleratore, piccoli cluster, flotte su larga scala e hardware dedicato.
I nuovi chip non devono necessariamente sostituire NVIDIA in tutti gli scenari. Devono solo dimostrare un vantaggio per un determinato modello o carico di lavoro in termini di costo inferiore, velocità maggiore, consumi ridotti, throughput più alto o latenza più prevedibile.
Questo obiettivo più ristretto offre un punto di ingresso realistico per l'hardware specializzato.
d-Matrix è costruita attorno all'inferenza per IA generativa
d-Matrix, fondata nel 2019, si concentra sull'accelerazione dell'inferenza. La sua piattaforma Corsair sfrutta un'ampia SRAM on-chip e mira a ridurre i costi e il consumo energetico dell'esecuzione di modelli generativi.
Il lavoro di Infinity affronta uno dei problemi classici che incontrano i nuovi acceleratori.
Un chip può avere hardware molto promettente, ma fino a quando kernel, esecuzione del modello, gestione della memoria, quantizzazione, logica di servizio e soluzioni di integrazione non sono pronti, i clienti non possono utilizzarlo in modo efficiente.
Se un agente intelligente riesce a comprimere questo processo di avvio da mesi a giorni, le startup hardware possono offrire supporto in prossimità del rilascio dei modelli e dimostrare prima le capacità del proprio hardware.
Questo erode una parte del vantaggio software di NVIDIA, ma non lo elimina del tutto.
Altri attori mirano alla stessa breccia
Il mercato dell'inferenza include diversi sfidanti:
| Azienda o piattaforma | Posizionamento generale |
|---|---|
| Rebellions | Acceleratori e sistemi dedicati all'inferenza AI |
| Cerebras | Sistemi wafer-scale per training e inferenza |
| AWS Inferentia | Chip di inferenza progettati da Amazon, con Neuron SDK |
| Google TPU | Acceleratori Google supportati da XLA e framework principali |
| AMD Instinct | GPU data center basate su piattaforma ROCm |
| d-Matrix | Accelerazione dell'inferenza AI generativa incentrata su SRAM |
| NVIDIA | GPU e stack di calcolo accelerato CUDA |
La pressione deriva da layer software che consentono agli utenti di distribuire modelli senza riscrivere manualmente ogni operazione, tra cui AWS Neuron, Google XLA, AMD ROCm, Modular MAX e Mojo, TileLang, Triton e sistemi di generazione automatica di kernel.
Più questi layer software automatizzano, meno interventi manuali servono agli sviluppatori di applicazioni.
Contenuto direttamente correlato a CUDA.
Il software cross-chip può ridurre l'effetto lock-in
Il lock-in di CUDA è più forte quando le applicazioni e i kernel ottimizzati sono strettamente legati all'hardware NVIDIA.
Un layer di inferenza portabile mira a realizzare il seguente flusso di lavoro:
Modello
→ Layer di esecuzione portabile
→ Generazione o selezione di kernel hardware
→ Acceleratore di destinazione
Il mondo reale è più complesso, perché chip diversi hanno gerarchie di memoria, formati numerici, interconnessioni, comportamenti di scheduling e operazioni supportate differenti.
Le prestazioni elevate richiedono ancora spesso lavoro specifico per l'hardware.
L'idea centrale di Infinity è che gli agenti intelligenti possano generare automaticamente questo lavoro di specializzazione.
Il fossato di CUDA non è solo codice esistente
Un risultato di 10 ore non può replicare gli asset che rendono CUDA difficile da sostituire.
Questi asset includono:
Librerie mature
Molte organizzazioni usano librerie fornite dal vendor piuttosto che scrivere kernel direttamente. cuBLAS, cuDNN, TensorRT, NCCL e altre librerie incorporano anni di esperienza di ottimizzazione.
Strumenti di debug e profiling
NVIDIA Nsight e strumenti correlati aiutano gli ingegneri a comprendere correttezza, comportamento della memoria, timeline, comunicazione e prestazioni.
Supporto dei framework
Le nuove funzionalità dei modelli vengono tipicamente integrate e ottimizzate per l'hardware NVIDIA in anticipo.
Conoscenza di deployment
I team di produzione conoscono il comportamento dei sistemi NVIDIA sotto carico.
Documentazione e formazione
L'ecosistema include esempi, corsi, interventi a conferenze, risposte dalla community e risorse esperte.
Investimenti esistenti
Le aziende hanno milioni di righe di codice, test, processi di acquisto e competenze del personale legati alla piattaforma.
L'AI può ridurre i costi di traduzione, ma non elimina automaticamente i costi di switching a livello organizzativo.
La verifica potrebbe diventare il prossimo fossato di CUDA
Bing Xu, fondatore di INT21 e in precedenza fondatore di HippoML (acquisita da NVIDIA), ritiene che la verifica sia il collo di bottiglia principale.
Gli agenti intelligenti possono generare codice rapidamente. Ma i team di produzione hanno comunque bisogno di prove che esso:
- produca output numerici corretti;
- funzioni con varie forme e tipi di dati;
- gestisca i casi limite;
- non corrompa la memoria;
- sia stabile in ambienti concorrenti;
- offra buone prestazioni su vari carichi di lavoro;
- sappia gestire cambi di driver e hardware;
- interagisca correttamente con il resto dello stack software.
NVIDIA dispone già di un'ampia quantità di test di conformità, test prestazionali, implementazioni di riferimento, simulatori, profiler, diagnostica del compilatore, carichi di lavoro di produzione e dati storici sugli errori.
Questi asset rendono gli agenti intelligenti più utili.
Pertanto, l'AI potrebbe spostare il fossato dalla generazione del codice alla qualità dell'ambiente di verifica.
NVIDIA sta costruendo il proprio agente CUDA
Le tecnologie che sfidano CUDA si applicano anche a NVIDIA.
Business Insider cita Ankit Patel, vicepresidente dell'ecosistema sviluppatori NVIDIA, secondo cui l'azienda sta usando agenti AI di codifica per sviluppare CUDA più rapidamente e per eseguire verifiche su scala più ampia.
NVIDIA ha già
Proposto anche una strategia CUDA Intelligenza, che combina conoscenze CUDA esistenti, competenze di ottimizzazione, profiling cloud delle prestazioni, strumenti Nsight, benchmark e servizi basati su MCP.
NVIDIA mantiene inoltre ComputeEval, un benchmark aperto per codice CUDA e librerie di calcolo core CUDA generato dall'AI.
Il benchmark copre attività che coinvolgono tensor core, memoria condivisa, primitive a livello di warp, CUDA graph, stream ed eventi.
La gara è quindi relativa:
Velocità con cui il software sfidante recupera
contro
Velocità con cui il software NVIDIA migliora
Chris Lattner: l'hype è reale ma esagerato
Chris Lattner, cofondatore e CEO di Modular, offre una visione più prudente.
Ritiene che gli agenti di codifica offrano un miglioramento incrementale, non una distruzione immediata del vantaggio di CUDA.
L'articolo originale riassume tre ragioni.
Scrivere codice è solo una parte del lavoro ingegneristico
L'ottimizzazione in produzione determina se un chip è economicamente utilizzabile. L'ultimo punto percentuale di prestazioni può richiedere un'enorme quantità di lavoro specialistico.
Ci sono meno dati pubblici di training per il software GPU
Il codice applicativo è abbondante online.
L'ingegneria di kernel e compilatori ad alte prestazioni è un campo relativamente di nicchia, e gran parte del lavoro più significativo rimane proprietario.
I sistemi esistenti richiedono comunque migrazione
La fattibilità tecnica non elimina i costi di certificazione, i rischi operativi, la riqualificazione del personale, i contratti, i requisiti di affidabilità o i costi opportunità.
Questi punti non implicano che l'ingegneria dei kernel agentica sia irrilevante. Spiegano perché una dimostrazione impressionante non si traduce immediatamente in una sostituzione del mercato.
Il fossato si sposta, non scompare
L'interpretazione più solida non è "CUDA è morto".
Piuttosto, un livello dei vantaggi storici di CUDA sta diventando più facile da replicare.
Gli agenti, i DSL e i compilatori automatizzati possono ridurre il tempo necessario per costruire kernel, runtime e supporto modellistico per nuovi chip.
Il livello più esposto è l'adattamento rapido per l'inferenza iniziale.
Il livello più protetto rimane l'addestramento su larga scala, le librerie di generazione mature, la validazione, il debug, l'orchestrazione dei cluster, l'integrazione nei framework, i flussi di lavoro dei clienti esistenti e l'ottimizzazione continua.
La domanda strategica potrebbe passare da:
Chi possiede la maggiore quantità di codice kernel scritto a mano?
a:
Chi possiede il miglior ciclo chiuso di generazione, misurazione,
validazione e ottimizzazione automatizzata?
NVIDIA è in una posizione favorevole perché possiede già hardware, strumenti, librerie, carichi di lavoro e dati di feedback. Gli sfidanti beneficiano del fatto che gli agenti abbassano le barriere d'ingresso.
Entrambe le cose possono essere vere contemporaneamente.
Cosa cambia davvero con il risultato delle 10 ore
Il risultato di Infinity ha cambiato le aspettative per le startup hardware.
Un nuovo acceleratore non deve più presupporre che ogni kernel utile debba essere scritto manualmente da un piccolo team di esperti.
Gli agenti possono
potenzialmente:
- Leggere la descrizione dell'architettura.
- Generare il kernel iniziale.
- Compilare ed eseguire.
- Confrontare l'output con i risultati di riferimento.
- Misurare l'utilizzo dell'hardware.
- Cercare schemi di scheduling alternativi.
- Mantenere l'implementazione migliore.
- Estendere dagli operatori al modello completo.
Questo può ridurre il tempo che intercorre tra il primo tape-out del chip e il raggiungimento di un'inferenza modellistica utilizzabile.
Questa riduzione consente ai fornitori di chip di mostrare prima l'hardware, supportare più rapidamente nuovi modelli, alleviare la pressione sul personale software, testare più idee e competere in mercati di inferenza più segmentati.
Questo risultato non cancella CUDA, ma rende meno scoraggiante muovere i primi passi per competere con CUDA.
Cosa osservare nei prossimi sviluppi
Riproduzione indipendente
I risultati pubblicati da Infinity provengono dall'azienda e dai suoi partner hardware. I benchmark esterni forniranno prove più solide.
Copertura dei modelli
Un livello di inferenza generalizzato deve supportare molteplici architetture, modalità, formati di quantizzazione e modalità di servizio.
Affidabilità in produzione
Una dimostrazione eseguita end-to-end è una cosa; un software che funziona ininterrottamente per mesi sotto traffico clienti è un'altra.
Scala della validazione
La questione chiave è come i sistemi agentici possano dimostrare correttezza e prestazioni in uno spazio di test vastissimo.
Portabilità
Se un'implementazione ottiene ottimi risultati su NVIDIA, AMD, Apple e altri acceleratori, TileLang e altri linguaggi specifici del dominio diventeranno strategicamente più rilevanti.
La risposta di NVIDIA
NVIDIA sta attivamente costruendo agenti, benchmark, intelligenza del compilatore e nuove astrazioni CUDA. Il gigante esistente non è fermo.
Domande frequenti
Gli agenti AI hanno davvero reimplementato CUDA in 10 ore?
No. Infinity ha dichiarato che Ignition ha generato in 10 ore il software di moltiplicazione matriciale tensore-parallela per il d-Matrix Corsair, raggiungendo il 92% del limite computazionale empirico del chip. L'inferenza end-to-end di Qwen3 ha richiesto circa 10 giorni, e il progetto non ha replicato l'intero ecosistema CUDA.
Cos'è Infinity Ignition?
Ignition è l'agente di ricerca e ingegneria AI di Infinity, utilizzato per generare, testare, eseguire il debug e ottimizzare software di inferenza di basso livello. Sfrutta il feedback dell'hardware reale per migliorare iterativamente kernel e runtime dei modelli.
Cos'è il d-Matrix Corsair?
Corsair è la piattaforma di inferenza AI generativa di d-Matrix. Infinity lo ha utilizzato come piattaforma target per generare automaticamente operazioni tensore-parallele e stack di inferenza completi per il modello.
DeepSeek TileKernels sostituirà CUDA?
No. TileKernels riduce la necessità di scrivere kernel CUDA di basso livello a mano utilizzando TileLang, ma i requisiti attuali includono hardware NVIDIA SM90 o SM100 e CUDA Toolkit 13.1 o versioni successive.
Perché l'inferenza è più aperta alle alternative a CUDA rispetto all'addestramento?
L'inferenza può essere eseguita su sistemi più piccoli e viene generalmente valutata in termini di costo, consumo energetico, throughput o latenza per singolo modello. L'addestramento all'avanguardia richiede cluster più grandi, sistemi di comunicazione maturi, capacità di recupero da guasti e stabilità comprovata.
Qual è il fossato più grande di CUDA?
Il fossato di CUDA include librerie mature, integrazione nei framework, strumenti di debug e profilazione, sistemi distribuiti, documentazione, storia produttiva e codice clienti esistente. La validazione e l'ottimizzazione continua
diventeranno sempre più importanti man mano che i costi di generazione del codice diminuiscono.
I kernel generati dall'AI possono essere corretti ma troppo lenti?
Sì. La ricerca mostra che i kernel possono superare i test di correttezza numerica ma avere prestazioni molto inferiori rispetto alle implementazioni di librerie ottimizzate. La valutazione a livello di produzione richiede sia controlli di correttezza, sia controlli di efficienza hardware.
NVIDIA sta utilizzando anche agenti di codifica AI?
Sì. NVIDIA ha dichiarato di utilizzare agenti per accelerare lo sviluppo e la validazione di CUDA, e ha dimostrato pubblicamente flussi di lavoro agentici per CUDA, integrazione di profilazione delle prestazioni e benchmark ComputeEval.
Strumenti correlati
- NVIDIA CUDA: piattaforma di calcolo accelerato di NVIDIA, che include compilatori, runtime, librerie e strumenti per sviluppatori.
- Infinity: azienda che costruisce Ignition e software di inferenza modellistica per nuovi acceleratori AI.
- DeepSeek TileKernels: raccolta di kernel LLM ottimizzati scritti con TileLang da DeepSeek, con licenza MIT.
- TileLang: linguaggio specifico del dominio in stile Python e stack di compilazione per generare kernel ad alte prestazioni su più backend.
- INT21 PTX Kernel Factory: sistema agentico per generare e migliorare kernel GPU NVIDIA di basso livello.
- AMD ROCm: piattaforma software di AMD per calcolo GPU, AI e HPC.
- AWS Neuron: SDK per distribuire e ottimizzare modelli sui chip AWS Trainium e Inferentia.
- Modular MAX: framework di modellazione e servizio ottimizzato per hardware, per un'esecuzione AI ad alte prestazioni e portabile.
Link correlati
- Business Insider: l'AI sta riscrivendo il fossato software di NVIDIA: copertura principale con interviste a Infinity, NVIDIA, INT21, Modular e Rebellions.
- Caso di studio Infinity d-Matrix Corsair: comunicazione ufficiale di Infinity sui risultati della moltiplicazione matriciale in 10 ore e del modello end-to-end in 10 giorni.
- Ricerca Infinity: pagina delle pubblicazioni e degli studi di Infinity.
inc/research): include casi di studio ufficiali su d-Matrix, il software di inferenza generativa e il sistema di ricerca OMEGA dell'azienda.
- Piattaforma NVIDIA CUDA: panoramica ufficiale di compilatore CUDA, runtime, librerie, strumenti ed ecosistema.
- Repository DeepSeek TileKernels: codice sorgente ufficiale, requisiti delle dipendenze, comandi di test, funzionalità e licenza MIT.
- Articolo su TileLang: articolo di ricerca che descrive il modello di programmazione a blocchi di TileLang e l'approccio del compilatore.
- NVIDIA ComputeEval: benchmark di NVIDIA per valutare attività di programmazione CUDA moderne.
Sommario
L'agente Ignition di Infinity non ha ricreato NVIDIA CUDA in 10 ore. Ha generato una moltiplicazione di matrici parallela su tensori ad alte prestazioni per un'architettura sconosciuta.
L'acceleratore d-Matrix di allora raggiungeva presumibilmente il 92% del limite computazionale empirico del chip. Circa 10 giorni dopo, il percorso di inferenza completo di Qwen3 era già implementato.
Questo risultato è ancora significativo oggi. Dimostra che gli agenti possono accelerare l'avvio iniziale del software per nuovi chip IA, soprattutto nel campo dell'inferenza—dove i clienti si preoccupano del costo per risposta e possono adottare hardware dedicato per carichi di lavoro più mirati.
Anche TileKernels e TileLang di DeepSeek indicano nella stessa direzione: più lavoro sui kernel può essere espresso tramite sistemi di livello superiore e ottimizzato automaticamente. La versione attuale di TileKernels dipende ancora dalle GPU NVIDIA più recenti e da CUDA, quindi riduce il lavoro di scrittura manuale di CUDA, ma non elimina la piattaforma.
Il fossato di CUDA resta profondo perché include molto più del codice sorgente. Librerie, verifica, profilazione delle prestazioni, supporto dei framework, training distribuito, storia produttiva e investimenti organizzativi esistenti sono difficili da replicare.
L'IA non ha attraversato l'intero fossato di CUDA in 10 ore—ma potrebbe aver abbassato il costo per raggiungere la prima barriera, spostando la competizione a lungo termine dalla proprietà del codice alla generazione, verifica e ottimizzazione automatizzate.