L’avvertimento di Karpathy sugli agenti: prima costruire il modello, non solo la demo

Introduzione

Gli agenti di IA sono ovunque in questo momento. Ogni settimana, un nuovo strumento promette di navigare sul web, controllare un computer, prenotare qualcosa, scrivere codice o completare un flusso di lavoro con una sola breve istruzione da parte dell’utente.

Questo entusiasmo è reale. Ma il recente messaggio di Andrej Karpathy ai costruttori di agenti ha colpito nel segno perché va contro lo spirito del momento: prima di spingere gli agenti a fare tutto, chi li sviluppa dovrebbe capire e migliorare prima il modello sottostante.

Il punto non è che gli agenti di IA siano inutili. Il punto è più netto di così. Una demo appariscente può nascondere fondamenta deboli. Un vero prodotto deve resistere a input disordinati, compiti lunghi, casi limite, problemi di memoria, cambiamenti dell’interfaccia e fiducia degli utenti. È in questa differenza che molti progetti di agenti si rompono.

Il messaggio che ha fermato i costruttori di agenti

La discussione è iniziata da una breve clip e da un post molto condiviso che riassumeva il punto di vista di Karpathy. L’idea centrale era semplice: il settore dell’IA potrebbe stare commettendo un errore nel forzare gli agenti a funzionare prima di aver padroneggiato completamente i modelli che ci sono sotto.

Questa frase risulta scomoda perché mette in discussione l’attuale corsa agli agenti. Molti team stanno cercando di trasformare i LLM di oggi in lavoratori autonomi il più rapidamente possibile. Rivestono i modelli con strumenti, memoria, controllo del browser, accesso ai file, attività pianificate e flussi di lavoro in più fasi.

Questi strati possono aiutare. Ma non eliminano la domanda fondamentale: il modello è in grado di ragionare con sufficiente affidabilità, pianificare con sufficiente chiarezza, riprendersi dagli errori e comprendere il compito abbastanza a fondo?

Se la risposta è no, aggiungere altra impalcatura da agente può far sembrare il sistema più capace in una demo, rendendolo però più difficile da correggere e diagnosticare in produzione.

La lezione del 2016: World of Bits

L’avvertimento di Karpathy non è solo teorico. L’articolo originale rimanda a un progetto del 2016: World of Bits, una piattaforma di agenti basata sul web costruita attorno all’idea che gli agenti potessero interagire con internet tramite azioni di tastiera e mouse.

All’epoca, l’obiettivo sembrava futuristico. Un agente avrebbe usato le pagine web come fa una persona: cliccare pulsanti, compilare moduli, navigare tra le pagine e completare attività come prenotare voli o ordinare cibo. Sembra molto vicino alle promesse commerciali sui prodotti-agent che si sentono ancora oggi.

Il progetto divenne un serio sforzo di ricerca e fu

pubblicato a ICML 2017 con il titolo “World of Bits: An Open-Domain Platform for Web-Based Agents.” Ma il sogno di un prodotto più grande, in quel momento, non si realizzò pienamente.

La lezione importante non è che l’idea fosse sbagliata. È che gli strumenti disponibili non erano pronti. Il campo degli agenti non disponeva ancora dei modelli fondamentali di oggi, dei sistemi multimodali, dei pattern di uso degli strumenti o degli LLM capaci di programmare. Il reinforcement learning era uno dei principali strumenti a disposizione, e non bastava a trasformare l’idea in un prodotto generale e robusto.

Ecco perché il messaggio di Karpathy conta oggi. Una direzione tecnicamente attraente può comunque arrivare troppo presto se la capacità di base non è abbastanza forte.

Da una demo fallita di agenti a fondamenta più solide

Un modo utile di leggere la storia di World of Bits è come una lezione sul tempismo.

Il team stava lavorando a qualcosa che sembrava il futuro, ma il settore non aveva ancora costruito le fondamenta necessarie per sostenerlo. Guardando indietro, l’argomento di Karpathy è che la mossa migliore sarebbe stata concentrarsi meno sul forzare gli agenti a svolgere compiti e di più sul miglioramento dei modelli linguistici e dell’apprendimento delle rappresentazioni sottostanti.

È anche questo che rende interessante il momento presente. Gli strumenti sono cambiati. Gli LLM ora possono ragionare in linguaggio naturale, usare strumenti, scrivere codice, interpretare schermate e mantenere un contesto più lungo rispetto ai sistemi precedenti. Lo stack degli agenti è molto più plausibile di quanto non fosse nel 2016.

Tuttavia, strumenti più forti non cancellano la difficoltà del prodotto. Spostano soltanto più avanti la frontiera.

Jim Fan e la continuità della ricerca sugli agenti

L’articolo di origine collega inoltre World of Bits ai successivi lavori sugli agenti incarnati attraverso ricercatori come Jim Fan. Questo è importante perché la storia degli agenti non è scomparsa dopo che i primi progetti di web agent si sono arenati. Si è evoluta in aree di ricerca più ricche: ambienti di simulazione, agenti per Minecraft, apprendimento open-ended e intelligenza incarnata.

Progetti come MineDojo e Voyager mostrano un percorso diverso rispetto a “cliccare su qualche pagina web e sperare che l’agente funzioni”. Esplorano agenti in ambienti in cui obiettivi, memoria, azioni, competenze e feedback possono essere studiati in modo più sistematico.

Questo non significa che gli agenti di Minecraft risolvano direttamente l’automazione aziendale. Significa che un serio progresso sugli agenti di solito nasce da ambienti migliori, valutazioni migliori, comportamenti del modello migliori e cicli di feedback più chiari.

La demo è facile; il prodotto richiede anni

Uno dei punti più pratici dell’articolo è il divario tra una demo e un prodotto.

Una demo deve funzionare una sola volta, spesso in condizioni preparate. Un prodotto deve funzionare ripetutamente, per utenti diversi, in situazioni diverse, rendendo i fallimenti comprensibili e recuperabili.

La guida autonoma è un paragone utile. Un’auto che percorre un isolato può sembrare impressionante. Un sistema di guida autonoma pronto per la produzione deve gestire eventi rari, condizioni scadenti,

visibilità, comportamento stradale insolito, vincoli normativi, aspettative di sicurezza e anni di iterazione.

La VR ha seguito uno schema simile. Una demo con visore può essere straordinaria in cinque minuti. Un prodotto sostenibile richiede hardware, software, contenuti, ergonomia, prezzi, distribuzione e valore per l’utente dimostrato nel tempo.

Gli agenti appartengono a questa categoria. Sono facili da immaginare e facili da mostrare in una demo, ma difficili da trasformare in prodotti solidi e duraturi.

Tre lezioni pratiche per chi sviluppa agenti

1. Comprendere il modello prima di ampliare il wrapper dell’agente

Prima di aggiungere altri strumenti, chiediti che cosa il modello possa o non possa fare in modo affidabile. Riesce a seguire istruzioni lunghe? Sa capire quando è incerto? Riesce a riprendersi dopo una chiamata API fallita? Può verificare il proprio lavoro?

Se il modello è debole al centro, una maggiore orchestrazione può rendere il sistema più fragile, non più utile.

2. Considerare la demo come l’inizio, non il traguardo

Una buona demo è preziosa perché dimostra una direzione. Ma non equivale al product-market fit, né all’affidabilità o alla fiducia.

Per i prodotti basati su agenti, il vero lavoro comincia dopo la demo: logging, valutazione, rollback, revisione umana, progettazione dei permessi, confini della memoria e gestione dei guasti.

3. Costruire fondamenta che permettano agli agenti di emergere

La lezione di prodotto più forte di Karpathy è che l’agente in sé potrebbe non essere il prodotto. Il prodotto più profondo può essere la capacità del modello, la progettazione dell’ambiente, la pipeline dei dati, il sistema di valutazione e l’interfaccia degli strumenti che rendono affidabile il comportamento dell’agente.

Una base più solida può rendere possibili molti comportamenti agentici. Una base debole trasforma ogni flusso di lavoro in un mosaico di casi speciali.

Il ritorno di Karpathy al pretraining

L’articolo osserva anche il passaggio di Karpathy al team di pretraining di Anthropic. È rilevante perché rafforza lo stesso messaggio: la frontiera resta ancora profondamente legata al lavoro sui modelli fondamentali.

Il pretraining può sembrare meno appariscente degli agenti, ma plasma la capacità grezza da cui dipende tutto il resto. Modelli migliori possono migliorare il ragionamento, la comprensione del linguaggio, l’uso degli strumenti, la programmazione, la pianificazione e la percezione multimodale.

Per chi sviluppa agenti, questo non significa che tutti debbano addestrare modelli di frontiera. La maggior parte dei team non può farlo. Ma devono comunque comprendere abbastanza bene il comportamento del modello da poter progettare intorno ad esso.

Un team che costruisce agenti dovrebbe sapere quali errori derivano dal prompting, quali dalla progettazione degli strumenti, quali dalla mancanza di contesto e quali dai limiti intrinseci del modello.

Imparare dal cervello

Dopo la lezione sul prodotto, l’articolo originale si sposta verso le neuroscienze. Secondo quanto riportato, Karpathy ha incoraggiato chi sviluppa questi sistemi a riflettere su ciò che i sistemi agentici potrebbero imparare dal cervello.

Il confronto non riguarda il copiare letteralmente la biologia. Si tratta di porsi domande strutturali migliori.

Che cosa svolge il ruolo della memoria? Che cosa seleziona

azioni? Cosa immagazzina le competenze? Cosa decide quale pensiero o piano riceve attenzione? Cosa impedisce che gli obiettivi a lungo termine vengano sovrascritti dal rumore a breve termine?

Queste domande sono utili perché i prodotti basati su agenti spesso falliscono proprio in queste aree. Dimenticano il contesto. Scelgono l’azione successiva sbagliata. Reagiscono in modo eccessivo a informazioni irrilevanti. Non riescono a mantenere un piano stabile. Falliscono in silenzio.

Un’architettura di agenti più matura potrebbe aver bisogno di una separazione più chiara tra memoria, pianificazione, azione, riflessione, recupero delle informazioni e verifica.

Perché i costruttori indipendenti contano ancora

La parte più incoraggiante del messaggio di Karpathy non è la critica. È il promemoria che la frontiera degli agenti è ancora aperta.

I grandi laboratori hanno una profonda esperienza nell’addestramento di modelli linguistici di frontiera. Hanno visto molte idee sull’addestramento dei modelli anni prima che il pubblico le vedesse. In quell’area, il divario di esperienza è enorme.

I prodotti basati su agenti sono diversi. Il settore è ancora giovane. I migliori flussi di lavoro, interfacce, schemi di memoria, sistemi di autorizzazione, cicli di revisione e categorie di prodotto non sono ancora del tutto definiti.

Questo offre a sviluppatori indipendenti, startup e piccoli team di ricerca una reale opportunità. Possono provare idee più incisive, parlare con gli utenti più rapidamente, cambiare direzione in fretta ed esplorare flussi di lavoro di prodotto che i grandi laboratori potrebbero non considerare prioritari.

L’avvertimento, quindi, non è “non costruite agenti”. È “non saltate le fondamenta”.

Note sulla fonte e sulle immagini

Questo articolo è un adattamento originale in inglese basato sulla pagina fonte pubblica di BAAI Hub: https://hub.baai.ac.cn/view/56135.

La pagina fonte include diverse immagini. Questa versione Markdown conserva solo le immagini che supportano il significato dell’articolo, come schermate di X, schermate di articoli scientifici, aggiornamenti di ricerca e la copertina del libro citato. Non sono state incluse immagini contenenti solo loghi, immagini con codici QR, banner promozionali e immagini decorative non pertinenti.

FAQ

Qual è il principale avvertimento di Karpathy sugli agenti di IA?

L’avvertimento principale è che chi costruisce potrebbe avere troppa fretta nel far eseguire agli agenti compiti complessi prima che i modelli sottostanti siano abbastanza affidabili. I wrapper per agenti possono aiutare, ma non possono compensare completamente un ragionamento debole, un recupero inefficace o una comprensione superficiale del compito.

Che cos’era World of Bits?

World of Bits era una piattaforma di ricerca per agenti basati sul web, presentata a ICML 2017. Esplorava agenti che interagiscono con i siti web tramite azioni di basso livello come input da tastiera e mouse.

Perché la differenza tra una demo e un prodotto è così importante per gli agenti?

Una demo può essere preparata e testata in un contesto ristretto. Un prodotto deve funzionare per molti utenti, compiti, errori, autorizzazioni e casi limite. Per questo i prodotti basati su agenti richiedono di solito un lavoro di lungo periodo su affidabilità e valutazione.

Questo significa che gli agenti di IA non valgono la pena di essere costruiti?

No.

l’argomentazione non è contro gli agenti. È contro la costruzione di agenti senza comprendere il modello, l’ambiente, il processo di valutazione e i vincoli di prodotto sottostanti.

Perché il pretraining è importante per i prodotti basati su agenti?

Il pretraining influisce sul ragionamento del modello di base, sulla comprensione del linguaggio, sull’uso degli strumenti e sulla generalizzazione. Modelli di base più forti rendono il comportamento degli agenti più facile da progettare, valutare e considerare affidabile.

Che cosa possono imparare i costruttori di agenti dalle neuroscienze?

Le neuroscienze possono ispirare domande su memoria, selezione delle azioni, attenzione, pianificazione e automonitoraggio. I sistemi di agenti potrebbero aver bisogno di un’architettura più chiara attorno a queste funzioni, invece di affidarsi a un unico prompt lungo o a un unico ciclo generico.

I piccoli team sono indietro rispetto ai grandi laboratori di IA nello sviluppo degli agenti?

Non necessariamente. I grandi laboratori hanno un enorme vantaggio nell’addestramento di modelli di frontiera, ma i modelli di prodotto per gli agenti sono ancora in fase di definizione. I piccoli team possono muoversi rapidamente e scoprire flussi di lavoro utili prima che diventino evidenti.

Strumenti correlati

• Claude: l’assistente IA di Anthropic, spesso usato per ragionamento, scrittura, programmazione e supporto ai flussi di lavoro.
• Documentazione API di Claude: documentazione ufficiale per sviluppare applicazioni con i modelli Claude di Anthropic.
• World of Bits: una piattaforma di ricerca per studiare agenti basati sul web che eseguono azioni tramite tastiera e mouse.
• MineDojo: un framework basato su Minecraft per la ricerca aperta sugli agenti incorporati.
• Voyager: un progetto di agente incorporato basato su LLM per l’apprendimento continuo in Minecraft.

Link correlati

• Fonte originale su BAAI Hub: l’articolo fonte usato come base fattuale per questo adattamento in inglese.
• Articolo su World of Bits: pagina ufficiale PMLR dell’articolo presentato a ICML 2017.
• PDF di World of Bits: versione PDF diretta dell’articolo di ricerca.
• Aggiornamento di Karpathy su Anthropic: post pubblico di Karpathy sul suo ingresso in Anthropic.
• Sito ufficiale di Anthropic: sito ufficiale di Anthropic e degli annunci relativi a Claude.
• Articolo su Voyager: articolo su arXiv relativo a Voyager, un agente incorporato aperto con grandi modelli linguistici.
• Articolo su MineDojo: articolo su arXiv relativo al framework aperto di MineDojo per agenti incorporati.
• Brain and Behavior: pagina di Oxford University Press del libro di neuroscienze citato nella discussione.

Sintesi

Questo articolo spiega l’avvertimento di Karpathy sull’attuale corsa agli agenti IA: gli agenti sono entusiasmanti, ma fondamenta deboli li rendono fragili. La lezione di World of Bits è che anche un’idea forte può arrivare prima che il settore disponga degli strumenti giusti.

Per chi costruisce oggi, la strada pratica non è abbandonare gli agenti. È comprendere il modello, costruire sistemi di valutazione più solidi, progettare cicli d’azione più sicuri e considerare le demo come l’inizio del lavoro sul prodotto, non la sua conclusione.

del traguardo.

La conclusione utile è semplice: costruisci prima le fondamenta, poi lascia che da esse emergano agenti migliori.