GPT-5.6 e ChatGPT Work: Progettare un Piano di Controllo per Agenti di Grado Produttivo
GPT-5.6 offre ai team un menu più chiaro di capacità, costi, sforzo di ragionamento ed esecuzione multi-agente. ChatGPT Work estende queste funzionalità in attività persistenti tra file, applicazioni, browser e flussi di lavoro programmati. La sfida produttiva non è semplicemente selezionare il modello più potente. I team hanno anche bisogno di identità con ambito definito, permessi ristretti per gli strumenti, approvazioni intermedie, controlli di accettazione indipendenti, tracce complete, budget multidimensionali, valutazioni private e ripristino testato. Inizia con un flusso di lavoro reversibile, registra la baseline umana, esegui in modalità shadow e aumenta solo una dimensione di autorità alla volta. **Un agente di grado produttivo non è solo un modello potente con strumenti. È un modello che opera all'interno di un piano di controllo misurabile, reversibile e responsabile.**

GPT-5.6 e ChatGPT Work: Progettare un Piano di Controllo per Agenti di Grado Produttivo
Introduzione
Il rilascio di GPT-5.6 nel luglio 2026 potrebbe essere facilmente interpretato come un semplice lancio di un nuovo modello. Sol è la via di punta, Terra è l'opzione equilibrata, e Luna è il livello più veloce ed economico. La versione ufficiale include valutazioni approfondite su coding, lavoro professionale, scienza, uso del computer e sicurezza.
Questa interpretazione è accurata, ma incompleta.
Il modo più utile per comprendere GPT-5.6 è operativo. OpenAI ha esposto diverse decisioni che i costruttori di agenti dovevano precedentemente nascondere all'interno di codice di orchestrazione personalizzato: quanto ragionamento allocare, quando usare agenti paralleli, come coordinare gli strumenti senza restituire ogni risultato intermedio al modello, e come abbinare la capacità del modello al valore e al rischio di un compito.
Allo stesso tempo, ChatGPT Work porta il modello di attività a lunga esecuzione associato a Codex in uno spazio di lavoro più ampio che include documenti, fogli di calcolo, presentazioni, siti web, applicazioni connesse, azioni del browser, uso del computer e lavoro programmato.
Queste capacità creano una responsabilità ingegneristica più ampia. Dare a un modello più potente più strumenti non crea automaticamente un lavoratore digitale affidabile. Crea un sistema che può operare più a lungo, attraverso un confine dati più ampio, e apportare modifiche più consequenziali.
Un progetto di produzione deve rispondere a diverse domande prima dell'esecuzione:
- Chi ha autorizzato il compito?
- Cosa può leggere l'agente?
- Cosa può modificare?
- Quali azioni richiedono approvazione?
- Quanto tempo e denaro può spendere?
- Quali prove dimostrano che il risultato è corretto?
- Come fa il team a fermare o recuperare il flusso di lavoro quando qualcosa va storto?
Questa guida presenta un approccio basato sul piano di controllo per i team che costruiscono con GPT-5.6, ChatGPT Work, Codex o agenti personalizzati. Mantiene la capacità del modello separata dall'autorità operativa e fornisce scenari concreti, regole di routing, linee guida per la valutazione e un modello di policy riutilizzabile.
Punti Chiave
- GPT-5.6 è meglio trattato come un menu di capacità e calcolo. Sol, Terra e Luna sono vie del modello, mentre lo sforzo di ragionamento e l'esecuzione multi-agente sono controlli di budget separati.
- ChatGPT Work cambia l'unità di delega da una singola risposta a un risultato completato che può comprendere file, app connesse, lavoro nel browser, uso del computer e attività programmate.
- Un agente di produzione necessita di un piano di controllo attorno al modello: classificazione dei compiti, identità con ambito, policy degli strumenti, cancelli di approvazione, osservabilità, valutazione, budget e recupero.
- I benchmark pubblici sono utili per scoprire modelli candidati, ma i set di attività privati sono essenziali per le decisioni di distribuzione in produzione.
- I team dovrebbero iniziare con flussi di lavoro reversibili e verificabili, espandendo l'autonomia solo dopo aver raccolto prove.
Cosa è Effettivamente Cambiato con GPT-5.6
GPT-5.6 mette a disposizione tre livelli di capacità attraverso ChatGPT, Codex e l'API:
- Sol: la via con la massima capacità.
- Terra: una via equilibrata per il lavoro quotidiano.
- Luna: la via più veloce ed economica.
OpenAI descrive questi nomi come livelli di capacità durevoli, piuttosto che nomi di modelli temporanei con data. Questa distinzione è utile per i sistemi di produzione.
Una politica come "usa il tier bilanciato per la manutenzione ordinaria del repository" può resistere a un futuro cambio di snapshot. Quando la riproducibilità è importante, il team può fissare uno snapshot esatto separatamente. Questo è più pulito che diffondere ID di modelli tra prompt, script, code di job e variabili d'ambiente.
Sforzo di Ragionamento ed Esecuzione Multi-Agente
GPT-5.6 aggiunge anche controlli computazionali più espliciti.
max concede a un percorso del modello più tempo per ragionare, esplorare alternative, eseguire controlli e rivedere il proprio lavoro. ultra coordina più agenti in flussi di lavoro paralleli.
Questi sono controlli differenti:
- Più ragionamento permette a un percorso di indagare e verificare più a lungo.
- L'esecuzione multi-agente spende potenza di calcolo extra su flussi di lavoro concorrenti e poi sintetizza i loro risultati.
Un'attività può trarre beneficio da uno, entrambi o nessuno dei due. L'esecuzione parallela non è automaticamente migliore, specialmente quando le sotto-attività condividono la stessa ipotesi incerta o richiedono le stesse credenziali limitate.
Chiamata Strumentale Programmabile
OpenAI descrive la Chiamata Strumentale Programmabile come un modo per un modello di scrivere ed eseguire programmi leggeri che coordinano strumenti, elaborano risultati intermedi e decidono quali informazioni restituire al modello.
Questo può ridurre il trasferimento ripetuto di contesto. Invece di restituire ogni riga del database, risposta del browser o risultato dello strumento al modello, un programma in memoria può prima filtrare e aggregare i dati.
Questa efficienza comporta un compromesso operativo. Più logica si sposta nel livello di esecuzione, il che significa che i team hanno bisogno di tracce chiare, limiti e regole di gestione dei dati per quei passaggi intermedi.
Il rilascio di GPT-5.6 introduce anche una beta multi-agente nell'API Responses. L'esecuzione parallela sta quindi diventando una capacità a livello di API, non solo un modello di orchestrazione lato applicazione.
Il Prezzo è un Input per il Routing
Al lancio, i prezzi ufficiali sono:
| Percorso | Prezzo Input per 1M Token | Prezzo Output per 1M Token |
|---|---|---|
| GPT-5.6 Sol | $5.00 | $30.00 |
| GPT-5.6 Terra | $2.50 | $15.00 |
| GPT-5.6 Luna | $1.00 | $6.00 |
Questi prezzi sono input per una decisione di routing, non la decisione stessa.
Un modello più economico può costare di più per risultato accettato se riprova ripetutamente, legge contesto non necessario o produce lavoro che i revisori rifiutano. Un modello più potente può essere più economico in pratica se completa l'attività una volta con una modifica piccola e verificata.
La metrica corretta non è semplicemente costo per token. È costo per risultato accettato.
ChatGPT Work Cambia l'Unità di Delega
ChatGPT Work è presentato come un agente che può lavorare tra applicazioni e file, continuare per ore, suddividere gli obiettivi in passaggi più piccoli e creare artefatti finiti.
OpenAI afferma che la tecnologia Codex è integrata nel prodotto, ma l'obiettivo è più ampio dell'ingegneria del software. Esempi di flussi di lavoro includono:
- Analisi del budget
- Brief di campagne
- Revisione dei lead
- Controlli per il lancio di prodotti
- Ricerca competitiva
- Documenti
- Fogli di calcolo
- Presentazioni
- Siti web
Il cambiamento importante è l'unità di delega.
Un normale turno di chat chiede una risposta. Un compito Work chiede un risultato.
Tale risultato potrebbe richiedere al sistema di:
- Leggere diverse fonti.
- Cambiare direzione quando nuovi
appaiono le informazioni.
3. Crea più artefatti.
4. Attendi l'approvazione umana.
5. Continua tramite un'attività pianificata mentre l'utente è assente.
6. Utilizza app connesse, un browser integrato o l'uso del computer desktop.
OpenAI sta anche consolidando le superfici dei prodotti. Chat, Work e Codex sono disponibili nell'esperienza desktop aggiornata, mentre le funzionalità del browser vengono trasferite nell'ambiente di prodotto più ampio.
Questo crea un unico confine di autorizzazione che comprende file locali, pagine web, servizi connessi, azioni del browser e attività di lunga durata.
I controlli aziendali sono quindi importanti quanto l'interfaccia. La gestione dei connettori amministrativi, le funzionalità di conformità e i meccanismi di revisione puntano tutti allo stesso problema: l'agente deve agire con l'identità corretta, il contesto minimo necessario, effetti visibili e un percorso di ripristino.
Anche quando un team costruisce un agente API personalizzato invece di utilizzare direttamente ChatGPT Work, Work è un modello operativo di riferimento utile. Esso espone i problemi che emergono quando un assistente diventa un lavoratore persistente:
- Stato
- Identità dello strumento
- Approvazioni
- Pianificazione
- Artefatti
- Governance
Termini da Comprendere: Modello, Imbracatura, Agente e Piano di Controllo
Modello
Un modello mappa il contesto di input in output e decisioni sugli strumenti. Ha capacità, limitazioni, prezzi, latenza e comportamento di sicurezza.
Sol, Terra e Luna sono livelli di modello. Il modello stesso non decide l'autorità organizzativa.
Imbracatura dell'Agente
L'imbracatura dell'agente è il software che circonda il modello. Seleziona il contesto, espone gli strumenti, esegue comandi, memorizza lo stato, riprova i fallimenti e decide quando un'esecuzione è completa.
Cambiare l'imbracatura può modificare sostanzialmente i costi e l'affidabilità, anche quando il modello e l'attività rimangono gli stessi. Un'imbracatura che invia ripetutamente finestre di contesto grandi può costare molto di più di una che filtra i risultati intermedi.
Per questo motivo, la "performance del modello" è incompleta a meno che non sia specificata anche l'imbracatura.
Agente
Un agente combina:
- Un modello
- Un obiettivo
- Strumenti
- Stato
- Un'imbracatura
Un agente può compiere più passaggi e reagire ai risultati degli strumenti. Un agente di lunga durata può creare sottoattività o sottoagenti, ma i lavoratori paralleli non formano automaticamente un sistema multi-agente sicuro. Condividono ancora budget, permessi e una decisione finale di accettazione.
Piano di Controllo
Il piano di controllo è lo strato di politiche e operazioni che governa le esecuzioni dell'agente.
Esso:
- Classifica le attività
- Seleziona le rotte
- Emette credenziali con ambito limitato
- Impone approvazioni
- Registra tracce
- Valuta i risultati
- Ferma il lavoro
- Annulla il lavoro
Il piano di esecuzione svolge l'attività. Mantenere i due separati permette a un team di cambiare modelli senza cambiare chi è autorizzato a distribuire codice di produzione o inviare messaggi esterni.
Cancello di Approvazione
Un cancello di approvazione è un punto decisionale che un agente non può superare senza una persona autorizzata o una politica deterministica.
Le approvazioni dovrebbero essere collegate a un'azione specifica e alle relative prove.
Una richiesta di approvazione utile è:
Approvare l'invio di questa email finalizzata a questi 412 destinatari utilizzando l'elenco dei destinatari allegato e il contenuto approvato.
Una richiesta di approvazione debole è:
Approvare l'attività di marketing.
Test di Accettazione
Un test di accettazione è la prova che il
Il risultato richiesto è completo.
Può essere:
- Un test unitario
- Una validazione dello schema
- Una revisione di un documento renderizzato
- Un totale di riconciliazione
- Una griglia di valutazione umana
- Una scansione di sicurezza
- Un'approvazione del proprietario del codice
Un modello che dice "fatto" è un'affermazione di stato, non un test di accettazione.
Il Piano di Controllo dell'Agente di Produzione
Un piano di controllo di produzione utile ha otto responsabilità.
1. Classificare il Compito
La classificazione dovrebbe coprire:
- Dominio
- Impatto
- Reversibilità
- Sensibilità dei dati
- Ambiguità
- Valore atteso
- Robustezza della verifica
"Aggiornare una bozza di FAQ" e "modificare una policy di autenticazione" possono entrambi coinvolgere la modifica di testo, ma appartengono a percorsi diversi.
2. Selezionare un Modello e un Budget di Impegno
Il percorso idoneo più economico è un'impostazione predefinita ragionevole, ma l'idoneità deve venire prima del prezzo.
Esempi:
- Luna per estrazione a basso rischio
- Terra per analisi moderate con forti controlli delle fonti
- Sol per revisioni dell'architettura, revisioni della sicurezza o diagnosi difficili del repository
- Ultra solo quando il compito si suddivide in modo pulito e il costo parallelo aggiuntivo è giustificato
3. Creare un'Identità di Esecuzione con Ambito
L'agente dovrebbe ricevere credenziali di breve durata per gli esatti repository, cartelle, applicazioni o record richiesti dal compito.
Non dovrebbe ereditare l'intera sessione del browser di uno sviluppatore semplicemente perché è conveniente.
L'identità di esecuzione deve essere visibile nei log in modo che il team possa attribuire ogni azione esterna.
4. Applicare una Policy sugli Strumenti
Queste sono capacità separate:
- Leggere
- Scrivere
- Inviare
- Acquistare
- Eliminare
- Distribuire
- Modificare i permessi
Un connettore che può cercare in una casella di posta non dovrebbe essere automaticamente in grado di inviare email. Un'integrazione GitHub che può ispezionare un repository non dovrebbe essere automaticamente in grado di unire le pull request.
5. Applicare Approvazioni e Controlli Deterministici
Un gate di approvazione dovrebbe apparire immediatamente prima dell'azione consequenziale e mostrare un'anteprima concisa dell'effetto e delle prove.
Per il software, le prove possono includere:
- Diff
- Test unitari
- Controlli dei tipi
- Scansioni di sicurezza
- Piano di distribuzione
Per la finanza, possono includere:
- Totali di origine
- Riconciliazione
- Validazione delle formule
- Controlli delle varianze
6. Registrare una Traccia degli Eventi
La traccia dovrebbe includere:
- Cambiamenti di obiettivo
- Recupero delle fonti
- Chiamate agli strumenti
- Approvazioni
- Artefatti
- Errori
- Motivi di ripetizione
- Utilizzo dei token
- Tempo trascorso
- Stato finale
Un breve riepilogo è utile per le operazioni, ma non è sufficiente per la revisione degli incidenti.
7. Applicare Budget e Condizioni di Arresto
I limiti utili includono:
- Budget di token
- Budget di chiamate agli strumenti
- Limite di tempo reale
- Limite di ripetizioni
- Limite monetario
- Limite del numero di file
- Limite della dimensione del diff
Fermare un'esecuzione debole o in loop non è un fallimento dell'autonomia. È un'applicazione riuscita della policy.
8. Gestire il Recupero
Il recupero può includere:
- Ripristinare un file
- Annullare un commit
- Revocare le credenziali
- Cancellare un'attività pianificata
- Eliminare una bozza
- Aprire un incidente
Se il sistema non può spiegare il recupero prima dell'esecuzione, il compito non è pronto per il funzionamento senza supervisione.
Instradamento di Sol, Terra e Luna per Forma del Compito
L'instradamento del modello dovrebbe essere sufficientemente esplicito per essere letto da ingegneri, product manager e revisori della sicurezza.
La seguente tabella è una
Punto di partenza, non una classifica universale.
| Percorso | Tipo di attività adatto | Prove richieste | Autorità tipica |
|---|---|---|---|
| Luna | Classificazione, estrazione, formattazione, riepiloghi a basso rischio, ricerca codice ristretta | Validazione dello schema, revisione del campione, collegamenti alle fonti | Sola lettura o solo bozza |
| Terra | Modifiche di routine al repository, produzione di documenti, flussi di lavoro noti, analisi moderata | Test mirati, validazione degli artefatti, controllo umano a campione | Scrittura con ambito limitato, nessuna azione esterna irreversibile |
| Sol | Diagnosi ambigua, analisi cross-sistema, lavoro di architettura, revisione della sicurezza, ricerca di alto valore | Controlli deterministici ampi, motivazione visibile al revisore, provenienza delle fonti | Scrittura con ambito limitato e approvazioni esplicite |
Sol max |
Ragionamento difficile a thread singolo dove più esplorazione e revisione possono migliorare la qualità | Checkpoint, limite di costo, verifica finale | Stessa autorità di Sol |
Sol ultra |
Attività ad alto valore e parallelizzabili con flussi di lavoro indipendenti | Prove per flusso di lavoro, revisione della sintesi, tetto di budget totale | Identità con ambito separato ove possibile |
L'ultima colonna è la più importante.
La capacità del modello non deve aumentare l'autorità.
Passare da Luna a Sol non può aggiungere silenziosamente accesso in scrittura. Aumentare lo sforzo di ragionamento non può trasformare una bozza in un messaggio esterno approvato. Ultra non deve creare diversi worker che condividono tutte le credenziali di produzione senza restrizioni.
Escalation guidata dalle prove
Un percorso Luna può escalare quando:
- La fiducia scende al di sotto di una soglia.
- I campi richiesti non possono essere estratti.
- Le fonti sono in conflitto.
- La validazione fallisce.
Un'attività di codifica Terra può escalare quando:
- Un test fallito rimane inspiegato dopo due tentativi limitati.
- La modifica attraversa un confine di sicurezza.
- Il diff supera il numero previsto di file.
Un percorso Sol dovrebbe fermarsi e chiedere a un umano quando i requisiti sono in conflitto o l'unica azione rimanente è irreversibile.
Il downgrade è anche utile
Una volta che Sol produce un piano, Terra o Luna possono eseguire sotto-attività ripetitive sotto controlli ristretti.
Un modello forte può rivedere un campione anziché elaborare ogni elemento. Questo separa il giudizio dal volume e può ridurre sostanzialmente i costi.
Architettura dei permessi e confini di approvazione
Un sistema di permessi dovrebbe iniziare con i verbi.
leggere
cercare
creare_bozza
modificare
inviare
unire
distribuire
eliminare
acquistare
concedere_accesso
Questi verbi hanno conseguenze diverse.
Molte integrazioni di prodotto mettono diverse azioni dietro un unico ambito OAuth ampio. Il piano di controllo potrebbe quindi aver bisogno di un proxy lato applicazione che espone operazioni più ristrette.
Collegare i verbi alle risorse
"Leggere Google Drive" è troppo ampio per molti flussi di lavoro.
Una regola più ristretta potrebbe essere:
Leggere la cartella di pianificazione Q3 e la cartella dei modelli di brand approvati fino alle 18:00 UTC.
Per i repository, l'accesso può essere limitato a un albero di lavoro con accesso alla rete disabilitato. Per i database, una replica di sola lettura o una vista governata è solitamente più sicura rispetto alle credenziali di produzione.
Aggiungere condizioni
Esempi:
- Una bozza di email può essere creata automaticamente, ma l'invio richiede approvazione.
- Una richiesta pull può essere aperta automaticamente, ma l'unione richiede CI verde e un proprietario del codice.
- Un'attività pianificata può aggiornare un dashboard, ma
cambiare la fonte dei dati richiede un amministratore.
Mantenere la Separazione dei Compiti
L'agente che crea una modifica non dovrebbe essere l'unico giudice della correttezza.
Prove utili possono provenire da:
- Un esecutore di test deterministico
- Un modello di revisione separato
- Un proprietario umano
Un secondo modello non sostituisce una persona responsabile, ma può evidenziare un disaccordo prima che un'azione diventi esterna.
Le garanzie del fornitore sono solo un livello. Non possono sapere se l'utente è autorizzato a testare un repository specifico, se un cliente ha approvato una modifica o se la finestra di manutenzione della produzione è aperta.
L'autorizzazione dell'applicazione rimane responsabilità del costruttore.
Scenari Concreti e Modalità di Fallimento
Scenario 1: Agente di Verifica del Rilascio
Un team chiede a ChatGPT Work o a un agente personalizzato di rivedere:
- Un piano di lancio
- Problemi Jira
- Un repository
- Un documento di go-to-market
L'artefatto richiesto è un rapporto di prontezza che elenca i proprietari e gli ostacoli.
L'agente può leggere tutte e quattro le fonti e creare il rapporto. Non può modificare lo stato dei problemi o contattare i proprietari senza approvazione.
Modalità di Fallimento: Contesto Obsoleto
Il rapporto cita un problema già risolto perché l'agente ha utilizzato un documento in cache.
Il piano di controllo dovrebbe richiedere collegamenti diretti alla fonte e timestamp.
Modalità di Fallimento: Completamento Falso
L'agente dichiara il rilascio pronto perché ogni riga della checklist contiene testo.
Il test di accettazione dovrebbe invece richiedere che ogni dipendenza bloccante abbia un proprietario verificato, una data e uno stato corrente.
Scenario 2: Aggiornamento delle Dipendenze dell'Agente di Codice
Il compito è aggiornare una libreria in un monorepo.
Terra inizia perché la migrazione è documentata e la suite di test è solida. Crea un branch, modifica il lockfile e i pacchetti interessati ed esegue controlli mirati.
Un errore del compilatore rivela una modifica API non documentata nel modulo di autenticazione. Questo attiva l'escalation a Sol.
Il modello cambia, ma l'autorità no.
Sol riceve lo stesso worktree e nessun token di distribuzione. Se la differenza tocca la logica di autorizzazione, la policy aggiunge un gate di revisione della sicurezza.
Il completamento richiede:
- Test unitari
- Controlli dei tipi
- Audit delle dipendenze
- Nota di migrazione approvata dal revisore
Una patch che sembra funzionare ma salta questi controlli non viene accettata.
Scenario 3: Flusso di Lavoro Programmato per il Feedback dei Clienti
Ogni mattina, un agente legge nuovi ticket di supporto, raggruppa i temi e aggiorna un brief di prodotto.
Luna può classificare i ticket dopo la rimozione dei campi sensibili. Terra può redigere il brief con i collegamenti alle fonti.
Nessuno dei due può:
- Chiudere ticket
- Promettere una funzionalità
- Contattare i clienti
Modalità di Fallimento: Deriva Graduale dell'Ambito
Una nuova istruzione dice che l'agente dovrebbe "gestire anche le risposte ovvie".
Questo trasforma un flusso di lavoro di analisi interna in comunicazione esterna.
Il classificatore di attività dovrebbe rilevare il nuovo verbo send e richiedere una policy separata, un modello approvato, un piano di campionamento e un proprietario umano.
Scenario 4: Compito di Ricerca ad Alto Valore
Un'azienda sta valutando tre opzioni architetturali.
Sol ultra assegna flussi di lavoro separati a:
- Prestazioni
- Sicurezza
- Costo di migrazione
- Rischio del fornitore
L'esecuzione parallela è giustificata perché i flussi di lavoro sono
indipendente e la decisione è preziosa. Ogni lavoratore riceve i requisiti di partenza e un budget fisso.
Modalità di guasto: Evidenza correlata
Tutti i lavoratori citano lo stesso benchmark del fornitore e sembrano essere d'accordo.
Il gate di sintesi dovrebbe misurare la diversità delle fonti, segnalare presupposti condivisi non supportati e richiedere almeno un contro-argomento per ogni opzione.
Più agenti possono amplificare una premessa errata con la stessa facilità con cui possono migliorare la copertura.
Perché i benchmark pubblici di codifica sono strumenti di scoperta
I benchmark pubblici sono utili, ma non dovrebbero determinare direttamente un'impostazione predefinita di produzione.
L'audit di OpenAI su SWE-Bench Pro ha riportato che una parte sostanziale dei compiti pubblici presentava problemi come:
- Test eccessivamente severi
- Prompt insufficientemente specificati
- Test a bassa copertura
- Prompt che indicavano un comportamento incoerente con i test nascosti
Questo non significa che ogni benchmark pubblico sia inutile.
Significa che il punteggio eredita l'errore di misurazione del suo dataset e del suo sistema di valutazione.
Le valutazioni pubbliche sono utili per:
- Scoprire modelli candidati
- Confrontare metodi pubblicati
- Identificare ampi cambiamenti di capacità
- Costruire una coda di valutazione interna
Non possono rispondere se un modello apporterà modifiche sicure in uno specifico monorepo, flusso di lavoro aziendale o ambiente di dati.
Un piano di controllo dovrebbe memorizzare la provenienza del benchmark con ogni decisione di instradamento:
- Versione del dataset
- Esclusioni di compiti
- Sistema di valutazione
- Configurazione degli strumenti
- Sforzo di ragionamento
- Numero di tentativi
- Ipotesi di costo
Senza questi dettagli, un punteggio di benchmark diventa uno slogan di marketing.
Costruire una valutazione privata dal lavoro reale
Databricks fornisce un esempio utile con la sua valutazione su un codicebase di milioni di righe.
Il team ha costruito compiti a partire da pull request reali, scritte da umani, in:
- Python
- Go
- TypeScript
- Scala
- Rust
- Java
- Protobuf
- gRPC
- Bazel
Ha selezionato modifiche recenti e rappresentative con test significativi, riscritto le descrizioni dei compiti per preservare l'intento senza rivelare la soluzione e revisionato manualmente ogni campione.
Il team ha anche riscontrato una perdita di dati nella configurazione iniziale. Gli agenti potevano recuperare commit futuri dalla cronologia Git. Durante le esecuzioni di valutazione, l'albero di lavoro è stato isolato dalla cronologia del repository.
Questo dettaglio conta più della classifica finale. Mostra come un benchmark possa accidentalmente misurare la scoperta di scorciatoie invece dell'abilità ingegneristica.
Costruire un set interno più piccolo
Un team può iniziare con 30-60 compiti.
Usare modifiche storiche accettate che abbiano:
- Un problema chiaro
- Test significativi
- Un ambito limitato
Includere un mix di:
- Manutenzione ordinaria
- Diagnosi di bug
- Refactoring tra file
- Lavoro frontend
- Configurazione
- Uno o due esempi sensibili alla sicurezza
Preservare lo stato del repository prima della modifica e nascondere la patch finale.
Valutare prima con prove deterministiche
Usare test deterministici prima del giudizio umano o del modello.
Poi aggiungere la revisione umana per:
- Fedeltà ai requisiti
- Qualità del diff
- Manutenibilità
- Modifiche non necessarie
Non lasciare che un giudice LLM sostituisca ogni controllo di correttezza. Un modello giudice potrebbe premiare una risposta che suona corretta.
Misurare modello e sistema di valutazione insieme
Registrare:
- Tasso di successo
- Costo totale
- Tempo trascorso
- Contesto totale inviato
- Chiamate agli strumenti
- Ripetizioni
文件涉及内容
- 审核人员修正
- 回滚率
最佳路线是在团队约束下产生可接受工作的路线,而非获得最高公开评分的路线。
可复用的智能体策略模板
以下 YAML 是一个策略产物,而非 API 架构。请根据您的身份提供商、任务队列、连接器、存储库控件及审计系统进行适配。
policy_version: 1
workflow: release_readiness
owner: product-operations
classification:
impact: medium
reversibility: high
data_sensitivity: internal
ambiguity: medium
verification: strong
routing:
default:
model_tier: terra
reasoning_effort: medium
escalate_to_sol_when:
- conflicting_sources
- unresolved_blocker_after_2_attempts
- security_boundary_detected
ultra:
allowed: false
budget:
max_wall_minutes: 45
max_tool_calls: 120
max_retries_per_step: 2
max_estimated_usd: 12
access:
jira:
verbs: [read]
projects: [NX]
github:
verbs: [read]
repositories: [We0 AI/product]
drive:
verbs: [read, create_draft]
folders: [launch-plans]
external_send: deny
deploy: deny
grant_access: deny
approvals:
- action: publish_report
role: product-director
evidence:
- source_links_present
- blockers_have_owner_and_date
- unresolved_conflicts_listed
acceptance:
required_checks:
- schema_valid
- all_sources_fresh_within_24h
- no_unattributed_claims
- human_approval_recorded
recovery:
on_budget_exceeded: stop_and_notify
on_tool_error_repeat: stop_and_attach_trace
on_policy_violation: revoke_credentials_and_open_incident
此模板做出了若干深思熟虑的选择:
- 升级机制改变的是能力,而非权限。
- Ultra 模式保持禁用,除非工作流拥有者明确启用。
- 外部发送与部署是分别禁止的。
- 验收条件体现为检查项,而非模型置信度。
- 恢复策略在执行前已定义。
对于编码工作流,将报告检查项替换为:
- 针对性测试
- 类型检查
- 代码规范检查
- 安全扫描
- 差异规模限制
- 代码所有者审查
对于电子表格工作流,要求:
- 公式验证
- 数据源对账
- 渲染结果检查
控制平面结构保持稳定,而证据内容则灵活变化。
可观测性、预算与恢复
长时间运行的智能体带来了新的可观测性问题。
传统的请求日志可能只显示一次 API 调用,而智能体追踪则可能包含数百次决策、工具调用、重试及中间产物。
团队需要两者兼顾:
- 用于调查的完整追踪记录。
- 用于运维的简洁运行台账。
运行台账字段
一份有用的台账应包含:
- 稳定的运行 ID
- 发起用户
- 策略版本
- 目标
- 模型层级及快照
- 推理投入度
- 子智能体数量
- 工具作用域
- 审批记录
- 成本
- 耗时
- 验收检查结果
- 最终产物链接
- 最终状态
- 升级原因
这样便可以回答诸如以下问题:
- 在 Terra 失败后,Sol 是否提升了验收通过率?
- 哪个工作流消耗了最多的审核人员时间?
- 哪个工具导致的重试次数最多?
- 哪条路线产生了最高的回滚率?
用途
Budget multidimensionali
Un solo limite monetario potrebbe far sì che un modello economico esegua troppi cicli.
Un solo limite di tempo potrebbe causare un'impennata di lavoro parallelo costoso.
Le dimensioni di budget utili includono:
- Denaro
- Tempo reale
- Utilizzo di token
- Chiamate a strumenti
- Tentativi
- Numero di file
- Dimensione del diff
- Numero di sottoagenti
Recupero dei test
Il recupero dovrebbe essere testato come qualsiasi altra funzionalità.
I test utili includono:
- Rimuovere un connettore a metà di un'esecuzione.
- Confermare che l'agente non ripeta un'azione esterna dopo un tentativo.
- Far scadere le sue credenziali e verificare che la traccia spieghi il fallimento.
- Annullare un'attività pianificata e confermare che le esecuzioni future si fermino.
- Revertire un commit generato e contrassegnare gli artefatti correlati come superati.
Le revisioni degli incidenti dovrebbero distinguere tra:
- Fallimento del modello
- Fallimento del sistema
- Fallimento delle policy
- Fallimento dello strumento
- Fallimento dell'approvazione umana
Dare la colpa all'"IA" nasconde il componente che può effettivamente essere migliorato.
Playbook di adozione e lista di controllo per la revisione
Inizia con un flusso di lavoro frequente, misurabile e reversibile.
I buoni candidati includono:
- Report di prontezza per il rilascio
- Triage dei ticket
- Aggiornamenti della documentazione
- Riepiloghi di fallimenti dei test
- Brief di ricerca interni
Evita di fare del primo deployment:
- Comunicazioni esterne
- Modifiche alla produzione
- Pagamenti
- Concessioni di accesso
- Flussi di lavoro di cancellazione
Registra la baseline umana
Misure:
- Quanto tempo richiede il flusso di lavoro
- Quali fonti vengono utilizzate
- Quali errori si verificano
- Quale evidenza si aspettano i revisori
Senza una baseline, un output più veloce dell'agente potrebbe semplicemente spostare più lavoro nella correzione.
Esegui in modalità shadow
Lascia che l'agente produca un artefatto mentre un umano completa indipendentemente il flusso di lavoro reale.
Confronta i risultati ed etichetta le modalità di fallimento. Utilizza queste esecuzioni per costruire la valutazione privata prima di aumentare i permessi.
Lista di controllo per la revisione
Prima di passare dall'accesso solo bozza all'accesso di scrittura con ambito, conferma:
La definizione dell'attività è sufficientemente specifica per essere valutata?
Il livello del modello e lo sforzo di ragionamento sono selezionati in base alla policy?
L'escalation può avvenire senza espandere l'autorità?
Ogni strumento ha verbi espliciti e un ambito di risorsa?
Le credenziali sono di breve durata e attribuibili all'esecuzione?
Ogni azione irreversibile o visibile esternamente è bloccata?
I controlli di accettazione sono indipendenti dall'affermazione di completamento del modello?
La traccia include fonti, azioni, approvazioni, errori e costi?
I budget coprono denaro, tempo, tentativi, strumenti e raggio di esplosione?
Sono stati testati la revoca delle credenziali, l'annullamento e il rollback?
La valutazione privata include casi limite comuni e ad alto rischio?
Un proprietario umano nominato è responsabile del risultato del flusso di lavoro?
Espandi solo una dimensione alla volta.
Un team può aggiungere una nuova fonte di dati mantenendo l'output solo bozza, oppure aggiungere accesso di scrittura con ambito mantenendo lo stesso modello e la stessa attività.
Cambiare modello, strumenti, permessi e pianificazione contemporaneamente rende difficile attribuire le regressioni.
Cosa dovrebbero fare ora i costruttori
GPT-5.6 e ChatGPT Work sono la prova che l'infrastruttura degli agenti sta diventando una categoria di prodotto a sé stante.
Il livello del modello continuerà a cambiare. Il lavoro duraturo è il piano di controllo che rende
quelle modifiche modello sono sicure.
Crea un Registro delle Route
Crea un piccolo registro per Sol, Terra, Luna e qualsiasi candidato non OpenAI.
Archivia:
- Idoneità
- Politica sui dati
- Intervallo di sforzo consentito
- Ipotesi di costo
- Modalità di errore note
Aggiungi una coda di valutazione privata in modo che un nuovo modello non possa diventare il predefinito di produzione basandosi solo sulle impressioni dei social media.
Aggiungi un Proxy di Autorizzazione
Posiziona un proxy di autorizzazione tra gli agenti e gli strumenti consequenziali.
Esponi:
- Verbi ristretti
- Credenziali a breve durata
- Hook di approvazione
- Chiavi di idempotenza
Mantieni lo stesso confine sia che l'attività inizi in ChatGPT Work, Codex, un'applicazione personalizzata o un job backend pianificato.
Definisci l'Accettazione Prima dell'Autonomia
Un team che sa spiegare come viene verificata un'attività può automatizzarla in modo sicuro in fasi.
Un team che non sa definire la verifica non è pronto a lasciare che un agente operi per ore, indipendentemente dal suo punteggio di benchmark.
Revisiona i Costi a Livello di Risultato
Traccia dollari e minuti umani per:
- Artefatto accettato
- Modifica integrata
- Ticket risolto
- Analisi approvata
Questo allinea il routing del modello, l'efficienza dell'harness e il carico di lavoro del revisore.
Dà anche al team una risposta fondata quando arriva il prossimo modello di punta.
Confini e Domande Aperte
Diverse affermazioni nei materiali di rilascio rimangono riportate dal fornitore.
I confronti tra benchmark di diversi fornitori utilizzano diverse:
- Harness
- Impostazioni di ragionamento
- Ipotesi di prezzo
- Configurazioni degli strumenti
- Set di dati
Tratta queste affermazioni come ipotesi per test interni.
La Chiamata Programmata degli Strumenti e l'esecuzione multi-agente possono ridurre il sovraccarico del contesto, ma possono anche rendere la logica intermedia meno visibile quando la tracciatura è debole.
Prima di utilizzare queste funzionalità in flussi di lavoro regolamentati, verifica:
- Cosa registra l'API
- Cosa conservano i log dell'applicazione
- Come vengono gestiti i dati intermedi sensibili
- Se il flusso di lavoro è compatibile con la politica di conservazione richiesta
Le applicazioni connesse e le funzionalità di uso del computer di ChatGPT Work aumentano l'utilità espandendo al contempo il confine di autorità. Disponibilità, controlli amministrativi e permessi dei connettori possono variare in base al piano e alla distribuzione.
Un annuncio di prodotto non sostituisce una revisione di sicurezza specifica per l'area di lavoro.
C'è anche un problema di sistemi umani. Quando gli agenti continuano per ore, gli utenti possono approvare lavori che non hanno osservato attentamente. Sintesi migliori aiutano, ma la qualità dell'approvazione dipende dal mostrare l'effetto proposto, l'incertezza e i controlli falliti al momento della decisione.
Il design del prodotto deve proteggere l'attenzione umana, non semplicemente richiedere un clic.
Il modello più forte non è quindi l'architettura finale.
La qualità della produzione deriva dalla relazione tra:
- Modello
- Harness
- Politica
- Strumenti
- Prove
- Proprietario responsabile
Questa relazione è ciò che un piano di controllo dell'agente rende esplicito.
FAQ
Cos'è GPT-5.6?
GPT-5.6 è la famiglia di modelli di luglio 2026 di OpenAI, organizzata in livelli di capacità Sol, Terra e Luna. Sol è la rotta con la massima capacità, Terra bilancia capacità e costo, e Luna dà priorità a velocità e convenienza.
Cos'è ChatGPT Work?
ChatGPT Work è uno spazio di lavoro per agenti per attività di lunga durata su file, applicazioni, azioni del browser, uso del computer e
lavoro programmato. A differenza di un normale turno di chat, un'attività di Work è progettata attorno a un risultato o artefatto completato.
Cos'è un piano di controllo dell'agente?
Un piano di controllo dell'agente è il livello di policy e operativo che governa le esecuzioni dell'agente. Classifica i compiti, sceglie un percorso del modello, rilascia credenziali con ambito definito, applica restrizioni sugli strumenti, impone approvazioni, registra tracce, valuta i risultati, controlla i budget e gestisce il recupero.
In che modo un'imbracatura dell'agente differisce da un piano di controllo?
L'imbracatura è il software che assembla il contesto, espone gli strumenti, memorizza lo stato, esegue le azioni e gestisce i tentativi. Il piano di controllo governa come tale imbracatura può operare, inclusi autorità, routing, budget, approvazioni, valutazione e recupero.
Quando i team dovrebbero utilizzare Sol, Terra o Luna?
Luna è adatta per estrazione, classificazione e formattazione a basso rischio. Terra è adatta per lavori di repository di routine, produzione di documenti e analisi moderata con severi controlli. Sol è più appropriato per diagnosi ambigue, architettura, revisione della sicurezza e ricerca di alto valore.
Passare a Sol fornisce all'agente più autorizzazioni?
No. La capacità del modello e l'autorità operativa dovrebbero rimanere separate. L'aggiornamento da Luna o Terra a Sol dovrebbe cambiare la capacità di ragionamento, non l'accesso agli strumenti, i permessi di scrittura, i diritti di distribuzione o i requisiti di approvazione.
Perché i benchmark pubblici non sono sufficienti per la selezione in produzione?
I benchmark pubblici possono contenere compiti imperfetti, ipotesi specifiche dell'imbracatura o perdite. Sono utili per scoprire candidati, ma è necessaria una valutazione privata costruita da lavoro interno reale per misurare costo, affidabilità, carico di revisione e sicurezza nell'ambiente effettivo.
Cosa dovrebbe essere registrato per un agente a lunga esecuzione?
Il registro dovrebbe includere l'obiettivo, il percorso del modello, lo sforzo di ragionamento, le chiamate agli strumenti, le fonti, le approvazioni, gli errori, i tentativi, l'utilizzo dei token, il costo, il tempo trascorso, gli artefatti, i risultati di convalida, i motivi di escalation e lo stato finale.
Strumenti Correlati
- ChatGPT: L'interfaccia prodotto di OpenAI per chat, Work, strumenti connessi e attività a lunga esecuzione.
- OpenAI API: La piattaforma ufficiale per creare applicazioni con GPT-5.6 e la Responses API.
- Codex: La piattaforma per agenti di codifica di OpenAI per lavoro su repository, ingegneria del software e competenze degli agenti.
- Programmatic Tool Calling: La guida ufficiale di OpenAI per coordinare strumenti ed elaborare risultati intermedi con programmi in memoria.
- NIST AI Risk Management Framework: Un framework di governance per identificare, misurare e gestire i rischi dell'IA.
- Databricks: Una piattaforma dati e IA il cui team di ingegneria ha pubblicato una valutazione privata dell'agente di codifica basata su modifiche reali del repository.
Link Correlati
- GPT-5.6 General Availability: Il rilascio ufficiale di GPT-5.6 di OpenAI, inclusi i livelli del modello, i dettagli delle capacità, la disponibilità e i prezzi.
- Previewing GPT-5.6 Sol: Anteprima di OpenAI
Anteprima tecnica precedente del modello Sol.
- ChatGPT for Ambitious Work: Annuncio ufficiale di OpenAI che descrive ChatGPT Work e il suo modello di attività a lunga esecuzione.
- Programmatic Tool Calling Documentation: Documentazione ufficiale per sviluppatori sul coordinamento programmatico delle chiamate agli strumenti.
- Separating Signal from Noise in Coding Evaluations: Verifica e discussione di OpenAI sui problemi di affidabilità nei benchmark pubblici di programmazione.
- GPT-5.6 System Card: Documento ufficiale di valutazione della sicurezza e delle capacità di OpenAI per GPT-5.6.
- Databricks Coding-Agent Benchmark: Una valutazione privata costruita a partire da richieste pull reali in una codebase multimilionaria.
Riepilogo
GPT-5.6 offre ai team un menu più chiaro di capacità, costi, sforzo di ragionamento ed esecuzione multi-agente. ChatGPT Work estende queste capacità in attività persistenti attraverso file, applicazioni, browser e flussi di lavoro pianificati.
La sfida produttiva non consiste semplicemente nel selezionare il modello più potente. I team hanno bisogno anche di identità con ambito definito, permessi ristretti per gli strumenti, approvazioni intermedie, controlli di accettazione indipendenti, tracce complete, budget multidimensionali, valutazioni private e procedure di ripristino testate.
Inizia con un flusso di lavoro reversibile, registra la baseline umana, esegui in modalità shadow e aumenta una sola dimensione di autorità alla volta.
Un agente di livello produttivo non è semplicemente un modello potente con strumenti. È un modello che opera all'interno di un piano di controllo misurabile, reversibile e responsabile.