Demis Hassabis propone la creazione di un'agenzia indipendente per gli standard dell'IA avanzata

Introduzione

Demis Hassabis, co-fondatore e amministratore delegato di Google DeepMind, ha proposto la creazione di una nuova agenzia indipendente per testare e regolamentare i modelli di intelligenza artificiale più avanzati al mondo.

L'organizzazione proposta si troverebbe a metà strada tra i laboratori di IA all'avanguardia e il governo degli Stati Uniti. Le sue responsabilità includerebbero: definire standard di valutazione tecnica, testare i modelli prima del loro rilascio, aggiornare i parametri di riferimento con l'aumento delle capacità, incoraggiare pratiche di sicurezza più rigorose e coordinare le risposte in caso di vulnerabilità gravi emerse dopo il deployment.

Hassabis ha delineato questo piano in un articolo intitolato "Quadro per l'IA avanzata e l'alba di una nuova era" . TechCrunch ha riportato la proposta il 14 luglio 2026, sottolineandone la struttura unica: un'organizzazione finanziata dal settore e dotata di personale tecnico, in parte ispirata al modello della Financial Industry Regulatory Authority (FINRA) statunitense.

Il piano parte dalla cooperazione volontaria. Gli sviluppatori di IA all'avanguardia dovrebbero fornire i modelli idonei per la valutazione fino a 30 giorni prima del rilascio. Se il sistema di valutazione si dimostrerà affidabile, superare la revisione potrebbe diventare un prerequisito per il deployment di modelli avanzati nel mercato statunitense.

Perché Hassabis ritiene necessario un nuovo sistema

Hassabis sostiene che l'arrivo di sistemi di IA ad alte prestazioni potrebbe superare la capacità di governi, ricercatori e società di sviluppare metodi di valutazione affidabili.

Questa preoccupazione non si limita a modelli che generano testi offensivi o comuni errori fattuali. I sistemi avanzati potrebbero sviluppare capacità che influenzano i seguenti ambiti:

• Sicurezza informatica
• Ricerca biologica
• Rischi chimici o radioattivi
• Uso autonomo di strumenti
• Automazione della ricerca sull'IA
• Persuasione e manipolazione
• Comportamenti ingannevoli
• Sicurezza dei pesi del modello
• Infrastrutture critiche
• Sicurezza nazionale

I modelli potrebbero migliorare significativamente tra un ciclo normativo e l'altro. Una valutazione che sei mesi fa era impegnativa potrebbe rapidamente diventare satura, non riuscendo più a rivelare differenze sostanziali tra i sistemi.

La definizione tradizionale di regole procede spesso lentamente. Lo sviluppo di modelli all'avanguardia, invece, no.

Pertanto, Hassabis propone di creare un'organizzazione i cui metodi di valutazione possano tenere il passo con la velocità dello sviluppo tecnologico.

Proposta centrale

L'agenzia per gli standard proposta sarebbe un'organizzazione pubblico-privata o un organismo di autoregolamentazione sotto supervisione federale.

Mantenendo l'indipendenza tecnica nelle attività quotidiane, coopererebbe con agenzie governative e laboratori nazionali su questioni di sicurezza pubblica e nazionale.

Le sue responsabilità principali includerebbero:

1. Definire quali modelli rientrano nello standard "all'avanguardia"
2. Sviluppare e mantenere protocolli di valutazione
3. Esaminare i modelli idonei prima del rilascio
4. Testare le capacità pericolose e l'affidabilità delle misure di sicurezza
5. Stabilire standard di sicurezza e trasparenza per i laboratori all'avanguardia
6. Supportare un ecosistema di valutatori esterni e revisori
7. Gestire le vulnerabilità gravi emerse dopo il rilascio
8. Coordinare interventi più incisivi se il rischio raggiunge livelli inaccettabili

L'agenzia per gli standard non regolamenterebbe ogni piccolo modello, startup, progetto universitario o applicazione AI comune.

La sua giurisdizione si limiterebbe ai sistemi che superano determinate soglie di capacità e potrebbero causare rischi eccezionalmente gravi.

Come un modello diventa "all'avanguardia"

Il quadro di Hassabis non definisce i modelli all'avanguardia in base al numero di parametri, ai costi di addestramento, alle dimensioni dell'azienda o alla notorietà del marchio.

Al contrario, l'agenzia per gli standard proposta manterrebbe una serie di parametri di riferimento delle capacità.

I modelli che superano soglie specifiche verrebbero classificati come all'avanguardia. Le organizzazioni che li sviluppano sarebbero considerate laboratori all'avanguardia.

Questo approccio basato sulle capacità è importante perché l'architettura e l'efficienza dei modelli si stanno evolvendo rapidamente.

Sistemi più piccoli o meno costosi potrebbero alla fine eguagliare capacità che un tempo richiedevano addestramenti su larga scala. Soglie fisse basate solo sulla potenza di calcolo potrebbero diventare obsolete.

Pertanto, i parametri proposti avrebbero le seguenti caratteristiche:

• Basati sulle capacità
• Regolarmente rivisti
• Progettati attorno a aree ad alto rischio
• Eliminati quando diventano troppo semplici
• Sostituiti quando i modelli iniziano a sovra-adattarsi o saturarsi
• Applicabili sia a modelli open source che closed source

La classificazione si applicherebbe anche ai modelli sviluppati all'estero e distribuiti nel mercato statunitense.

Processo di revisione pre-rilascio in fasi

La proposta adotta un'implementazione graduale, senza passare immediatamente a un sistema di licenze obbligatorie.

Prima fase: Condivisione volontaria dei modelli

I laboratori all'avanguardia dovrebbero fornire volontariamente i modelli idonei all'agenzia per gli standard prima del rilascio.

La finestra di revisione potrebbe durare fino a 30 giorni.

Durante questo periodo, i valutatori esaminerebbero le capacità, i punti deboli, le misure di sicurezza e i potenziali rischi per la sicurezza nazionale del modello.

La fase volontaria iniziale aiuterebbe l'agenzia a:

• Accumulare competenze tecniche
• Testare i metodi di valutazione
• Perfezionare le procedure di riservatezza
• Comprendere i tempi necessari per diverse valutazioni
• Creare un sistema sicuro di accesso ai modelli
• Scoprire lacune nei parametri di riferimento
• Costruire fiducia con sviluppatori e valutatori esterni

Seconda fase: Requisito formale per l'accesso al mercato

Una volta che il processo di valutazione si sarà dimostrato tecnicamente valido e operativamente affidabile, il quadro verrebbe formalizzato.

I modelli all'avanguardia, per essere distribuiti nel mercato statunitense, dovrebbero prima superare questo processo.

Ciò trasformerebbe il test pre-rilascio da una pratica volontaria del settore a un requisito esplicito per l'accesso al mercato.

Terza fase: Monitoraggio post-rilascio

L'approvazione del modello non segnerebbe la fine delle responsabilità dell'agenzia per gli standard.

I laboratori all'avanguardia dovrebbero collaborare con l'agenzia per quanto riguarda le vulnerabilità critiche scoperte dopo il rilascio.

Ciò potrebbe includere:

• Nuovi metodi di jailbreak
• Perdita dei pesi del modello
• Comportamenti inaspettati degli agenti
• Modelli pericolosi di utilizzo degli strumenti
• Fallimento dei benchmark
• Degrado delle funzioni di sicurezza
• Nuove capacità informatiche o biologiche scoperte
• Rischi emersi solo con il deployment su larga scala

Distribuzione

Pertanto, il quadro considera la sicurezza come un ciclo di vita continuo, non come un evento di approvazione una tantum.

Cosa testerà l'agenzia per gli standard

Hassabis esorta a condurre test scientifici rigorosi nelle aree in cui le capacità avanzate potrebbero causare danni gravi.

Le aree di valutazione iniziali potrebbero includere:

Area di valutazione	Domanda di esempio
Sicurezza informatica	Il modello può scoprire, sfruttare o automatizzare vulnerabilità software gravi?
Rischio biologico	Può assistere efficacemente in lavori avanzati che potrebbero aumentare i pericoli biologici?
Rischio chimico e radioattivo	Fornisce capacità oltre le informazioni generalmente accessibili?
Comportamento autonomo	Può pianificare, usare strumenti, operare a lungo termine o eludere restrizioni in compiti prolungati?
Inganno	Nasconde obiettivi, manipola i valutatori o si comporta diversamente sotto monitoraggio?
Robustezza delle difese	Utenti ostili possono eludere i limiti delle policy tramite jailbreak o attacchi a interazioni multiple?
Sicurezza del modello	I pesi preziosi del modello o informazioni sensibili sul sistema possono essere rubati?
Capacità di ricerca sull'IA	Il modello può accelerare lo sviluppo di sistemi di IA più potenti?

Lo scopo non è affermare che ogni rischio possa essere misurato perfettamente.

L'obiettivo è creare prove sufficientemente solide per supportare le decisioni di deployment e identificare le aree che richiedono misure di protezione aggiuntive.

Le valutazioni devono essere aggiornate continuamente

Una delle parti più importanti della proposta è la richiesta di modifiche frequenti ai contenuti dei test.

Hassabis suggerisce che le suite di valutazione potrebbero inizialmente essere aggiornate ogni trimestre.

Ciò è necessario perché i parametri di riferimento all'avanguardia possono diventare inaffidabili per vari motivi:

• I modelli raggiungono punteggi quasi perfetti.
• I dati di addestramento contengono le risposte ai parametri di riferimento.
• Gli sviluppatori ottimizzano direttamente per i test.
• I parametri di riferimento non riflettono più gli scenari di utilizzo reali.
• Le nuove capacità dei modelli creano rischi che i test non erano progettati per misurare.
• I sistemi autonomi imparano a sfruttare le debolezze nell'ambiente di valutazione.

L'agenzia per gli standard consulterebbe prima i laboratori all'avanguardia, che possiedono una vasta conoscenza tecnica dei sistemi attuali.

Tuttavia, col tempo, dovrebbe sviluppare propri test privati e riservati.

Questi test non sarebbero completamente rivelati agli sviluppatori prima della valutazione. Ciò ridurrebbe il rischio che i modelli siano addestrati specificamente per superare benchmark noti, senza dimostrare una sicurezza più ampia.

Perché test indipendenti e riservati sono cruciali

I benchmark pubblici sono utili per la ricerca e la trasparenza, ma non sono sufficienti per la certificazione ad alto rischio.

Quando gli sviluppatori conoscono ogni domanda di valutazione, potrebbero:

• Addestrare direttamente sul set di test
• Regolare i prompt per adattarsi ai benchmark
• Aggiungere filtri stretti per compiti noti
• Ottimizzare il routing del modello per corrispondere ai metodi di punteggio
• Produrre forti risultati sui benchmark senza migliorare il comportamento generale

I valutatori indipendenti possono ridurre questi problemi mantenendo riservati i compiti e introducendo regolarmente nuovi incarichi.

Questo processo è più simile a un test di sicurezza che a una classifica tradizionale.

Un programma di valutazione affidabile deve includere:

• Accesso sicuro ai modelli
• Controllo delle versioni
• Riproducibilità

Ambiente:

• Regole di punteggio chiare
• Progettazione dei test indipendente
• Registri di audit
• Test avversariali
• Più revisori esperti
• Procedure per gestire risultati incerti
• Processi per reclami e nuovi test

Senza queste garanzie, l'organismo di normazione potrebbe diventare solo un'altra piattaforma di benchmark, piuttosto che un ente regolatore significativo.

Perché Hassabis prende a modello la FINRA americana

La FINRA è un'organizzazione privata senza scopo di lucro che si autoregola per i broker statunitensi. È finanziata dalle commissioni del settore, ma opera sotto la supervisione della SEC. L'organismo stabilisce e applica regole per i membri, conduce revisioni, monitora le attività di mercato, gestisce i processi di certificazione e affronta i rischi emergenti.

Hassabis non suggerisce di trasferire ogni aspetto della regolamentazione finanziaria all'IA. Le caratteristiche strutturali rilevanti includono:

• Finanziamento del settore
• Supervisione governativa
• Personale professionale
• Creazione di regole
• Monitoraggio tecnico
• Requisiti di appartenenza o certificazione
• Capacità di adattarsi ai rischi in evoluzione
• Modello misto di partecipazione pubblica e del settore

Le organizzazioni all'avanguardia nell'IA necessitano di infrastrutture informatiche costose e personale altamente specializzato. Il finanziamento del settore può fornire le risorse necessarie per assumere ricercatori di modelli, esperti di cybersicurezza, esperti di rischi biologici, ingegneri di valutazione e team di infrastrutture. La supervisione federale mira a impedire che l'organismo si trasformi in un club privato controllato dalle aziende valutate.

Struttura di governance proposta

Hassabis suggerisce che il consiglio di amministrazione includa esperti tecnici indipendenti e rappresentanti della comunità open source dell'IA. Ciò è cruciale perché la governance all'avanguardia dell'IA coinvolge organizzazioni con approcci di sviluppo molto diversi. I laboratori di modelli chiusi possono fornire accesso tramite interfacce sicure senza pubblicare i pesi, mentre gli sviluppatori di modelli open source possono rendere pubblici parametri, codice e dettagli tecnici. Se l'organismo di normazione rappresenta solo i più grandi laboratori proprietari, potrebbe stabilire regole che mettono involontariamente o deliberatamente in svantaggio le organizzazioni più piccole.

Una struttura più equilibrata potrebbe includere:

• Ricercatori IA indipendenti
• Esperti di cybersicurezza
• Esperti di sicurezza biologica e chimica
• Rappresentanti open source
• Voci di consumatori e società civile
• Personale dei laboratori nazionali
• Osservatori governativi
• Tecnici dei laboratori all'avanguardia
• Ricercatori di valutazione
• Esperti di infrastrutture e sicurezza

Regole specifiche sui diritti di voto e sui conflitti di interesse sono essenziali. La competenza del settore è indispensabile per comprendere la tecnologia, ma un controllo eccessivo del settore potrebbe minare la fiducia pubblica.

Migliori pratiche per i laboratori all'avanguardia

La proposta va oltre il test dei modelli. Le organizzazioni classificate come laboratori all'avanguardia dovrebbero adottare pratiche operative più rigorose, tra cui:

• Pubblicare schede dettagliate dei modelli
• Mantenere una forte cybersicurezza interna
• Proteggere i pesi dei modelli
• Sottoporre a controlli il personale per ruoli sensibili
• Finanziare ricerche sulla sicurezza e la protezione
• Documentare i risultati delle valutazioni
• Segnalare incidenti significativi
• Utilizzare firme digitali

Filigrane per i contenuti generati

• Mantenere controlli di distribuzione sicuri
• Collaborare per affrontare le vulnerabilità post-rilascio

Questi requisiti riflettono una realtà importante: i rischi dell'IA all'avanguardia non iniziano né finiscono con il comportamento del modello.

Un modello sicuro, se i suoi pesi vengono rubati, i prompt di sistema esposti, gli strumenti configurati in modo errato o l'ambiente di distribuzione manca di controlli adeguati, può ancora presentare rischi.

Gli enti di valutazione di terze parti sono ancora necessari

L'organismo di normazione non deve condurre tutti i test internamente.

Hassabis propone di sostenere un ecosistema di enti di valutazione e audit indipendenti.

Diverse organizzazioni possono specializzarsi in:

• Valutazione della cybersicurezza
• Valutazione dei rischi biologici
• Autonomia degli agenti
• Manipolazione e persuasione
• Spiegabilità
• Protezione dei pesi dei modelli
• Test red team
• Test di modelli aperti
• Filigrane e tracciabilità
• Monitoraggio post-distribuzione

L'organismo centrale può definire i requisiti e coordinare i processi, mentre esperti approvati conducono le valutazioni specifiche.

Questo approccio potrebbe essere più scalabile rispetto al tentativo di stabilire tutte le forme di competenza all'interno di un'unica organizzazione.

Riduce anche la dipendenza da un singolo valutatore, i cui metodi potrebbero contenere punti ciechi sconosciuti.

Come si collega la proposta alle istituzioni statunitensi esistenti

Gli Stati Uniti hanno già agenzie governative impegnate nei test dell'IA e nella definizione di standard.

Il NIST ospita il Centro per gli standard e l'innovazione dell'IA (CAISI).

Il CAISI collabora con l'industria per sviluppare standard volontari, elaborare metodi di valutazione e condurre valutazioni relative a cybersicurezza, biosicurezza, armi chimiche, sicurezza nazionale e sistemi IA stranieri.

La proposta di Hassabis si sovrappone a questo lavoro, ma creerebbe una struttura unica.

Una possibile divisione dei ruoli è la seguente:

Istituzione	Ruolo possibile
CAISI e NIST	Scienza della misurazione, standard pubblici, valutazioni governative, coordinamento della sicurezza nazionale
Organismo di normazione proposto	Processo di valutazione pre-rilascio, requisiti per laboratori all'avanguardia, certificazione tecnica, supervisione continua del settore
Agenzie federali	Poteri legali, decisioni sulla sicurezza nazionale, applicazione della legge, controlli all'esportazione
Laboratori nazionali	Test specializzati, infrastrutture di sicurezza, competenze scientifiche
Enti di valutazione di terze parti	Audit specifici per dominio, test red team, sviluppo di benchmark
Laboratori all'avanguardia	Accesso sicuro ai modelli, documentazione tecnica, misure correttive, monitoraggio post-rilascio

Questo accordo richiede un'attenta coordinazione per evitare duplicazioni di test, requisiti contrastanti e confini giurisdizionali poco chiari.

Rapporto con il quadro di sicurezza all'avanguardia di Google DeepMind

Google DeepMind utilizza già un quadro di sicurezza all'avanguardia interno.

Questo quadro identifica soglie di capacità critiche e le collega a valutazioni, misure di sicurezza e misure di distribuzione.

I suoi ambiti di rischio includono:

• Cybersicurezza
• Capacità CBRN
• Manipolazione dannosa
• Ricerca e sviluppo ML
• Disallineamento degli obiettivi

Il quadro di DeepMind utilizza anche casi di sicurezza e misure di mitigazione della distribuzione per modelli che raggiungono specifici livelli di capacità.

La nuova proposta di Hassabis estenderebbe questa logica generale oltre una singola azienda.

Invece di far definire e rivedere le proprie soglie a ciascun laboratorio all'avanguardia, un'organizzazione esterna creerebbe test condivisi e requisiti minimi.

Potenziali vantaggi della proposta

Competenza tecnica

Un'organizzazione specializzata può reclutare personale che conosce abbastanza i modelli avanzati da valutarne le capacità.

Gli enti regolatori generici spesso faticano a eguagliare la profondità tecnica dei laboratori all'avanguardia.

Adattamento più rapido

Una struttura di autoregolamentazione potrebbe aggiornare benchmark e processi più velocemente di quanto possa fare la legislazione.

Standard condivisi

Valutazioni comuni rendono più confrontabili le dichiarazioni di sicurezza dei modelli di diversi sviluppatori.

Accesso pre-rilascio

I test prima della distribuzione danno ai valutatori più tempo per trovare difetti gravi prima che i modelli raggiungano milioni di utenti.

Test indipendenti

Test di conservazione e audit di terze parti forniscono prove che vanno oltre le schede tecniche pubblicate dalle aziende.

Ambito limitato

Esentare i modelli non all'avanguardia riduce l'onere per startup, università e piccoli progetti open source.

Base internazionale

Un sistema guidato dagli Stati Uniti potrebbe fornire un punto di partenza per standard di valutazione internazionali compatibili.

Questioni importanti non completamente risolte dalla proposta

Sebbene dettagliato, il piano presenta ancora diversi problemi di progettazione.

Chi decide cosa costituisce IA all'avanguardia?

Le soglie di capacità potrebbero determinare quali aziende devono sostenere costosi test e possibili ritardi di rilascio.

Il processo di definizione delle soglie deve essere trasparente, basato su prove e aperto al controllo.

Quanto può essere indipendente un'istituzione finanziata dal settore?

I fondi del settore possono fornire competenze e potenza di calcolo, ma sollevano anche conflitti di interesse.

Sono necessari una forte supervisione governativa, una governance nell'interesse pubblico, trasparenza finanziaria e revisione esterna.

Una revisione di 30 giorni può essere completata in modo affidabile?

Alcune valutazioni richiedono ambienti specializzati, revisione di esperti, test a lungo termine degli agenti o esperimenti ripetuti.

L'organismo di normazione ha bisogno di personale e potenza di calcolo adeguati per evitare di diventare un collo di bottiglia per i rilasci.

Come testare i modelli aperti?

I modelli con pesi pubblicati presentano rischi diversi rispetto alle API ospitate.

Una volta resi pubblici i pesi, molte misure di protezione della distribuzione potrebbero essere inefficaci.

I requisiti di valutazione potrebbero dover distinguere tra sistemi a pesi aperti, a pesi limitati e a hosting chiuso.

Cosa fare quando i risultati sono incerti?

Le valutazioni all'avanguardia spesso producono prove ambigue.

Il quadro deve stabilire regole per approvazioni condizionate, test aggiuntivi, limitazioni di distribuzione, ricorsi e revisioni indipendenti.

Come funziona l'applicazione?

Un organismo di autoregolamentazione non può imporre automaticamente sanzioni legali alle aziende al di fuori della sua giurisdizione.

L'autorizzazione formale richiederebbe legislazione, azioni delle agenzie, requisiti contrattuali, regole di appalto o condizioni di accesso al mercato.

Il sistema proteggerà le aziende consolidate?

Le grandi aziende di IA possono permettersi valutazioni complete e team di conformità.

Gli sviluppatori più piccoli potrebbero avere difficoltà, anche se i loro modelli raggiungono le stesse soglie di capacità.

Il quadro deve impedire che i requisiti di sicurezza si evolvano in barriere anticoncorrenziali.

Quando il quadro potrebbe diventare più severo

Hassabis ritiene che il sistema dovrebbe essere regolabile.

Se le valutazioni mostrano che i modelli all'avanguardia stanno generando rischi più gravi, la supervisione può essere rafforzata.

Le possibili misure di escalation includono:

• Estensione dei cicli di revisione
• Aumento dei requisiti di sicurezza

Limitazioni dell'ambiente di distribuzione

• Supervisione umana obbligatoria
• Limitazione dell'accesso agli strumenti
• Controllo sull'ottenimento dei pesi del modello
• Rafforzamento degli obblighi di segnalazione degli incidenti
• Restrizioni temporanee alla pubblicazione
• Sospensione coordinata per specifiche categorie di capacità

L'opzione più severa è rallentare in modo coordinato il ritmo di sviluppo dei laboratori all'avanguardia, quando le prove sono sufficienti.

Tali interventi sono complessi sia a livello politico che tecnico, richiedendo soglie chiare, coordinamento internazionale, meccanismi esecutivi e prove concrete che mantenere l'attuale ritmo comporterebbe rischi inaccettabili.

La sfida dell'internazionalizzazione

Lo sviluppo e la distribuzione dell'IA all'avanguardia oltrepassano i confini nazionali.

Gli enti di normazione statunitensi possono influenzare l'accesso al mercato americano, ma non hanno giurisdizione indipendente su tutti i laboratori globali.

Pertanto, la proposta di Hassabis considera la leadership statunitense come punto di partenza, non come sistema finale.

È necessaria la compatibilità internazionale nei seguenti ambiti:

• Definizione delle capacità
• Metodi di valutazione
• Accesso ai modelli riservati
• Segnalazione degli incidenti
• Rischi per la sicurezza nazionale
• Pubblicazione dei pesi open source
• Tracciabilità dei modelli
• Controlli su esportazione e distribuzione
• Riconoscimento reciproco dei risultati dei test
• Audit transfrontalieri

La mancanza di coordinamento porterà le aziende ad affrontare standard incoerenti o a scegliere giurisdizioni con la regolamentazione più permissiva.

Nel frattempo, un unico regolatore globale potrebbe essere politicamente irrealistico.

Una rete di enti di valutazione nazionali e regionali che adottino standard tecnici condivisi potrebbe essere una soluzione più praticabile.

Cosa significa questa proposta per gli sviluppatori di IA all'avanguardia

Un ente di normazione efficace cambierà il processo di pubblicazione dei modelli.

Attualmente, i laboratori leader pubblicano principalmente da soli schede tecniche, schede di sistema, quadri di sicurezza e alcuni risultati delle valutazioni.

Con il nuovo sistema, gli sviluppatori all'avanguardia potrebbero dover preparare:

1. Accesso riservato ai modelli prima della pubblicazione
2. Test di capacità indipendenti
3. Benchmark riservati
4. Revisioni di sicurezza esterne
5. Segnalazione standardizzata degli incidenti
6. Certificazione della sicurezza informatica interna
7. Obblighi di remediation post-pubblicazione
8. Documentazione tecnica più dettagliata
9. Possibili condizioni per la distribuzione
10. Approvazione formale prima dell'ingresso nel mercato statunitense

Le valutazioni di sicurezza diventeranno un chiaro punto di controllo per la pubblicazione, non una pratica interna decisa autonomamente dalle singole aziende.

Domande frequenti

Cosa propone Demis Hassabis?

Propone la creazione di un ente di normazione indipendente a guida statunitense per valutare i modelli di IA all'avanguardia. Tale ente definirà test tecnici, eseguirà audit prima della pubblicazione dei modelli, promuoverà pratiche di sicurezza e coordinerà la risposta a vulnerabilità gravi.

L'organizzazione fa parte del governo statunitense?

Simile a un partenariato pubblico-privato o a un'organizzazione di autoregolamentazione sotto supervisione federale. I finanziamenti potrebbero provenire principalmente dall'industria dell'IA, operando sotto la supervisione governativa.

Perché FINRA come modello?

FINRA è un'organizzazione di autoregolamentazione finanziata dall'industria, che supervisiona i broker-dealer statunitensi sotto il controllo della SEC. Hassabis ritiene che una struttura simile possa combinare competenza tecnica, norme adattabili, finanziamenti industriali e supervisione pubblica.

Per quanto tempo i modelli all'avanguardia devono essere revisionati prima della pubblicazione?

La proposta iniziale prevede una condivisione volontaria con l'ente di normazione fino a 30 giorni prima della pubblicazione. I tempi specifici di revisione possono variare in base al modello e ai requisiti di valutazione.

Ogni modello di IA necessita di approvazione?

No. Il quadro si applicherà ai modelli che raggiungono soglie di capacità all'avanguardia, aggiornate periodicamente. I modelli più piccoli di startup, università e altre organizzazioni di solito non sono soggetti a questo processo, a meno che le loro capacità non raggiungano il livello specificato.

I modelli di IA open source sono inclusi?

Hassabis afferma che il quadro dovrebbe applicarsi ai sistemi di livello avanzato, siano essi open source o closed source, indipendentemente dal paese d'origine. I modelli con pesi aperti potrebbero richiedere misure di salvaguardia diverse, poiché dopo la pubblicazione potrebbe non essere possibile imporre controlli sulla distribuzione.

Quali rischi valuterà l'ente?

La proposta si concentra su sicurezza informatica, minacce biologiche, comportamenti autonomi, inganno, elusione delle salvaguardie e altre capacità ad alto rischio. I set di test dovranno essere aggiornati regolarmente man mano che emergono nuovi rischi e capacità.

Gli Stati Uniti stanno già valutando modelli di IA avanzati?

Sì. Il centro per gli standard e l'innovazione dell'IA del NIST si occupa di test, standard e valutazioni che coinvolgono l'IA commerciale e all'avanguardia. L'ente proposto aggiungerebbe una struttura più formale e indipendente di revisione pre-pubblicazione e supervisione del settore.

Strumenti correlati

• Inspect AI: Framework open source dell'AI Safety Institute britannico per valutazioni strutturate e riproducibili di modelli all'avanguardia.
• NIST AI Risk Management Framework: Quadro volontario per governare, mappare, misurare e gestire i rischi dell'IA.
• NIST Center for AI Standards and Innovation: Centro del governo statunitense per test, metrologia scientifica, standard e valutazioni di sicurezza nazionale dell'IA.
• Google DeepMind Frontier Safety Framework: Quadro interno di DeepMind per identificare e mitigare i rischi gravi dei modelli all'avanguardia.
• Inspect Evals: Raccolta di valutazioni riproducibili basate sul framework Inspect AI.

Link correlati

• Un quadro per l'IA all'avanguardia e l'alba di una nuova era: Proposta completa di Demis Hassabis.
• Informazioni su FINRA: Descrizione ufficiale di FINRA sulla sua struttura, finanziamenti, responsabilità e supervisione della SEC.
• Centro per gli standard e l'innovazione dell'IA: Informazioni ufficiali sul ruolo di CAISI nella valutazione, definizione degli standard e sicurezza nazionale.
• Aggiornamento del quadro di sicurezza all'avanguardia di Google DeepMind: Strategie di DeepMind su soglie di capacità, argomentazioni di sicurezza, salvaguardie e misure di mitigazione per la distribuzione.
• Approccio alle valutazioni dell'AI Safety Institute britannico: Metodologia ufficiale del governo britannico per i test pre e post distribuzione dell'IA avanzata.
• Guida alla gestione del rischio per l'IA generativa del NIST: Linee guida per la gestione del rischio lungo l'intero ciclo di vita dell'IA generativa.
• Dichiarazione congiunta della rete internazionale: Valutazione del rischio dell'IA avanzata: Principi comuni internazionali per la valutazione dei sistemi di IA avanzata.

Riepilogo

Demis Hassabis propone la creazione di un ente di normazione tecnicamente competente e operativamente indipendente, incaricato di esaminare i modelli di IA più capaci prima della loro pubblicazione. L'organizzazione inizierà con una cooperazione volontaria, stabilendo processi di valutazione affidabili, che in futuro potrebbero diventare un requisito obbligatorio per la distribuzione di modelli all'avanguardia negli Stati Uniti.

La proposta cerca di combinare competenza industriale e supporto finanziario, con supervisione governativa, test indipendenti, benchmark riservati, audit di terze parti e monitoraggio continuo post-evento.

Rimangono molte questioni attuative da risolvere, tra cui meccanismi di governance, modalità esecutive, gestione dei modelli open source, capacità di valutazione, conflitti di interesse e coordinamento internazionale. Ciononostante, la proposta è più concreta dei generici appelli alla regolamentazione dell'IA: definisce la struttura dell'ente, il processo di revisione, l'ambito e le responsabilità tecniche.

Il concetto centrale è diretto: la sicurezza dell'IA all'avanguardia dovrebbe essere testata da un'organizzazione con sufficiente indipendenza, competenza, risorse computazionali e autorità per poter sfidare le aziende tecnologiche che costruiscono i modelli.