Demis Hassabis propose la création d'un organisme de normes indépendant pour l'IA de pointe

Introduction

Demis Hassabis, cofondateur et directeur général de Google DeepMind, propose la création d'une nouvelle entité indépendante chargée de tester et de réglementer les modèles d'intelligence artificielle les plus avancés au monde.

L'organisation envisagée se situerait entre les laboratoires d'IA de pointe et le gouvernement américain. Ses missions incluraient : l'établissement de normes d'évaluation technique, la réalisation de tests avant la publication des modèles avancés, la mise à jour des référentiels à mesure que les capacités progressent, l'encouragement de pratiques de sécurité plus strictes, et la coordination des mesures correctives en cas de vulnérabilités graves découvertes après le déploiement.

Hassabis a présenté ce plan dans un article intitulé « Un cadre pour l'IA de pointe et l'aube d'une nouvelle ère ». TechCrunch a rapporté cette proposition le 14 juillet 2026, en soulignant particulièrement son architecture unique : une organisation financée par l'industrie et dotée de personnel technique, partiellement inspirée du modèle de l'Autorité de régulation du secteur financier américain (FINRA).

Le plan commence par une coopération volontaire. Les développeurs d'IA de pointe devraient soumettre leurs modèles éligibles à une évaluation jusqu'à 30 jours avant leur publication. Si le système d'évaluation s'avère fiable, l'obtention de l'approbation pourrait devenir une condition préalable au déploiement des modèles de pointe sur le marché américain.

Pourquoi Hassabis estime qu'un nouveau système est nécessaire

Hassabis estime que l'arrivée de systèmes d'IA à haute performance pourrait survenir plus rapidement que la capacité des gouvernements, des chercheurs et de la société à mettre en place des méthodes d'évaluation fiables.

Cette préoccupation ne se limite pas à savoir si le modèle génère des textes offensants ou commet des erreurs factuelles ordinaires. Les systèmes de pointe pourraient développer des capacités impactant les domaines suivants :

• Cybersécurité
• Recherche biologique
• Risques chimiques ou radiologiques
• Utilisation autonome d'outils
• Automatisation de la recherche en IA
• Persuasion et manipulation
• Comportements trompeurs
• Sécurité des poids du modèle
• Infrastructures critiques
• Sécurité nationale

Les modèles peuvent connaître des améliorations significatives entre deux cycles de réglementation. Une évaluation jugée difficile il y a six mois peut rapidement devenir saturée et ne plus révéler de différences substantielles entre les systèmes.

L'élaboration de règles traditionnelles progresse souvent lentement. Ce n'est pas le cas du développement des modèles de pointe.

C'est pourquoi Hassabis propose de créer une organisation dont les méthodes d'évaluation pourraient suivre approximativement le rythme de l'évolution technologique.

Proposition centrale

L'organisme de normalisation proposé serait une entité de partenariat public-privé sous supervision fédérale ou une organisation d'autorégulation.

Il maintiendrait son indépendance technique au quotidien tout en collaborant avec les agences gouvernementales et les laboratoires nationaux sur les questions touchant à la sécurité publique et à la sécurité nationale.

Ses principales responsabilités comprendraient :

1. Définir quels modèles répondent aux critères de niveau de pointe
2. Élaborer et maintenir des protocoles d'évaluation
3. Examiner les modèles éligibles avant leur publication
4. Tester les capacités dangereuses et la fiabilité des mesures de protection
5. Établir des normes de sécurité et de transparence pour les laboratoires de pointe
6. Soutenir un écosystème d'évaluateurs externes et d'auditeurs
7. Gérer les vulnérabilités graves découvertes après la publication
8. Coordonner des interventions plus fortes si le risque atteint un niveau inacceptable

Cet organisme de normalisation ne réglementerait pas chaque petit modèle, startup, projet universitaire ou application courante d'IA.

Sa compétence se limiterait aux systèmes qui franchissent un seuil de capacité et pourraient présenter des risques exceptionnellement graves.

Comment un modèle devient « de pointe »

Le cadre de Hassabis ne définit pas les modèles de pointe uniquement par le nombre de paramètres, le coût d'entraînement, la taille de l'entreprise ou la notoriété de la marque.

Au lieu de cela, l'organisme de normalisation proposé maintiendrait un ensemble de référentiels de capacités.

Les modèles franchissant des seuils spécifiques seraient classés comme de pointe. Les organisations développant de tels modèles seraient considérées comme des laboratoires de pointe.

Cette approche basée sur les capacités est importante car l'architecture et l'efficacité des modèles évoluent rapidement.

Des systèmes plus petits ou moins coûteux pourraient éventuellement égaler des capacités qui nécessitaient auparavant un entraînement à plus grande échelle. Un seuil fixe basé uniquement sur la puissance de calcul pourrait devenir obsolète.

Par conséquent, les référentiels proposés auraient les caractéristiques suivantes :

• Basés sur les capacités
• Révisés périodiquement
• Conçus autour des domaines à haut risque
• Éliminés lorsque les référentiels deviennent trop simples
• Remplacés lorsque les modèles commencent à surapprendre ou à saturer
• Applicables que le modèle soit open source ou propriétaire

Cette classification s'appliquerait également aux modèles développés à l'étranger et déployés sur le marché américain.

Processus d'examen pré-publication par étapes

La proposition adopte une mise en œuvre par étapes, plutôt qu'un passage immédiat à un système de licence obligatoire.

Phase 1 : Partage volontaire des modèles

Les laboratoires de pointe devraient volontairement soumettre les modèles éligibles à l'organisme de normalisation avant leur publication.

La fenêtre d'examen peut aller jusqu'à 30 jours.

Pendant cette période, les évaluateurs évalueraient les capacités, les faiblesses, les mesures de sécurité et les risques potentiels pour la sécurité nationale du modèle.

La phase initiale volontaire aiderait l'organisme à :

• Acquérir une expertise technique
• Tester les méthodes d'évaluation
• Perfectionner les procédures de confidentialité
• Comprendre le temps nécessaire pour différentes évaluations
• Établir un système sécurisé d'accès aux modèles
• Identifier les lacunes des référentiels
• Instaurer la confiance avec les développeurs et les évaluateurs externes

Phase 2 : Exigence formelle d'accès au marché

Une fois le processus d'évaluation prouvé techniquement efficace et opérationnellement fiable, le cadre serait formellement mis en œuvre.

Les modèles de pointe destinés au marché américain devraient passer par ce processus.

Cela transformerait les tests pré-publication d'une pratique volontaire de l'industrie en une exigence claire d'accès au marché.

Phase 3 : Surveillance post-publication

L'approbation du modèle ne signifie pas la fin des responsabilités de l'organisme de normalisation.

Les laboratoires de pointe devraient collaborer avec l'organisme concernant les vulnérabilités critiques découvertes après la publication.

Cela pourrait inclure :

• Nouvelles méthodes de contournement
• Fuite des poids du modèle
• Comportements inattendus de l'agent
• Modes d'utilisation dangereux d'outils
• Inefficacité des tests de référence
• Dégradation des fonctions de sécurité
• Capacités réseau ou biologiques nouvellement découvertes
• Risques qui n'apparaissent qu'à grande échelle

Déploiement

Par conséquent, ce cadre considère la sécurité comme un cycle de vie continu, et non comme un événement d'approbation unique.

Ce que l'organisme de normalisation testera

Hassabis appelle à des tests scientifiques rigoureux dans les domaines où les capacités avancées pourraient causer des préjudices graves.

Les domaines d'évaluation initiaux pourraient inclure :

Domaine d'évaluation	Question exemple
Cybersécurité	Le modèle peut-il découvrir, exploiter ou automatiser des vulnérabilités logicielles graves ?
Risque biologique	Peut-il assister efficacement des travaux avancés susceptibles d'accroître le danger biologique ?
Risques chimiques et radiologiques	Fournit-il des capacités dépassant les informations généralement accessibles ?
Comportement autonome	Peut-il planifier, utiliser des outils, fonctionner en continu ou contourner des limitations dans des tâches à long terme ?
Tromperie	Cache-t-il ses objectifs, manipule-t-il les évaluateurs ou se comporte-t-il différemment sous surveillance ?
Robustesse des protections	Les utilisateurs adverses peuvent-ils contourner les restrictions via des attaques de contournement ou des interactions multiples ?
Sécurité du modèle	Les poids du modèle de valeur ou les informations sensibles du système peuvent-ils être volés ?
Capacités de recherche en IA	Le modèle peut-il accélérer le développement de systèmes d'IA plus puissants ?

Le but n'est pas de prétendre que chaque risque peut être parfaitement mesuré.

L'objectif est de produire des preuves suffisamment solides pour soutenir les décisions de déploiement et identifier les domaines nécessitant des mesures de protection supplémentaires.

Les évaluations doivent être continuellement mises à jour

L'un des aspects les plus importants de la proposition est l'exigence de révisions fréquentes du contenu des tests.

Hassabis suggère que les batteries d'évaluation pourraient initialement être mises à jour trimestriellement.

C'est nécessaire car les référentiels de pointe peuvent devenir peu fiables à plusieurs égards :

• Les modèles atteignent des scores quasi parfaits.
• Les données d'entraînement contiennent les réponses des référentiels.
• Les développeurs optimisent directement pour les tests.
• Les référentiels ne reflètent plus les scénarios d'utilisation réels.
• Les nouvelles capacités des modèles créent des risques que les tests n'ont pas été conçus pour mesurer.
• Les systèmes autonomes apprennent à exploiter les faiblesses de l'environnement d'évaluation.

L'organisme de normalisation consulterait d'abord les laboratoires de pointe, qui possèdent une connaissance technique approfondie des systèmes actuels.

Cependant, avec le temps, il devrait développer ses propres évaluations privées et confidentielles.

Ces tests ne seraient pas entièrement divulgués aux développeurs avant l'évaluation. Cela réduirait le risque que les modèles soient spécifiquement entraînés pour réussir des tests de référence connus sans démontrer une sécurité plus large.

Pourquoi des tests confidentiels indépendants sont cruciaux

Les référentiels publics sont utiles pour la recherche et la transparence, mais insuffisants pour une certification à haut risque.

Lorsque les développeurs connaissent chaque question d'évaluation, ils peuvent :

• S'entraîner directement sur l'ensemble de test
• Ajuster les invites pour correspondre aux référentiels
• Ajouter des filtres étroits pour les tâches connues
• Optimiser le routage du modèle pour correspondre à la méthode de notation
• Produire des résultats solides sur les référentiels sans améliorer le comportement général

Les évaluateurs indépendants peuvent réduire ces problèmes en maintenant des tâches confidentielles et en introduisant régulièrement de nouvelles tâches.

Ce processus ressemble davantage à des tests de sécurité qu'à un classement traditionnel.

Un programme d'évaluation crédible doit comprendre :

• Un accès sécurisé aux modèles
• Un contrôle de version
• Une reproductibilité

Environnement

• Des règles de notation claires
• Une conception de tests indépendante
• Des journaux d'audit
• Des tests adversariales
• Plusieurs examinateurs experts
• Des procédures pour traiter les résultats incertains
• Des processus d'appel et de re-test

Sans ces garanties, cette institution de normalisation risque de devenir une simple plateforme de publication de références, plutôt qu'un organisme de régulation significatif.

Pourquoi Hassabis prend le modèle de la FINRA

La FINRA (Autorité de régulation du secteur financier américain) est une organisation privée à but non lucratif d'autorégulation pour les courtiers américains. Elle est financée par les frais de l'industrie, mais fonctionne sous la supervision de la Securities and Exchange Commission (SEC). Cette agence établit et applique les règles pour ses membres, mène des examens, surveille les activités du marché, gère les processus de certification et répond aux risques émergents.

Hassabis ne suggère pas de transposer chaque aspect de la régulation financière à l'intelligence artificielle. Les caractéristiques structurelles pertinentes incluent :

• Un financement par l'industrie
• Une supervision gouvernementale
• Un personnel professionnel
• L'élaboration de règles
• Une surveillance technique
• Des exigences d'adhésion ou de certification
• Une capacité d'adaptation aux risques changeants
• Un modèle mixte de participation publique et industrielle

Les organisations d'IA de pointe ont besoin d'infrastructures de calcul coûteuses et d'un personnel hautement spécialisé. Le financement par l'industrie peut fournir les ressources nécessaires pour recruter des chercheurs en modèles, des experts en cybersécurité, des experts en risques biologiques, des ingénieurs d'évaluation et des équipes d'infrastructure. La régulation fédérale vise à empêcher cette organisation de se transformer en un club privé contrôlé exclusivement par les entreprises évaluées.

Structure de gouvernance proposée

Hassabis suggère que le conseil d'administration inclue des experts techniques indépendants et des représentants de la communauté open source de l'IA. Ce point est crucial car la gouvernance de l'IA de pointe affecte des organisations adoptant des modèles de développement radicalement différents. Les laboratoires de modèles fermés peuvent fournir un accès via des interfaces sécurisées sans publier les fichiers de poids, tandis que les développeurs de modèles open source peuvent publier des paramètres, du code et des détails techniques. Si l'institution de normalisation ne représente que les plus grands laboratoires propriétaires, elle pourrait établir des règles qui désavantagent, intentionnellement ou non, les petites organisations.

Une architecture plus équilibrée pourrait inclure :

• Des chercheurs en IA indépendants
• Des experts en cybersécurité
• Des experts en sécurité biologique et chimique
• Des représentants de l'open source
• Des voix de consommateurs et de la société civile
• Du personnel de laboratoires nationaux
• Des observateurs gouvernementaux
• Des techniciens de laboratoires de pointe
• Des chercheurs en évaluation
• Des experts en infrastructure et sécurité

Des règles spécifiques concernant les droits de vote et les conflits d'intérêts sont essentielles. L'expertise du secteur est indispensable pour comprendre la technologie, mais un contrôle excessif de l'industrie pourrait éroder la confiance du public.

Meilleures pratiques pour les laboratoires de pointe

Cette proposition va au-delà des tests de modèles. Les organisations classées comme laboratoires de pointe devraient adopter des pratiques opérationnelles plus strictes, notamment :

• Publier des fiches de modèles détaillées
• Maintenir une cybersécurité interne robuste
• Protéger les poids des modèles
• Effectuer des vérifications d'antécédents pour le personnel sensible
• Financer la recherche en sécurité et sûreté
• Documenter les résultats d'évaluation
• Signaler les incidents majeurs
• Utiliser des signatures numériques

Filigrane pour les médias générés

• Maintenir des contrôles de déploiement sécurisés
• Coopérer pour remédier aux vulnérabilités post-publication

Ces exigences reflètent une réalité importante : les risques de l'IA de pointe ne commencent ni ne s'arrêtent au comportement des modèles.

Un modèle sécurisé peut toujours présenter des risques si ses poids sont volés, ses invites système exposées, ses outils mal configurés ou son environnement de déploiement dépourvu de contrôles adéquats.

Un organisme d'évaluation tiers reste nécessaire

L'institution de normalisation n'a pas besoin d'effectuer tous les tests en interne.

Hassabis propose de soutenir un écosystème d'organismes d'évaluation et d'audit indépendants.

Différentes organisations peuvent se spécialiser dans :

• L'évaluation de la cybersécurité
• L'évaluation des risques biologiques
• L'autonomie des agents
• La manipulation et la persuasion
• L'explicabilité
• La protection des poids des modèles
• Les tests en équipe rouge
• Les tests de modèles ouverts
• Le filigrane et la traçabilité
• La surveillance post-déploiement

Une agence centrale peut définir les exigences et coordonner les processus, tandis que des experts approuvés effectuent les évaluations spécifiques.

Cette approche pourrait être plus évolutive que d'essayer de construire toutes les formes d'expertise au sein d'une seule organisation.

Elle réduit également la dépendance à un seul évaluateur, dont la méthode pourrait contenir des angles morts inconnus.

Comment cette proposition se rapporte aux agences américaines existantes

Les États-Unis disposent déjà d'agences gouvernementales impliquées dans les tests et l'élaboration de normes pour l'IA.

Le National Institute of Standards and Technology (NIST) héberge le Centre pour l'innovation en matière de normes d'IA (CAISI).

Le CAISI collabore avec l'industrie pour développer des normes volontaires, élaborer des méthodes d'évaluation et effectuer des évaluations liées à la cybersécurité, la biosécurité, les armes chimiques, la sécurité nationale et les systèmes d'IA étrangers.

La proposition de Hassabis chevauche ces travaux, mais créerait une structure distincte.

Une répartition possible des rôles est la suivante :

Institution	Rôle possible
CAISI et NIST	Science de la mesure, normes publiques, évaluations gouvernementales, coordination de la sécurité nationale
Institution de normalisation proposée	Processus d'évaluation pré-publication, exigences pour les laboratoires de pointe, certification technique, supervision continue de l'industrie
Agences fédérales	Pouvoirs légaux, décisions de sécurité nationale, application de la loi, contrôles à l'exportation
Laboratoires nationaux	Tests spécialisés, infrastructures sécurisées, expertise scientifique
Organismes d'évaluation tiers	Audits par domaine, tests en équipe rouge, développement de références
Laboratoires de pointe	Accès sécurisé aux modèles, documentation technique, mesures correctives, surveillance post-publication

Cet arrangement nécessite une coordination prudente pour éviter la duplication des tests, les conflits d'exigences et les chevauchements de responsabilités.

Relation avec le cadre de sécurité de pointe de Google DeepMind

Google DeepMind utilise déjà son propre Cadre de sécurité de pointe (Frontier Safety Framework).

Ce cadre identifie les seuils de capacité critiques et les relie aux mesures d'évaluation, de sécurité et de déploiement.

Ses domaines de risque incluent :

• La cybersécurité
• Les capacités CBRN (chimiques, biologiques, radiologiques, nucléaires)
• La manipulation nuisible
• La R&D en apprentissage automatique
• L'inadéquation des objectifs

Le cadre de DeepMind utilise également des cas de sécurité et des mesures d'atténuation de déploiement pour les modèles atteignant des niveaux de capacité spécifiques.

La nouvelle proposition de Hassabis étendrait cette logique générique au-delà d'une seule entreprise.

Au lieu que chaque laboratoire de pointe définisse et examine ses propres seuils, une organisation externe créerait des tests partagés et des exigences minimales.

Avantages potentiels de la proposition

Expertise technique

Une organisation spécialisée peut recruter du personnel suffisamment compétent pour comprendre les modèles avancés et évaluer leurs capacités.

Les agences de régulation généralistes ont souvent du mal à égaler la profondeur technique des laboratoires de pointe.

Adaptation plus rapide

Une structure d'autorégulation pourrait mettre à jour les références et les processus plus rapidement que la législation.

Normes partagées

Une évaluation commune rendrait les affirmations de sécurité des modèles de différents développeurs plus faciles à comparer.

Accès pré-publication

Les tests avant déploiement donnent aux évaluateurs plus de temps pour découvrir des défauts graves avant que les modèles n'atteignent des millions d'utilisateurs.

Tests indépendants

La conservation des tests et les audits tiers fournissent des preuves au-delà des fiches de modèles publiées par les entreprises.

Portée limitée

Exempter les modèles non-frontière ordinaires pourrait réduire le fardeau pour les startups, les universités et les petits projets open source.

Base internationale

Un système dirigé par les États-Unis pourrait fournir un point de départ pour des normes d'évaluation internationales compatibles.

Questions importantes non entièrement résolues par la proposition

Bien que détaillé, le plan présente encore plusieurs problèmes de conception.

Qui décide ce qui constitue une IA de pointe ?

Les seuils de capacité peuvent déterminer quelles entreprises sont soumises à des tests coûteux et à d'éventuels retards de publication.

Le processus de fixation des seuils doit être transparent, fondé sur des preuves et ouvert à la contestation.

Quelle indépendance pour une institution financée par l'industrie ?

Le financement par l'industrie peut apporter expertise et puissance de calcul, mais soulève également des conflits d'intérêts.

Une forte supervision gouvernementale, une gouvernance d'intérêt public, une transparence financière et un examen externe sont nécessaires.

Un examen de 30 jours peut-il être effectué de manière fiable ?

Certaines évaluations nécessitent des environnements spécialisés, des examens d'experts, des tests d'agents à long terme ou des expériences répétées.

L'institution de normalisation aura besoin de personnel et de puissance de calcul suffisants pour ne pas devenir un goulot d'étranglement pour les publications.

Comment tester les modèles ouverts ?

Les modèles dont les poids sont publiés présentent des risques différents de ceux hébergés via des API.

Une fois les poids publics, de nombreuses mesures de protection de déploiement peuvent devenir inefficaces.

Les exigences d'évaluation peuvent nécessiter de faire la distinction entre les systèmes à poids ouverts, à poids restreints et à hébergement fermé.

Que faire lorsque les résultats sont incertains ?

Les évaluations de pointe produisent souvent des preuves ambiguës.

Le cadre doit établir des règles pour l'approbation conditionnelle, les tests supplémentaires, les restrictions de déploiement, les appels et les examens indépendants.

Comment fonctionne l'application ?

Un organisme d'autorégulation ne peut pas automatiquement imposer des sanctions légales aux entreprises en dehors de son champ d'application.

Une autorisation formelle nécessite une législation, une action administrative, des exigences contractuelles, des règles d'achat ou des conditions d'accès au marché.

Le système protégera-t-il les entreprises établies ?

Les grandes entreprises d'IA peuvent se permettre des évaluations complètes et des équipes de conformité.

Les petits développeurs pourraient avoir des difficultés, même si leurs

modèles atteignent le même seuil de capacité.

Le cadre doit empêcher que les exigences de sécurité ne se transforment en barrières anticoncurrentielles.

Quand le cadre pourrait-il être plus strict

Hassabis pense que ce système doit être adaptable.

Si les évaluations montrent que les modèles de pointe génèrent des risques plus graves, la régulation peut être renforcée.

Les mesures d'escalade possibles incluent :

• Prolongement des cycles d'examen
• Augmentation des exigences de sécurité

Limiter l'environnement de déploiement

• Imposer une supervision humaine obligatoire
• Restreindre l'accès aux outils
• Contrôler l'acquisition des poids des modèles
• Renforcer les obligations de signalement des incidents
• Restrictions temporaires de publication
• Coordination des suspensions pour des catégories de capacités spécifiques

L'option la plus stricte consiste à coordonner un ralentissement du rythme de développement dans les laboratoires de pointe lorsque les preuves sont suffisantes.

Ce type d'intervention est politiquement et techniquement difficile, nécessitant des seuils clairs, une coordination internationale, des mécanismes de mise en œuvre et des preuves solides que le maintien du rythme actuel présente un risque inacceptable.

Le défi de l'internationalisation

Le développement et le déploiement de l'IA de pointe transcendent les frontières.

Les organismes de normalisation américains peuvent influencer l'accès au marché américain, mais ils ne peuvent pas régir indépendamment tous les laboratoires du monde.

Ainsi, la proposition de Hassabis considère le leadership américain comme un point de départ et non comme un système final.

Une compatibilité internationale est nécessaire dans les domaines suivants :

• Définition des capacités
• Méthodes d'évaluation
• Accès aux modèles confidentiels
• Signalement des incidents
• Risques pour la sécurité nationale
• Publication des poids en open source
• Traçabilité des modèles
• Contrôles à l'exportation et au déploiement
• Reconnaissance mutuelle des résultats de tests
• Audits transfrontaliers

Un manque de coordination entraînerait pour les entreprises des normes incohérentes ou les inciterait à choisir des juridictions à la réglementation la plus laxiste.

Parallèlement, un organisme de régulation mondial unique pourrait s'avérer politiquement irréaliste.

La création d'un réseau d'organismes d'évaluation nationaux et régionaux adoptant des normes techniques communes serait peut-être une solution plus viable.

Ce que cette proposition signifie pour les développeurs d'IA de pointe

Un organisme de normalisation efficace modifiera le processus de publication des modèles.

Actuellement, les principaux laboratoires publient principalement eux-mêmes les fiches modèles, les fiches systèmes, les cadres de sécurité et certains résultats d'évaluation.

Avec le nouveau système, les développeurs de pointe pourraient devoir préparer :

1. Accès confidentiel préalable à la publication du modèle
2. Tests de capacités indépendants
3. Benchmarks réservés
4. Examens de sécurité externes
5. Signalement normalisé des incidents
6. Preuve de cybersécurité interne
7. Obligations de remédiation post-publication
8. Documentation technique plus détaillée
9. Conditions de déploiement potentielles
10. Approbation formelle avant l'entrée sur le marché américain

L'évaluation de la sécurité deviendrait une étape de publication claire, et non une pratique interne décidée par chaque entreprise.

Questions fréquentes

Quelle est la proposition de Demis Hassabis ?

Il propose la création d'un organisme de normalisation indépendant, dirigé par les États-Unis, chargé d'évaluer les modèles d'IA de pointe. Cet organisme établirait des tests techniques, examinerait les modèles avant leur publication, promouvrait les pratiques de sécurité et coordonnerait la réponse aux vulnérabilités graves.

Cette organisation est-elle affiliée au gouvernement américain ?

Elle serait similaire à une organisation public-privé ou auto-régulée sous supervision fédérale. Son financement pourrait être principalement assuré par l'industrie de l'IA, tout en fonctionnant sous le contrôle du gouvernement.

Pourquoi le modèle FINRA est-il choisi ?

FINRA est une organisation d'autorégulation financée par l'industrie, supervisant les courtiers américains sous l'égide de la SEC. Hassabis estime qu'une structure similaire pourrait combiner expertise technique, règles adaptatives, financement de l'industrie et supervision publique.

Combien de temps les modèles de pointe seront-ils examinés avant leur publication ?

La proposition initiale permet un partage volontaire avec l'organisme de normalisation jusqu'à 30 jours avant la publication. La durée réelle de l'examen peut varier en fonction du modèle et des exigences d'évaluation.

Chaque modèle d'IA nécessite-t-il une approbation ?

Non. Le cadre s'appliquera aux modèles atteignant des seuils de capacités de pointe régulièrement mis à jour. Les modèles plus petits des startups, universités et autres organisations ne sont généralement pas soumis à ce processus, à moins que leurs capacités n'atteignent un niveau spécifié.

Les modèles d'IA open source sont-ils inclus ?

Hassabis indique que le cadre devrait s'appliquer aux systèmes de niveau pointe, qu'ils soient open source ou closed source, et quel que soit leur pays d'origine. Les modèles à poids ouverts pourraient nécessiter des garanties différentes, car les contrôles de déploiement pourraient être impossibles après la publication.

Quels risques cet organisme évaluera-t-il ?

La proposition se concentre sur la cybersécurité, les menaces biologiques, le comportement autonome, la tromperie, le contournement des garanties et d'autres capacités à haut risque. Les ensembles de tests doivent être régulièrement mis à jour pour tenir compte des nouveaux risques et capacités.

Les États-Unis évaluent-ils déjà les modèles d'IA avancés ?

Oui. Le Centre pour l'innovation et les normes en IA du NIST travaille sur les tests, les normes et les évaluations impliquant l'IA commerciale et de pointe. L'organisme proposé ajouterait une structure plus formelle et indépendante d'examen préalable à la publication et de supervision de l'industrie.

Outils connexes

• Inspect AI : Cadre open source de l'Institut britannique de sécurité de l'IA pour des évaluations structurées et reproductibles des modèles de pointe.
• Cadre de gestion des risques IA du NIST : Cadre volontaire pour la gouvernance, la cartographie, la mesure et la gestion des risques liés à l'IA.
• Centre pour l'innovation et les normes en IA du NIST : Centre du gouvernement américain pour les tests, la science de la mesure, les normes et l'évaluation de la sécurité nationale en IA.
• Cadre de sécurité des modèles de pointe de Google DeepMind : Cadre interne de DeepMind pour identifier et atténuer les risques graves des modèles de pointe.
• Inspect Evals : Collection d'évaluations reproductibles construites sur le cadre Inspect AI.

Liens connexes

• Un cadre pour l'IA de pointe et l'aube d'une nouvelle ère : Proposition complète de Demis Hassabis.
• À propos de FINRA : Explication officielle de FINRA sur sa structure, son financement, ses responsabilités et sa supervision par la SEC.
• Centre pour l'innovation et les normes en IA : Informations officielles sur l'évaluation du CAISI, l'élaboration de normes et son rôle en matière de sécurité nationale.
• Mise à jour du cadre de sécurité des modèles de pointe de Google DeepMind : Stratégie de DeepMind concernant les seuils de capacités, les arguments de sécurité, les garde-fous et les mesures d'atténuation de déploiement.
• Approche d'évaluations de l'Institut britannique de sécurité de l'IA : Méthode officielle du gouvernement britannique pour les tests avant et après déploiement de l'IA avancée.
• Guide de gestion des risques IA générative du NIST : Conseils de gestion des risques couvrant l'ensemble du cycle de vie de l'IA générative.
• Déclaration conjointe du réseau international : Évaluation des risques de l'IA avancée : Principes communs pour l'évaluation internationale des systèmes d'IA avancés.

Résumé

Demis Hassabis propose la création d'un organisme de normalisation techniquement expert et indépendant, chargé d'examiner les modèles d'IA les plus performants avant leur publication. Cette organisation commencerait par une coopération volontaire, établirait des processus d'évaluation fiables, et pourrait à l'avenir devenir une condition obligatoire pour le déploiement de modèles de pointe aux États-Unis.

La proposition tente de combiner l'expertise industrielle et le soutien financier, la supervision gouvernementale, les tests indépendants, les benchmarks réservés, les audits tiers et une surveillance postérieure continue.

De nombreuses questions de mise en œuvre restent à résoudre, notamment la gouvernance, l'application, le traitement des modèles open source, les capacités d'évaluation, les conflits d'intérêts et la coordination internationale. Néanmoins, cette proposition est plus concrète que les appels généraux à la réglementation de l'IA - elle définit la structure de l'organisme, le processus d'examen, le champ d'application et les responsabilités techniques.

L'idée centrale est simple : la sécurité de l'IA de pointe doit être testée par une organisation suffisamment indépendante, experte, dotée de ressources de calcul et d’autorité pour pouvoir contester les entreprises technologiques qui construisent les modèles.