Demis Hassabis propõe criação de órgão independente de padrões para IA de ponta

Introdução

Demis Hassabis, cofundador e CEO do Google DeepMind, propõe a criação de um novo órgão independente para testar e regulamentar os modelos de inteligência artificial mais avançados do mundo.

A organização proposta ficaria entre os laboratórios de IA de ponta e o governo dos Estados Unidos. Suas responsabilidades incluem: estabelecer padrões de avaliação técnica, testar modelos avançados antes de seu lançamento, atualizar referências à medida que as capacidades evoluem, incentivar práticas de segurança mais rigorosas e coordenar respostas quando forem descobertas vulnerabilidades graves após a implantação dos modelos.

Hassabis delineou este plano em um artigo intitulado "Um Framework para IA de Ponta e o Amanhecer de uma Nova Era". O TechCrunch noticiou a proposta em 14 de julho de 2026, destacando particularmente sua arquitetura única: uma organização financiada pela indústria e equipada com profissionais técnicos, inspirada em parte no modelo da Autoridade Reguladora do Setor Financeiro dos EUA (FINRA).

O plano começa com cooperação voluntária. Desenvolvedores de IA de ponta deverão fornecer modelos elegíveis para avaliação até 30 dias antes do lançamento. Se o sistema de avaliação se mostrar confiável, a aprovação na revisão poderá se tornar um pré-requisito para implantar modelos de ponta no mercado dos EUA.

Por que Hassabis acredita ser necessário um novo sistema

Hassabis acredita que a chegada de sistemas de IA de alto desempenho pode superar a capacidade de governos, pesquisadores e da sociedade de estabelecer métodos de avaliação confiáveis.

Essa preocupação não se limita a modelos gerarem textos ofensivos ou cometerem erros factuais comuns. Sistemas de ponta podem desenvolver capacidades que afetam as seguintes áreas:

• Segurança cibernética
• Pesquisa biológica
• Riscos químicos ou radioativos
• Uso autônomo de ferramentas
• Automação da pesquisa em IA
• Persuasão e manipulação
• Comportamento enganoso
• Segurança dos pesos do modelo
• Infraestrutura crítica
• Segurança nacional

Os modelos podem ter avanços significativos entre os ciclos regulatórios. Avaliações que eram desafiadoras há seis meses podem rapidamente se tornar saturadas, não sendo mais capazes de revelar diferenças substanciais entre os sistemas.

A criação de regras tradicionais geralmente progride lentamente. O desenvolvimento de modelos de ponta, porém, não é assim.

Portanto, Hassabis propõe a criação de uma organização cujos métodos de avaliação possam acompanhar, aproximadamente, o ritmo do avanço tecnológico.

Proposta central

O órgão normativo proposto seria uma organização de parceria público-privada ou uma entidade autorreguladora sob supervisão federal.

Manteria independência técnica no trabalho cotidiano, ao mesmo tempo que colaboraria com agências governamentais e laboratórios nacionais em questões de segurança pública e segurança nacional.

Suas principais responsabilidades incluem:

1. Definir quais modelos se enquadram no padrão de ponta
2. Desenvolver e manter protocolos de avaliação
3. Revisar modelos elegíveis antes do lançamento
4. Testar capacidades perigosas e a confiabilidade das medidas de proteção
5. Estabelecer padrões de segurança e práticas transparentes para laboratórios de ponta
6. Apoiar um ecossistema de avaliadores externos e auditorias
7. Responder a vulnerabilidades graves descobertas após o lançamento
8. Coordenar a implementação de intervenções mais rigorosas se os riscos atingirem níveis inaceitáveis

O órgão normativo não regulará todos os pequenos modelos, startups, projetos universitários ou aplicações comuns de IA.

Seu escopo se limitará aos sistemas que ultrapassam um limiar de capacidade e podem representar riscos excepcionalmente graves.

Como um modelo se torna "de ponta"

O framework de Hassabis não define modelos de ponta apenas pelo número de parâmetros, custo de treinamento, tamanho da empresa ou reconhecimento de marca.

Em vez disso, o órgão normativo proposto manteria um conjunto de referências de capacidade.

Modelos que ultrapassarem limiares específicos seriam classificados como de ponta. As instituições que desenvolvem tais modelos seriam consideradas laboratórios de ponta.

Essa abordagem baseada em capacidade é importante porque a arquitetura e a eficiência dos modelos estão evoluindo rapidamente.

Sistemas menores ou mais baratos podem eventualmente igualar capacidades que antes exigiam treinamento em larga escala. Limiares fixos baseados apenas no poder computacional podem se tornar obsoletos.

Portanto, as referências propostas teriam as seguintes características:

• Baseadas em capacidade
• Revisadas periodicamente
• Projetadas em torno de áreas de alto risco
• Eliminadas quando as referências se tornam muito simples
• Substituídas quando os modelos começam a sofrer overfitting ou saturação
• Aplicáveis independentemente de o modelo ser de código aberto ou fechado

A classificação também se aplica a modelos desenvolvidos no exterior que são implantados no mercado dos EUA.

Processo de revisão pré-lançamento em fases

A proposta adota uma implementação em fases, em vez de mudar diretamente para um sistema de licenciamento obrigatório.

Primeira fase: Compartilhamento voluntário de modelos

Laboratórios de ponta forneceriam voluntariamente modelos elegíveis ao órgão normativo antes do lançamento.

A janela de revisão pode durar até 30 dias.

Durante esse período, avaliadores analisariam as capacidades, pontos fracos, medidas de segurança e potenciais riscos à segurança nacional dos modelos.

A fase voluntária inicial ajudaria a instituição a:

• Acumular expertise técnica
• Testar métodos de avaliação
• Aperfeiçoar procedimentos de confidencialidade
• Entender o tempo necessário para diferentes avaliações
• Estabelecer sistemas seguros de acesso a modelos
• Identificar lacunas nas referências
• Construir confiança com desenvolvedores e avaliadores externos

Segunda fase: Requisito formal de acesso ao mercado

Assim que o processo de avaliação se mostrar tecnicamente eficaz e operacionalmente confiável, o framework seria implementado formalmente.

Modelos de ponta precisariam passar por esse processo para serem implantados no mercado dos EUA.

Isso transformaria o teste pré-lançamento de uma prática voluntária do setor em um requisito claro de acesso ao mercado.

Terceira fase: Monitoramento pós-lançamento

A aprovação do modelo não significa o fim das responsabilidades do órgão normativo.

Laboratórios de ponta precisariam cooperar com a instituição em relação a vulnerabilidades críticas descobertas após o lançamento.

Isso pode incluir:

• Novos métodos de jailbreak
• Vazamento de pesos do modelo
• Comportamentos inesperados de agentes
• Padrões perigosos de uso de ferramentas
• Falha em testes de referência
• Degradação de medidas de proteção
• Capacidades cibernéticas ou biológicas recém-descobertas
• Riscos que só se manifestam em implantações em larga escala

Implantação

Portanto, o framework trata a segurança como um ciclo de vida contínuo, e não como um evento de aprovação único.

O que o órgão normativo testará

Hassabis defende a realização de testes científicos rigorosos em áreas onde capacidades avançadas possam causar danos graves.

As áreas iniciais de avaliação podem incluir:

Área de avaliação	Pergunta exemplo
Segurança cibernética	O modelo consegue encontrar, explorar ou automatizar vulnerabilidades de software graves?
Risco biológico	Ele consegue auxiliar efetivamente em trabalhos avançados que podem aumentar perigos biológicos?
Risco químico e radioativo	Ele oferece capacidades além das informações geralmente acessíveis?
Comportamento autônomo	Ele consegue planejar, usar ferramentas, operar continuamente ou contornar limitações em tarefas de longo prazo?
Engano	Ele esconde objetivos, manipula avaliadores ou se comporta de forma diferente quando monitorado?
Robustez de proteções	Usuários adversários conseguem contornar restrições de política via jailbreak ou múltiplas interações?
Segurança do modelo	Pesos valiosos do modelo ou informações sensíveis do sistema podem ser roubados?
Capacidade de pesquisa em IA	O modelo consegue acelerar o desenvolvimento de sistemas de IA mais poderosos?

O objetivo não é afirmar que cada risco pode ser medido perfeitamente.

A meta é criar evidências suficientemente sólidas para apoiar decisões de implantação e identificar pontos que necessitam de medidas de proteção adicionais.

As avaliações precisam ser atualizadas continuamente

Uma das partes mais importantes da proposta é a exigência de revisão frequente do conteúdo dos testes.

Hassabis sugere que os conjuntos de avaliação podem ser atualizados inicialmente a cada trimestre.

Isso é necessário porque as referências de ponta podem se tornar não confiáveis de várias maneiras:

• Modelos atingem pontuações quase perfeitas.
• Os dados de treinamento contêm as respostas das referências.
• Desenvolvedores otimizam diretamente para os testes.
• As referências não refletem mais os cenários reais de uso.
• Novas capacidades dos modelos criam riscos que os testes não foram projetados para medir.
• Sistemas autônomos aprendem a explorar pontos fracos no ambiente de avaliação.

O órgão normativo primeiro consultaria os laboratórios de ponta, que possuem amplo conhecimento técnico sobre seus sistemas atuais.

No entanto, com o tempo, precisará desenvolver suas próprias avaliações privadas e confidenciais.

Esses testes não seriam totalmente divulgados aos desenvolvedores antes da avaliação. Isso reduziria o risco de modelos serem treinados especificamente para passar em referências conhecidas, sem demonstrar segurança mais ampla.

Por que testes independentes e confidenciais são cruciais

Referências públicas são úteis para pesquisa e transparência, mas não são suficientes para certificações de alto risco.

Quando os desenvolvedores conhecem todas as perguntas da avaliação, eles podem:

• Treinar diretamente no conjunto de teste
• Ajustar prompts para se adequar às referências
• Adicionar filtros estreitos para tarefas conhecidas
• Otimizar o roteamento do modelo para corresponder ao método de pontuação
• Produzir resultados fortes nas referências sem melhorar o comportamento geral

Avaliadores independentes podem reduzir esses problemas mantendo tarefas confidenciais e introduzindo regularmente novas tarefas.

Esse processo é mais semelhante a testes de segurança do que a rankings tradicionais.

Um programa de avaliação confiável precisa incluir:

• Acesso seguro ao modelo
• Controle de versão
• Reprodutibilidade

Ambiente:

• Regras de pontuação claras
• Design de teste independente
• Registros de auditoria
• Testes adversarial
• Múltiplos revisores especialistas
• Procedimentos para lidar com resultados incertos
• Processos para apelação e reavaliação

Sem essas salvaguardas, a entidade normativa pode se tornar apenas mais uma plataforma de benchmarks, em vez de um órgão regulador significativo.

Por que Hassabis usa a FINRA como modelo

A FINRA é uma organização privada sem fins lucrativos de autorregulação para corretoras dos EUA. É financiada por taxas do setor, mas opera sob supervisão da SEC. A entidade estabelece e aplica regras para membros, realiza exames, monitora atividades de mercado, gerencia processos de certificação e responde a riscos emergentes.

Hassabis não sugere transpor cada detalhe da regulação financeira para a IA. As características estruturais relevantes incluem:

• Financiamento pelo setor
• Supervisão governamental
• Equipe profissional
• Elaboração de regras
• Monitoramento técnico
• Requisitos de filiação ou certificação
• Capacidade de adaptação a mudanças de risco
• Modelo misto de participação pública e setorial

Organizações de fronteira em IA precisam de infraestrutura computacional cara e equipe altamente especializada. O financiamento setorial pode fornecer os recursos necessários para recrutar pesquisadores de modelos, especialistas em cibersegurança, especialistas em riscos biológicos, engenheiros de avaliação e equipes de infraestrutura. A supervisão federal visa evitar que a entidade se transforme em um clube privado controlado pelas empresas avaliadas.

Estrutura de governança proposta

Hassabis sugere que o conselho inclua especialistas técnicos independentes e representantes da comunidade de IA de código aberto. Isso é crucial, pois a governança de IA de fronteira afeta organizações com modelos de desenvolvimento muito diferentes. Laboratórios de modelos fechados podem fornecer acesso via interfaces seguras sem publicar pesos, enquanto desenvolvedores de código aberto podem disponibilizar parâmetros, código e detalhes técnicos. Se a entidade normativa representar apenas os maiores laboratórios proprietários, pode criar regras que, intencionalmente ou não, coloquem organizações menores em desvantagem.

Uma arquitetura mais equilibrada pode incluir:

• Pesquisadores independentes de IA
• Especialistas em cibersegurança
• Especialistas em segurança biológica e química
• Representantes de código aberto
• Vozes de consumidores e sociedade civil
• Pessoal de laboratórios nacionais
• Observadores governamentais
• Técnicos de laboratórios de fronteira
• Pesquisadores de avaliação
• Especialistas em infraestrutura e segurança

Regras específicas sobre direito a voto e conflitos de interesse são essenciais. A experiência do setor é necessária para entender a tecnologia, mas o controle excessivo do setor pode minar a confiança pública.

Melhores práticas para laboratórios de fronteira

A proposta vai além do teste de modelos. Organizações classificadas como laboratórios de fronteira devem adotar práticas operacionais mais rigorosas, incluindo:

• Publicar fichas técnicas detalhadas do modelo
• Manter uma forte cibersegurança interna
• Proteger os pesos do modelo
• Realizar verificação de antecedentes para cargos sensíveis
• Financiar pesquisas de segurança
• Documentar resultados de avaliações
• Relatar incidentes significativos
• Usar assinaturas digitais

Marcas d'água para mídia gerada

• Manter controles seguros de implantação
• Colaborar em vulnerabilidades pós-publicação

Esses requisitos refletem uma realidade importante: os riscos da IA de fronteira não começam nem terminam no comportamento do modelo.

Um modelo seguro ainda pode representar riscos se seus pesos forem roubados, os prompts do sistema forem expostos, as ferramentas forem mal configuradas ou o ambiente de implantação não tiver controles adequados.

Avaliadores terceirizados ainda são necessários

A entidade normativa não precisa realizar todos os testes internamente.

Hassabis propõe apoiar um ecossistema de entidades independentes de avaliação e auditoria.

Diferentes organizações podem focar em:

• Avaliações de cibersegurança
• Avaliações de risco biológico
• Autonomia de agentes
• Manipulação e persuasão
• Interpretabilidade
• Proteção de pesos do modelo
• Testes de red team
• Testes de modelos abertos
• Marcas d'água e rastreabilidade
• Monitoramento pós-implantação

A entidade central pode definir requisitos e coordenar processos, enquanto especialistas aprovados realizam avaliações específicas.

Essa abordagem pode ser mais escalável do que tentar construir todas as formas de especialização dentro de uma única organização.

Também reduz a dependência de um único avaliador, cujos métodos podem ter pontos cegos desconhecidos.

Como a proposta se relaciona com as instituições existentes nos EUA

Os EUA já possuem agências governamentais envolvidas em testes e definição de padrões de IA.

O NIST abriga o Centro de Padrões e Inovação em IA (CAISI).

O CAISI colabora com o setor para desenvolver padrões voluntários, criar métodos de avaliação e realizar avaliações relacionadas a cibersegurança, biossegurança, armas químicas, segurança nacional e sistemas de IA estrangeiros.

A proposta de Hassabis se sobrepõe a esse trabalho, mas criaria uma estrutura distinta.

Uma possível divisão de responsabilidades:

Instituição	Papel possível
CAISI e NIST	Ciência de medição, padrões públicos, avaliações governamentais, coordenação de segurança nacional
Entidade normativa proposta	Processo de avaliação pré-publicação, requisitos para laboratórios de fronteira, certificação técnica, supervisão setorial contínua
Agências federais	Poder legal, decisões de segurança nacional, aplicação da lei, controle de exportações
Laboratórios nacionais	Testes especializados, infraestrutura segura, conhecimento científico
Avaliadores terceirizados	Auditorias específicas de domínio, testes de red team, desenvolvimento de benchmarks
Laboratórios de fronteira	Acesso seguro ao modelo, documentação técnica, medidas corretivas, monitoramento pós-publicação

Esse arranjo exigiria coordenação cuidadosa para evitar duplicação de testes, requisitos conflitantes e indefinição de responsabilidades.

Relação com o Frontier Safety Framework do Google DeepMind

O Google DeepMind já usa internamente o Frontier Safety Framework.

Esse framework identifica limiares críticos de capacidade e os vincula a medidas de avaliação, segurança e implantação.

Suas áreas de risco incluem:

• Cibersegurança
• Capacidades CBRN
• Manipulação prejudicial
• P&D em ML
• Desalinhamento de objetivos

O framework do DeepMind também usa casos de segurança e medidas de mitigação de implantação para modelos que atingem níveis específicos de capacidade.

A nova proposta de Hassabis estenderia essa lógica geral para além de uma única empresa.

Em vez de cada laboratório de fronteira definir e revisar seus próprios limiares, uma organização externa criaria testes compartilhados e requisitos mínimos.

Vantagens potenciais da proposta

Expertise técnica

Uma organização especializada pode recrutar pessoas com conhecimento suficiente para avaliar modelos avançados.

Órgãos reguladores genéricos muitas vezes têm dificuldade em igualar a profundidade técnica dos laboratórios de fronteira.

Adaptação mais rápida

Estruturas autorregulatórias podem atualizar benchmarks e processos mais rapidamente que a legislação.

Padrões compartilhados

Avaliações comuns tornam as declarações de segurança de modelos de diferentes desenvolvedores mais comparáveis.

Acesso pré-publicação

Testes antes da implantação dão aos avaliadores mais tempo para encontrar falhas graves antes que os modelos atinham milhões de usuários.

Testes independentes

Testes retidos e auditorias terceirizadas fornecem evidências além das fichas técnicas publicadas pelas empresas.

Escopo limitado

Isentar modelos comuns não considerados de fronteira reduz o fardo para startups, universidades e projetos de código aberto de pequeno porte.

Base internacional

Um sistema liderado pelos EUA pode fornecer um ponto de partida para padrões internacionais de avaliação compatíveis.

Questões importantes que a proposta não aborda completamente

Embora detalhado, o plano ainda tem vários problemas de design.

Quem decide o que é IA de fronteira?

Os limiares de capacidade podem determinar quais empresas enfrentam testes caros e possíveis atrasos de publicação.

O processo de definição de limiares deve ser transparente, baseado em evidências e aberto a questionamentos.

Quão independente pode ser uma entidade financiada pelo setor?

O financiamento setorial pode fornecer conhecimento e poder computacional, mas também cria conflitos de interesse.

São necessárias forte supervisão governamental, governança de interesse público, transparência financeira e revisão externa.

Uma revisão de 30 dias pode ser confiável?

Algumas avaliações exigem ambientes especializados, revisão de especialistas, testes de agentes de longo prazo ou experimentos repetidos.

A entidade normativa precisa de pessoal e poder computacional adequados para evitar se tornar um gargalo de publicação.

Como testar modelos abertos?

Modelos cujos pesos são publicados apresentam riscos diferentes dos hospedados em APIs.

Quando os pesos são públicos, muitas medidas de proteção de implantação podem ser ineficazes.

Os requisitos de avaliação podem precisar diferenciar entre pesos abertos, pesos restritos e sistemas de hospedagem fechada.

O que fazer quando os resultados são incertos?

Avaliações de fronteira frequentemente produzem evidências ambíguas.

O framework precisa estabelecer regras para aprovação condicional, testes adicionais, restrições de implantação, apelações e revisão independente.

Como a aplicação da lei funciona?

Uma entidade autorregulatória não pode impor sanções legais automaticamente a empresas fora de sua jurisdição.

A autorização formal exigiria legislação, ação de agências, requisitos contratuais, regras de compras ou condições de acesso ao mercado.

O sistema protegerá empresas estabelecidas?

Grandes empresas de IA podem arcar com avaliações completas e equipes de conformidade.

Desenvolvedores menores podem ter dificuldades, mesmo que seus modelos atinjam os mesmos limiares de capacidade.

O framework precisa evitar que requisitos de segurança se transformem em barreiras anticompetitivas.

Quando o framework pode se tornar mais rigoroso

Hassabis acredita que o sistema deve ser ajustável.

Se as avaliações mostrarem que os modelos de fronteira estão gerando riscos mais graves, a regulação pode ser fortalecida.

Possíveis medidas de escalada incluem:

• Estender os ciclos de revisão
• Aumentar os requisitos de segurança

Restrições ao Ambiente de Implementação

• Supervisão humana obrigatória
• Limitação de acesso a ferramentas
• Controlo sobre a obtenção de pesos de modelos
• Reforço das obrigações de comunicação de incidentes
• Restrições temporárias de lançamento
• Pausas coordenadas para categorias específicas de capacidades

A opção mais rigorosa é coordenar uma desaceleração no ritmo de desenvolvimento dos laboratórios de fronteira quando houver evidências suficientes.

Este tipo de intervenção é bastante desafiante tanto a nível político como técnico, exigindo limiares claros, coordenação internacional, mecanismos de execução e provas sólidas de que manter o ritmo atual resultará em riscos inaceitáveis.

O Desafio da Internacionalização

O desenvolvimento e a implementação de IA de fronteira ultrapassam fronteiras nacionais.

As entidades normativas dos EUA podem influenciar o acesso ao mercado americano, mas não têm jurisdição independente sobre todos os laboratórios a nível global.

Assim, a proposta de Hassabis vê a liderança dos EUA como um ponto de partida, e não como um sistema final.

É necessária compatibilidade internacional nos seguintes aspetos:

• Definição de capacidades
• Métodos de avaliação
• Acesso a modelos confidenciais
• Comunicação de incidentes
• Riscos de segurança nacional
• Publicação de pesos em código aberto
• Rastreabilidade de modelos
• Controlos de exportação e implementação
• Reconhecimento mútuo de resultados de testes
• Auditorias transfronteiriças

A falta de coordenação levará a que as empresas enfrentem normas inconsistentes ou optem pela jurisdição com regulação mais permissiva.

Entretanto, um único regulador global pode ser politicamente irrealista.

Estabelecer uma rede de entidades de avaliação nacionais e regionais que adotem normas técnicas partilhadas poderá ser uma solução mais viável.

O Significado da Proposta para os Desenvolvedores de IA de Fronteira

Uma entidade normativa eficaz alterará o processo de lançamento de modelos.

Atualmente, os principais laboratórios publicam maioritariamente por iniciativa própria os cartões de modelo, cartões de sistema, estruturas de segurança e alguns resultados de avaliação.

Sob o novo sistema, os desenvolvedores de fronteira poderão ter de preparar:

1. Acesso confidencial a modelos antes do lançamento
2. Testes de capacidades independentes
3. Testes de referência reservados
4. Revisões de segurança externas
5. Comunicação normalizada de incidentes
6. Comprovativos de cibersegurança internos
7. Obrigações de remediação pós-lançamento
8. Documentação técnica mais detalhada
9. Possíveis condições de implementação
10. Aprovação formal antes da entrada no mercado dos EUA

As avaliações de segurança tornar-se-ão um marco claro para o lançamento, e não uma prática interna decidida por cada empresa.

Perguntas Frequentes

O que propõe Demis Hassabis?

Propõe a criação de uma entidade normativa independente, liderada pelos EUA, para avaliar modelos de IA de fronteira. Esta entidade definirá testes técnicos, realizará auditorias antes do lançamento de modelos, promoverá práticas seguras e coordenará respostas a vulnerabilidades graves.

Esta organização está ligada ao governo dos EUA?

Funcionaria como uma parceria público-privada ou organização autorreguladora sob supervisão federal. O financiamento poderia ser maioritariamente fornecido pela indústria de IA, operando sob supervisão governamental.

Porquê o modelo FINRA?

A FINRA é uma organização autorreguladora financiada pela indústria, que supervisiona corretores nos EUA sob a alçada da SEC. Hassabis acredita que uma estrutura semelhante pode combinar conhecimento técnico, regras adaptáveis, financiamento da indústria e supervisão pública.

Quanto tempo antes do lançamento os modelos de fronteira precisam de ser revistos?

A proposta inicial permite a partilha voluntária com a entidade normativa até 30 dias antes do lançamento. O período de revisão pode variar conforme o modelo e os requisitos de avaliação.

Todos os modelos de IA precisam de aprovação?

Não. A estrutura aplicar-se-á a modelos que atinjam limiares de capacidades de fronteira, atualizados periodicamente. Modelos mais pequenos de startups, universidades ou outras organizações não estarão geralmente sujeitos a este processo, a menos que atinjam o nível especificado.

Os modelos de IA de código aberto estão incluídos?

Hassabis indica que a estrutura deve aplicar-se a sistemas de nível de fronteira, sejam eles de código aberto ou fechado, independentemente do país de origem. Modelos com pesos abertos podem exigir salvaguardas diferentes, uma vez que o controlo de implementação pode não ser exequível após o lançamento.

Que riscos serão avaliados pela entidade?

A proposta foca-se em cibersegurança, ameaças biológicas, comportamento autónomo, engano, contorno de salvaguardas e outras capacidades de alto risco. Os conjuntos de testes precisarão de ser atualizados regularmente à medida que surgem novos riscos e capacidades.

Os EUA já estão a avaliar modelos avançados de IA?

Sim. O Centro de Normas e Inovação em IA do NIST está envolvido em testes, normas e avaliações de IA comercial e de fronteira. A entidade proposta acrescentaria uma estrutura mais formal e independente de revisão pré-lançamento e supervisão da indústria.

Ferramentas Relacionadas

• Inspect AI: Estrutura de código aberto do Instituto de Segurança de IA do Reino Unido para avaliações estruturadas e reproduzíveis de modelos de fronteira.
• Estrutura de Gestão de Riscos de IA do NIST: Estrutura voluntária para governar, mapear, medir e gerir riscos de IA.
• Centro de Normas e Inovação em IA do NIST: Centro do governo dos EUA para testes de IA, ciência de medição, normas e avaliações de segurança nacional.
• Estrutura de Segurança de Fronteira do Google DeepMind: Estrutura interna do DeepMind para identificar e mitigar riscos graves em modelos de fronteira.
• Inspect Evals: Conjunto de avaliações reproduzíveis baseadas na estrutura Inspect AI.

Links Relacionados

• Estrutura para IA de Fronteira e o Amanhecer de uma Nova Era: Proposta completa de Demis Hassabis.
• Sobre a FINRA: Explicação oficial da FINRA sobre a sua estrutura, financiamento, responsabilidades e supervisão da SEC.
• [Centro de Normas de IA]
  Inovação: Informações oficiais sobre avaliações, desenvolvimento de normas e papel na segurança nacional do CAISI.
• Atualização da Estrutura de Segurança de Fronteira do Google DeepMind: Estratégia do DeepMind sobre limiares de capacidades, argumentos de segurança, salvaguardas e medidas de mitigação na implementação.
• Abordagem de Avaliações do Instituto de Segurança de IA do Reino Unido: Método oficial do governo do Reino Unido para testar IA avançada antes e depois da implementação.
• Guia de Gestão de Riscos para IA Generativa do NIST: Orientação de gestão de riscos que abrange todo o ciclo de vida da IA generativa.
• Declaração Conjunta da Rede Internacional: Avaliação de Riscos de IA Avançada: Princípios comuns internacionais para avaliar sistemas de IA avançados.

Resumo

Demis Hassabis propõe a criação de uma entidade normativa tecnicamente especializada e operacionalmente independente, responsável por avaliar modelos de IA de fronteira antes do seu lançamento. A organização começaria com cooperação voluntária, estabeleceria processos de avaliação fiáveis e poderá, no futuro, tornar-se um requisito obrigatório para a implementação de modelos de fronteira nos EUA.

A proposta tenta combinar a experiência e o financiamento da indústria com a supervisão governamental, testes independentes, referências reservadas, auditorias de terceiros e monitorização contínua pós-evento.

Muitas questões de implementação permanecem por resolver, incluindo mecanismos de governação, métodos de execução, tratamento de modelos de código aberto, capacidades de avaliação, conflitos de interesse e coordenação internacional. No entanto, a proposta é mais concreta do que apelos genéricos à regulação da IA – define a estrutura da entidade, o processo de revisão, o âmbito e as responsabilidades técnicas.

A ideia central é direta: a segurança da IA de fronteira deve ser testada por uma organização com independência, conhecimento técnico, recursos computacionais e autoridade suficientes para desafiar as empresas tecnológicas que constroem os modelos.