Demis Hassabis propone la creación de un organismo independiente de estándares para la IA de frontera
Demis Hassabis, cofundador y CEO de Google DeepMind, ha propuesto la creación de un organismo independiente encargado de probar y regular los modelos de inteligencia artificial más potentes del mundo. Esta organización propuesta se situaría entre los laboratorios de IA de frontera y el gobierno de Estados Unidos. Su labor incluiría establecer estándares de evaluación técnica, realizar pruebas antes del lanzamiento de los modelos, actualizar los puntos de referencia a medida que aumenten las capacidades, fomentar prácticas de seguridad más sólidas y coordinar respuestas ante fallos graves tras el despliegue.
Demis Hassabis propone crear una institución independiente de estándares para la IA avanzada
Introducción
Demis Hassabis, cofundador y director ejecutivo de Google DeepMind, ha propuesto la creación de una nueva institución independiente para probar y regular los modelos de inteligencia artificial más avanzados del mundo.
La organización propuesta se situaría entre los laboratorios de IA de frontera y el gobierno estadounidense. Sus funciones incluirían: establecer estándares de evaluación técnica, realizar pruebas antes del lanzamiento de modelos avanzados, actualizar los puntos de referencia a medida que aumentan las capacidades, fomentar prácticas de seguridad más estrictas y coordinar respuestas cuando se descubran vulnerabilidades graves tras el despliegue.
Hassabis esbozó este plan en un artículo titulado "Un marco para la IA de frontera y el amanecer de una nueva era". TechCrunch informó sobre esta propuesta el 14 de julio de 2026, destacando especialmente su arquitectura singular: una organización financiada por la industria y dotada de personal técnico, que se inspira en parte en el modelo de la Autoridad Reguladora de la Industria Financiera de Estados Unidos (FINRA).
El plan comienza con la cooperación voluntaria. Los desarrolladores de IA de frontera deberán proporcionar los modelos que cumplan los requisitos para su evaluación hasta 30 días antes de su lanzamiento. Si el sistema de evaluación demuestra ser fiable, superar la revisión podría convertirse en un requisito previo para desplegar modelos de frontera en el mercado estadounidense.
Por qué Hassabis cree que se necesita un nuevo sistema
Hassabis considera que la llegada de sistemas de IA de alto rendimiento podría superar la capacidad de gobiernos, investigadores y la sociedad para establecer métodos de evaluación fiables.
Esta preocupación no se limita a si los modelos generan texto ofensivo o cometen errores factuales comunes. Los sistemas de frontera podrían desarrollar capacidades que afecten a los siguientes ámbitos:
- Ciberseguridad
- Investigación biológica
- Riesgos químicos o radiológicos
- Uso autónomo de herramientas
- Automatización de la investigación en IA
- Persuasión y manipulación
- Comportamiento engañoso
- Seguridad de los pesos del modelo
- Infraestructuras críticas
- Seguridad nacional
Los modelos podrían experimentar mejoras significativas entre ciclos regulatorios. Una evaluación que resultaba difícil seis meses atrás podría saturarse rápidamente y dejar de revelar diferencias sustanciales entre sistemas.
La elaboración tradicional de normas suele avanzar con lentitud. Pero no así el desarrollo de los modelos de frontera.
Por ello, Hassabis propone crear una organización cuyos métodos de evaluación puedan mantener aproximadamente el mismo ritmo que la evolución tecnológica.
Propuesta central
La institución de estándares propuesta sería una organización de colaboración público-privada bajo supervisión federal o un organismo autorregulador.
Mantendría independencia técnica en su trabajo cotidiano, al tiempo que colaboraría con agencias gubernamentales y laboratorios nacionales en cuestiones de seguridad pública y nacional.
Sus funciones principales incluirían:
- Definir qué modelos cumplen los criterios de nivel de frontera
- Elaborar y mantener protocolos de evaluación
- Revisar los modelos que cumplan los requisitos antes de su lanzamiento
- Probar las capacidades peligrosas y la fiabilidad de las medidas de protección
- Establecer normas de seguridad y transparencia para los laboratorios de frontera
- Apoyar un ecosistema de evaluadores externos y organismos de auditoría
- Responder a las vulnerabilidades graves que surjan tras el despliegue
- Coordinar la aplicación de medidas más enérgicas si los riesgos alcanzan niveles inaceptables
La institución de estándares no regularía todos los modelos pequeños, las empresas emergentes, los proyectos universitarios o las aplicaciones comunes de IA.
Su ámbito de competencia se limitaría exclusivamente a aquellos sistemas que, al superar un umbral de capacidad, puedan plantear riesgos excepcionalmente graves.
Cómo un modelo se convierte en "de nivel de frontera"
El marco de Hassabis no define un modelo de frontera simplemente por el número de parámetros, el coste de entrenamiento, el tamaño de la empresa o el reconocimiento de la marca.
En cambio, la institución de estándares propuesta mantendría una serie de puntos de referencia de capacidad.
Los modelos que superen umbrales específicos serían clasificados como de nivel de frontera. Las organizaciones que desarrollen dichos modelos serían consideradas laboratorios de frontera.
Este enfoque basado en la capacidad es importante porque la arquitectura y la eficiencia de los modelos evolucionan rápidamente.
Sistemas más pequeños o más económicos podrían llegar a igualar capacidades que antes requerían un entrenamiento a gran escala. Un umbral fijo basado únicamente en el cómputo podría quedar obsoleto.
Por lo tanto, los puntos de referencia propuestos tendrían las siguientes características:
- Basados en la capacidad
- Revisados periódicamente
- Diseñados en torno a ámbitos de alto riesgo
- Eliminados cuando los puntos de referencia resulten demasiado sencillos
- Sustituidos cuando los modelos empiecen a sobreajustarse o saturarse
- Aplicables tanto si el modelo es de código abierto como cerrado
Esta clasificación también se aplicaría a los modelos desarrollados en el extranjero que se desplieguen en el mercado estadounidense.
Proceso de revisión previa al lanzamiento por fases
La propuesta adopta un enfoque de implementación por fases, en lugar de pasar directamente a un sistema de licencias obligatorias.
Primera fase: intercambio voluntario de modelos
Los laboratorios de frontera deberán proporcionar voluntariamente a la institución de estándares los modelos que cumplan los requisitos antes de su lanzamiento.
El plazo de revisión puede ser de hasta 30 días.
Durante este periodo, los evaluadores evaluarán las capacidades, debilidades, medidas de seguridad y los posibles riesgos para la seguridad nacional del modelo.
La fase voluntaria inicial ayudará a la institución a:
- Acumular experiencia técnica
- Probar los métodos de evaluación
- Perfeccionar los procedimientos de confidencialidad
- Comprender el tiempo necesario para las diferentes evaluaciones
- Establecer un sistema seguro de acceso a los modelos
- Detectar lagunas en los puntos de referencia
- Generar confianza con los desarrolladores y los organismos de evaluación externos
Segunda fase: requisito formal de acceso al mercado
Una vez que el proceso de evaluación demuestre ser técnicamente válido y operativamente fiable, el marco se aplicará formalmente.
Los modelos de frontera deberán pasar por este proceso para ser desplegados en el mercado estadounidense.
Esto convertirá las pruebas previas al lanzamiento, de una práctica voluntaria del sector, en un requisito explícito para el acceso al mercado.
Tercera fase: supervisión posterior al lanzamiento
La aprobación del modelo no implica el fin de las funciones de la institución de estándares.
Los laboratorios de frontera deberán colaborar con la institución en relación con las vulnerabilidades críticas descubiertas tras el lanzamiento.
Esto puede incluir:
- Nuevos métodos de jailbreak
- Fugas de los pesos del modelo
- Comportamientos agénticos inesperados
- Patrones peligrosos de uso de herramientas
- Fallo de los puntos de referencia
- Degradación de las funciones de seguridad
- Capacidades cibernéticas o biológicas recién descubiertas
- Riesgos que solo se manifiestan con un despliegue a gran escala
Despliegue
Por lo tanto, el marco considera la seguridad como un ciclo de vida continuo, no como un evento de aprobación único.
Qué probará la institución de estándares
Hassabis aboga por la realización de pruebas científicas rigurosas en áreas donde las capacidades avanzadas podrían causar daños graves.
Las áreas de evaluación iniciales podrían incluir:
| Área de evaluación | Pregunta ejemplo |
|---|---|
| Ciberseguridad | ¿Puede el modelo descubrir, explotar o automatizar vulnerabilidades de software graves? |
| Riesgo biológico | ¿Puede ayudar eficazmente en trabajos avanzados que podrían aumentar el peligro biológico? |
| Riesgo químico y radiológico | ¿Proporciona capacidades que van más allá de la información generalmente accesible? |
| Comportamiento autónomo | ¿Puede planificar, usar herramientas, funcionar de forma continua o eludir restricciones en tareas a largo plazo? |
| Engaño | ¿Oculta objetivos, manipula a los evaluadores o se comporta de manera diferente cuando es vigilado? |
| Robustez de las protecciones | ¿Pueden los usuarios adversarios eludir las restricciones de las políticas mediante jailbreak o interacciones múltiples? |
| Seguridad del modelo | ¿Podrían robarse pesos de modelo valiosos o información sensible del sistema? |
| Capacidad de investigación en IA | ¿Puede el modelo acelerar el desarrollo de sistemas de IA más potentes? |
El objetivo no es afirmar que todos los riesgos puedan medirse a la perfección.
La meta es generar pruebas suficientemente sólidas para respaldar las decisiones de despliegue e identificar los puntos que requieren medidas de protección adicionales.
Las evaluaciones deben actualizarse continuamente
Una de las partes más importantes de la propuesta es la exigencia de revisar con frecuencia el contenido de las pruebas.
Hassabis sugiere que los conjuntos de evaluación podrían actualizarse inicialmente cada trimestre.
Esto es necesario porque los puntos de referencia de frontera pueden volverse poco fiables por varios motivos:
- Los modelos alcanzan puntuaciones casi perfectas.
- Los datos de entrenamiento contienen las respuestas de los puntos de referencia.
- Los desarrolladores optimizan directamente para las pruebas.
- Los puntos de referencia ya no reflejan los escenarios de uso real.
- Las nuevas capacidades del modelo crean riesgos que las pruebas no fueron diseñadas para medir.
- Los sistemas autónomos aprenden a explotar debilidades en el entorno de evaluación.
La institución de estándares consultará inicialmente con los laboratorios de frontera, que poseen un amplio conocimiento técnico de sus sistemas actuales.
Sin embargo, con el tiempo, necesitará desarrollar sus propias evaluaciones privadas y confidenciales.
Estas pruebas no se revelarán completamente a los desarrolladores antes de la evaluación. Esto reducirá el riesgo de que los modelos se entrenen específicamente para superar puntos de referencia conocidos sin demostrar una seguridad más amplia.
Por qué las pruebas independientes y confidenciales son cruciales
Los puntos de referencia públicos son útiles para la investigación y la transparencia, pero no son suficientes para una certificación de alto riesgo.
Cuando los desarrolladores conocen todas las preguntas de la evaluación, podrían:
- Entrenar directamente con el conjunto de pruebas
- Ajustar las indicaciones para adaptarse a los puntos de referencia
- Añadir filtros estrechos para tareas conocidas
- Optimizar el enrutamiento del modelo para que coincida con el método de puntuación
- Obtener resultados sólidos en los puntos de referencia sin mejorar el comportamiento general
Los evaluadores independientes pueden reducir estos problemas manteniendo tareas confidenciales e introduciendo periódicamente nuevas tareas.
Este proceso se asemeja más a las pruebas de seguridad que a los rankings tradicionales.
Un programa de evaluación confiable debe incluir:
- Acceso seguro al modelo
- Control de versiones
- Reproducibilidad
Entorno
- Reglas de puntuación claras
- Diseño de pruebas independiente
- Registros de auditoría
- Pruebas adversariales
- Múltiples revisores expertos
- Procedimientos para manejar resultados inciertos
- Procesos de apelación y repetición de pruebas
Sin estas garantías, esta entidad normativa podría convertirse en una mera plataforma de publicación de puntos de referencia, en lugar de un organismo regulador significativo.
Por qué Hassabis toma como modelo la Autoridad Reguladora de la Industria Financiera de EE.UU.
La Autoridad Reguladora de la Industria Financiera de EE.UU. (FINRA) es una organización privada sin fines de lucro autorreguladora de los corredores de bolsa estadounidenses. Se financia con tarifas del sector, pero opera bajo la supervisión de la Comisión de Bolsa y Valores. La entidad establece y hace cumplir las normas para los miembros, realiza inspecciones, supervisa la actividad del mercado, gestiona procesos de certificación y aborda riesgos emergentes.
Hassabis no sugiere trasladar cada aspecto de la regulación financiera al ámbito de la inteligencia artificial. Las características estructurales relevantes incluyen:
- Financiación del sector
- Supervisión gubernamental
- Personal profesional
- Elaboración de normas
- Supervisión técnica
- Requisitos de membresía o certificación
- Capacidad de adaptación a riesgos cambiantes
- Modelo mixto de participación pública y del sector
Las organizaciones de inteligencia artificial de frontera necesitan infraestructura informática costosa y personal altamente especializado. La financiación del sector puede proporcionar los recursos necesarios para contratar investigadores de modelos, expertos en ciberseguridad, especialistas en riesgos biológicos, ingenieros de evaluación y equipos de infraestructura. La supervisión federal busca evitar que la organización evolucione hacia un club privado controlado enteramente por las empresas evaluadas.
Estructura de gobierno propuesta
Hassabis sugiere que la junta directiva incluya expertos técnicos independientes y representantes de la comunidad de inteligencia artificial de código abierto. Esto es crucial porque la gobernanza de la inteligencia artificial de frontera afecta a organizaciones que adoptan modelos de desarrollo muy diferentes. Los laboratorios de modelos cerrados pueden proporcionar acceso a través de interfaces seguras sin publicar archivos de pesos, mientras que los desarrolladores de modelos abiertos pueden hacer públicos los parámetros, el código y los detalles técnicos del modelo. Si el organismo normativo solo representa a los laboratorios propietarios más grandes, podría establecer reglas que, de manera intencionada o no, perjudiquen a las organizaciones más pequeñas.
Una estructura más equilibrada podría incluir:
- Investigadores independientes de inteligencia artificial
- Expertos en ciberseguridad
- Especialistas en seguridad biológica y química
- Representantes del código abierto
- Voces de consumidores y sociedad civil
- Personal de laboratorios nacionales
- Observadores gubernamentales
- Técnicos de laboratorios de frontera
- Investigadores de evaluación
- Expertos en infraestructura y seguridad
Las reglas específicas sobre derechos de voto y conflictos de intereses son fundamentales. La experiencia del sector es indispensable para comprender la tecnología, pero un control excesivo del sector podría socavar la confianza pública.
Mejores prácticas para laboratorios de frontera
La propuesta va más allá de las pruebas de modelos. Las organizaciones clasificadas como laboratorios de frontera deberían adoptar prácticas operativas más estrictas, que incluyan:
- Publicar fichas detalladas del modelo
- Mantener una sólida ciberseguridad interna
- Proteger los pesos del modelo
- Realizar verificaciones de antecedentes al personal en puestos sensibles
- Financiar investigación en seguridad y protección
- Documentar los resultados de las evaluaciones
- Reportar incidentes importantes
- Utilizar firmas digitales
Marcas de agua para contenido generado
- Mantener controles de implementación seguros
- Colaborar para abordar vulnerabilidades posteriores al lanzamiento
Estos requisitos reflejan una realidad importante: los riesgos de la inteligencia artificial de frontera no comienzan ni terminan con el comportamiento del modelo.
Un modelo seguro aún puede generar riesgos si sus pesos son robados, sus indicaciones del sistema quedan expuestas, sus herramientas están mal configuradas o su entorno de implementación carece de los controles adecuados.
Los evaluadores externos siguen siendo necesarios
El organismo normativo no necesita realizar todas las pruebas internamente.
Hassabis propone apoyar un ecosistema de entidades independientes de evaluación y auditoría.
Diferentes organizaciones pueden especializarse en:
- Evaluaciones de ciberseguridad
- Evaluaciones de riesgos biológicos
- Autonomía de agentes
- Manipulación y persuasión
- Explicabilidad
- Protección de pesos del modelo
- Pruebas de equipo rojo
- Pruebas de modelos abiertos
- Marcas de agua y trazabilidad
- Monitoreo posterior al lanzamiento
La entidad central puede definir requisitos y coordinar procesos, mientras que los expertos aprobados realizan evaluaciones específicas.
Este enfoque puede ser más escalable que intentar establecer todas las formas de conocimiento especializado dentro de una sola organización.
También reduce la dependencia de un único evaluador, cuyos métodos podrían tener puntos ciegos desconocidos.
Cómo se relaciona esta propuesta con las entidades existentes en EE.UU.
EE.UU. ya cuenta con agencias gubernamentales dedicadas a pruebas y elaboración de normas en inteligencia artificial.
El Instituto Nacional de Estándares y Tecnología (NIST) alberga el Centro de Estándares e Innovación en Inteligencia Artificial (CAISI).
CAISI colabora con la industria para desarrollar estándares voluntarios, crear métodos de evaluación y realizar evaluaciones relacionadas con ciberseguridad, bioseguridad, armas químicas, seguridad nacional y sistemas de inteligencia artificial extranjeros.
La propuesta de Hassabis se superpone con este trabajo, pero crearía una estructura única.
Una posible división de responsabilidades sería:
| Entidad | Rol posible |
|---|---|
| CAISI y NIST | Ciencia de la medición, estándares públicos, evaluaciones gubernamentales, coordinación de seguridad nacional |
| Organismo normativo propuesto | Procesos de evaluación previa al lanzamiento, requisitos para laboratorios de frontera, certificación técnica, supervisión continua del sector |
| Agencias federales | Autoridad legal, decisiones de seguridad nacional, aplicación de la ley, controles de exportación |
| Laboratorios nacionales | Pruebas especializadas, infraestructura segura, experiencia científica |
| Evaluadores externos | Auditorías específicas por dominio, pruebas de equipo rojo, desarrollo de puntos de referencia |
| Laboratorios de frontera | Acceso seguro al modelo, documentación técnica, medidas correctivas, monitoreo posterior al lanzamiento |
Este arreglo requiere una coordinación cuidadosa para evitar duplicación de pruebas, requisitos conflictivos y falta de claridad en las competencias.
Relación con el Marco de Seguridad de Frontera de Google DeepMind
Google DeepMind ya utiliza un Marco de Seguridad de Frontera interno.
Este marco identifica umbrales de capacidad críticos y los vincula con evaluaciones, medidas de seguridad y medidas de implementación.
Sus áreas de riesgo incluyen:
- Ciberseguridad
- Capacidades CBRN
- Manipulación perjudicial
- I+D en aprendizaje automático
- Desajuste de objetivos
El marco de DeepMind también utiliza casos de seguridad y medidas de mitigación para modelos que alcanzan niveles específicos de capacidad.
La nueva propuesta de Hassabis extendería esta lógica general más allá de una sola empresa.
En lugar de que cada laboratorio de frontera establezca y revise sus propios umbrales de forma independiente, una organización externa crearía pruebas compartidas y requisitos mínimos.
Ventajas potenciales de la propuesta
Experiencia técnica
Una organización especializada puede reclutar personal con suficiente comprensión de los modelos avanzados para evaluar sus capacidades.
Los organismos reguladores generales a menudo tienen dificultades para igualar la profundidad técnica de los laboratorios de frontera.
Adaptación más rápida
Las estructuras autorreguladoras pueden actualizar puntos de referencia y procesos más rápidamente que la legislación.
Estándares compartidos
Las evaluaciones comunes facilitan la comparación de las declaraciones de seguridad de modelos de diferentes desarrolladores.
Acceso previo al lanzamiento
Las pruebas antes de la implementación dan a los evaluadores más tiempo para encontrar fallas graves antes de que el modelo llegue a millones de usuarios.
Pruebas independientes
Las pruebas retenidas y las auditorías de terceros pueden proporcionar evidencia más allá de las fichas técnicas publicadas por las empresas.
Alcance limitado
Eximir a los modelos comunes que no son de frontera reduce la carga sobre startups, universidades y pequeños proyectos de código abierto.
Base internacional
Un sistema liderado por EE.UU. podría proporcionar un punto de partida para estándares internacionales de evaluación compatibles.
Problemas importantes que la propuesta no aborda completamente
Aunque detallado, el plan presenta varios problemas de diseño.
¿Quién decide qué se considera inteligencia artificial de frontera?
Los umbrales de capacidad pueden determinar qué empresas deben someterse a costosas pruebas y posibles retrasos en el lanzamiento.
El proceso para establecer umbrales debe ser transparente, basado en evidencia y sujeto a cuestionamiento.
¿Qué tan independiente puede ser una entidad financiada por el sector?
La financiación del sector puede proporcionar conocimiento especializado y capacidad informática, pero también genera conflictos de interés.
Se necesita una fuerte supervisión gubernamental, gobernanza en interés público, transparencia financiera y revisión externa.
¿Se pueden completar de manera confiable las revisiones de 30 días?
Algunas evaluaciones requieren entornos especializados, revisión de expertos, pruebas prolongadas de agentes o experimentos repetidos.
El organismo normativo necesita personal y capacidad informática suficientes para no convertirse en un cuello de botella para los lanzamientos.
¿Cómo se prueban los modelos abiertos?
Los modelos cuyos pesos se publican presentan riesgos diferentes a los de las API alojadas.
Una vez que los pesos se hacen públicos, muchas medidas de protección de implementación pueden quedar sin efecto.
Los requisitos de evaluación pueden necesitar distinguir entre sistemas de pesos abiertos, pesos restringidos y sistemas cerrados alojados.
¿Qué sucede cuando los resultados son inciertos?
Las evaluaciones de frontera a menudo producen evidencia ambigua.
El marco necesita reglas para aprobaciones condicionales, pruebas adicionales, restricciones de implementación, apelaciones y revisiones independientes.
¿Cómo funciona la aplicación de la ley?
Un organismo autorregulador no puede imponer automáticamente sanciones legales a empresas fuera de su jurisdicción.
La autorización formal requiere legislación, acción de agencias, requisitos contractuales, reglas de adquisición o condiciones de acceso al mercado.
¿El sistema protegerá a las empresas establecidas?
Las grandes empresas de inteligencia artificial pueden permitirse evaluaciones exhaustivas y equipos de cumplimiento normativo.
Los desarrolladores más pequeños podrían tener dificultades, incluso si sus modelos alcanzan el mismo umbral de capacidad.
El marco necesita evitar que los requisitos de seguridad se conviertan en barreras anticompetitivas.
Cuándo podría ser más estricto el marco
Hassabis considera que el sistema debe ser ajustable.
Si las evaluaciones muestran que los modelos de frontera están generando mayores riesgos, se podría fortalecer la regulación.
Las posibles medidas de escalada incluyen:
- Ampliar los ciclos de revisión
- Aumentar los requisitos de seguridad
Restricciones en el entorno de despliegue
- Imposición de supervisión humana obligatoria
- Restricción de acceso a herramientas
- Control sobre la obtención de pesos del modelo
- Reforzamiento de la obligación de informar eventos
- Limitaciones temporales de publicación
- Pausas coordinadas para categorías de capacidades específicas
La opción más severa es frenar de forma coordinada el ritmo de desarrollo de los laboratorios de frontera cuando haya pruebas suficientes.
Este tipo de intervención es sumamente compleja tanto a nivel político como técnico, y requiere umbrales claros, coordinación internacional, mecanismos de ejecución y pruebas contundentes de que mantener el ritmo actual conlleva un riesgo inaceptable.
El desafío de la internacionalización
El desarrollo y despliegue de la inteligencia artificial de frontera cruza fronteras nacionales.
Los organismos de normalización de Estados Unidos pueden influir en el acceso al mercado estadounidense, pero no pueden regular de forma independiente a todos los laboratorios del mundo.
Por ello, la propuesta de Hassabis considera el liderazgo de EE. UU. como un punto de partida, no como un sistema definitivo.
Se requiere compatibilidad internacional en:
- Definición de capacidades
- Métodos de evaluación
- Acceso a modelos confidenciales
- Reporte de incidentes
- Riesgos de seguridad nacional
- Publicación de pesos en código abierto
- Trazabilidad de modelos
- Controles de exportación y despliegue
- Reconocimiento mutuo de resultados de pruebas
- Auditorías transfronterizas
La falta de coordinación llevará a que las empresas enfrenten estándares inconsistentes o elijan la jurisdicción con la regulación más laxa.
Al mismo tiempo, un único regulador global podría resultar políticamente inviable.
Una red de organismos nacionales y regionales de evaluación que adopten estándares técnicos compartidos podría ser una alternativa más factible.
Lo que esta propuesta significa para los desarrolladores de IA de frontera
Un organismo de normalización eficaz cambiaría el proceso de publicación de modelos.
Actualmente, los laboratorios líderes publican por su cuenta tarjetas de modelo, tarjetas de sistema, marcos de seguridad y algunos resultados de evaluación.
Bajo el nuevo sistema, los desarrolladores de frontera podrían tener que preparar:
- Acceso confidencial previo a la publicación del modelo
- Pruebas independientes de capacidades
- Evaluaciones comparativas reservadas
- Revisiones externas de seguridad
- Informes estandarizados de incidentes
- Certificaciones internas de ciberseguridad
- Obligaciones de remediación posteriores a la publicación
- Documentación técnica más detallada
- Posibles condiciones de despliegue
- Aprobación formal antes de ingresar al mercado estadounidense
La evaluación de seguridad se convertirá en un filtro explícito para la publicación, y no en una práctica interna que cada empresa decida por su cuenta.
Preguntas frecuentes
¿Qué propuso Demis Hassabis?
Propone la creación de un organismo independiente de normalización liderado por Estados Unidos para evaluar modelos de inteligencia artificial de frontera. Dicho organismo establecería pruebas técnicas, auditaría los modelos antes de su publicación, promovería prácticas de seguridad y coordinaría la respuesta ante vulnerabilidades graves.
¿Este organismo depende del gobierno de EE. UU.?
Se asemejaría a una organización público-privada o autorreguladora supervisada por el gobierno federal. Su financiamiento podría provenir principalmente de la industria de la IA, operando bajo supervisión gubernamental.
¿Por qué se tomó a FINRA como modelo?
FINRA es una organización autorreguladora financiada por la industria que supervisa a los corredores de bolsa en EE. UU., bajo la vigilancia de la SEC. Hassabis considera que una estructura similar podría combinar experiencia técnica, reglas adaptables, financiamiento industrial y supervisión pública.
¿Cuánto tiempo necesitan los modelos de frontera para ser revisados antes de su publicación?
La propuesta inicial permite un intercambio voluntario con el organismo de normalización hasta 30 días antes de la publicación. El período exacto de revisión puede variar según el modelo y los requisitos de evaluación.
¿Todos los modelos de IA necesitan aprobación?
No. El marco se aplicaría a modelos que alcancen umbrales de capacidad de frontera que se actualicen periódicamente. Los modelos más pequeños de startups, universidades y otras organizaciones generalmente no estarían sujetos a este proceso, a menos que alcancen el nivel de capacidad especificado.
¿Están incluidos los modelos de IA de código abierto?
Hassabis indica que el marco debería aplicarse a sistemas de nivel de frontera, ya sean de código abierto o cerrado, independientemente de su país de origen. Los modelos con pesos abiertos podrían requerir salvaguardas diferentes, ya que una vez publicados, podría ser imposible imponer controles de despliegue.
¿Qué riesgos evaluará el organismo?
La propuesta se centra en ciberseguridad, amenazas biológicas, comportamiento autónomo, engaño, evasión de salvaguardas y otras capacidades de alto riesgo. El conjunto de pruebas deberá actualizarse periódicamente a medida que surjan nuevos riesgos y capacidades.
¿Ya está evaluando EE. UU. modelos avanzados de IA?
Sí. El Centro de Estándares e Innovación en IA del NIST se dedica a pruebas, estándares y evaluaciones que involucran IA comercial y de frontera. El organismo propuesto añadiría una estructura más formal e independiente de revisión previa a la publicación y supervisión industrial.
Herramientas relacionadas
- Inspect AI: Marco de código abierto del Instituto de Seguridad de IA del Reino Unido para realizar evaluaciones estructuradas y repetibles de modelos de frontera.
- Marco de Gestión de Riesgos de IA del NIST: Marco voluntario para gobernar, mapear, medir y gestionar riesgos de IA.
- Centro de Estándares e Innovación en IA del NIST: Centro del gobierno de EE. UU. para pruebas, metrología, estándares y evaluaciones de seguridad nacional en IA.
- Marco de Seguridad de Frontera de Google DeepMind: Marco interno de DeepMind para identificar y mitigar riesgos graves en modelos de frontera.
- Inspect Evals: Conjunto de evaluaciones repetibles construidas sobre el marco Inspect AI.
Enlaces relacionados
- Un marco para la IA de frontera y el amanecer de una nueva era: Propuesta completa de Demis Hassabis.
- Acerca de FINRA: Explicación oficial de FINRA sobre su estructura, financiamiento, responsabilidades y supervisión de la SEC.
- Centro de Estándares e Innovación en IA: Información oficial sobre evaluaciones, desarrollo de estándares y rol en seguridad nacional del CAISI.
- Actualización del Marco de Seguridad de Frontera de Google DeepMind: Estrategia de DeepMind en umbrales de capacidad, argumentos de seguridad, salvaguardas y medidas de mitigación en el despliegue.
- Enfoque de evaluaciones del Instituto de Seguridad de IA del Reino Unido: Método oficial del gobierno del Reino Unido para pruebas previas y posteriores al despliegue de IA avanzada.
- Guía de gestión de riesgos de IA generativa del NIST: Orientación sobre gestión de riesgos que cubre todo el ciclo de vida de la IA generativa.
- Declaración conjunta internacional en red: evaluación de riesgos de IA avanzada: Principios comunes internacionales para la evaluación de sistemas avanzados de IA.
Resumen
Demis Hassabis propone la creación de un organismo de normalización técnicamente especializado e independiente, encargado de revisar los modelos de IA más capaces antes de su publicación. Esta organización comenzaría con una cooperación voluntaria, establecería procesos de evaluación confiables y, en el futuro, podría convertirse en un requisito obligatorio para el despliegue de modelos de frontera en EE. UU.
La propuesta intenta combinar la experiencia y financiación de la industria con supervisión gubernamental, pruebas independientes, evaluaciones de referencia reservadas, auditorías de terceros y monitoreo continuo posterior.
Aún quedan muchas cuestiones de implementación por resolver, incluidos los mecanismos de gobernanza, los métodos de ejecución, el tratamiento de los modelos de código abierto, la capacidad de evaluación, los conflictos de interés y la coordinación internacional. No obstante, en comparación con los llamados genéricos a regular la IA, esta propuesta es más concreta: define la estructura del organismo, el proceso de revisión, el alcance y las responsabilidades técnicas.
La idea central es directa: la seguridad de la IA de frontera debe ser evaluada por una organización con suficiente independencia, experiencia técnica, recursos computacionales y autoridad para desafiar a las empresas tecnológicas que construyen los modelos.