데미스 허사비스, 최첨단 AI 독립 표준 기관 제안

서론

구글 딥마인드의 공동 창업자이자 CEO인 데미스 허사비스가 세계 최첨단 인공지능 모델을 테스트하고 규제할 새로운 독립 기관 설립을 제안했습니다.

제안된 이 조직은 최첨단 AI 연구소와 미국 정부 사이에 위치하게 됩니다. 그 역할은 기술 평가 기준 수립, 고급 모델 출시 전 테스트, 성능 향상에 따른 벤치마크 업데이트, 더 엄격한 안전 관행 장려, 모델 배포 후 심각한 취약점 발견 시 대응 조치 조정 등을 포함합니다.

허사비스는 **《최첨단 AI 프레임워크와 새로운 시대의 서막》**이라는 제목의 글에서 이 계획을 개괄했습니다. TechCrunch는 2026년 7월 14일 이 제안을 보도하며, 특히 업계 자금으로 운영되고 기술 인력이 배치된 조직으로서 미국 금융감독청(FINRA) 모델을 일부 차용한 독특한 구조를 강조했습니다.

이 계획은 자발적 협력에서 출발합니다. 최첨단 AI 개발자들은 모델 출시 최대 30일 전에 평가 대상이 되는 모델을 제출해야 합니다. 평가 체계가 신뢰할 수 있는 것으로 입증되면, 평가 통과가 미국 시장에서 최첨단 모델을 배포하기 위한 전제 조건이 될 수 있습니다.

허사비스가 새로운 체계가 필요하다고 보는 이유

허사비스는 고성능 AI 시스템의 등장 속도가 정부, 연구자, 사회가 신뢰할 수 있는 평가 방식을 마련하는 속도를 앞지를 수 있다고 생각합니다.

이러한 우려는 단순히 모델이 공격적인 텍스트를 생성하거나 일반적인 사실 오류를 범하는 것에 국한되지 않습니다. 최첨단 시스템은 다음과 같은 분야에 영향을 미칠 수 있는 능력을 발전시킬 수 있습니다:

• 사이버 보안
• 생물학 연구
• 화학 또는 방사능 위험
• 자율적 도구 사용
• AI 연구 자동화
• 설득과 조작
• 기만적 행동
• 모델 가중치 보안
• 중요 인프라
• 국가 안보

모델은 규제 주기 사이에 상당한 향상을 이룰 수 있습니다. 6개월 전만 해도 까다로웠던 평가가 빠르게 포화 상태에 도달하여 더 이상 시스템 간의 실질적 차이를 드러내지 못할 수 있습니다.

전통적인 규칙 제정은 종종 더디게 진행됩니다. 하지만 최첨단 모델의 개발은 그렇지 않습니다.

따라서 허사비스는 기술 발전 속도와 대략적으로 보조를 맞출 수 있는 평가 방법을 갖춘 조직을 제안합니다.

핵심 제안

제안된 표준 기관은 연방 감독 하에 있는 민관 협력 조직 또는 자율 규제 기관이 될 것입니다.

일상 업무에서는 기술적 독립성을 유지하면서, 공공 안전 및 국가 안보와 관련된 문제에서는 정부 기관 및 국가 연구소와 협력합니다.

주요 임무는 다음과 같습니다:

1. 어떤 모델이 최첨단 기준에 해당하는지 정의
2. 평가 프로토콜 수립 및 유지
3. 출시 전 대상 모델 검토
4. 위험한 능력 및 보호 조치의 신뢰성 테스트
5. 최첨단 연구소를 위한 안전 및 투명성 실천 규범 수립
6. 외부 평가자 및 감사 기관의 생태계 지원
7. 출시 후 발생하는 심각한 취약점 대응
8. 위험이 수용 불가능한 수준에 도달할 경우 더 강력한 개입 조치 조정

이 표준 기관은 모든 소형 모델, 스타트업, 대학 프로젝트 또는 일반 AI 애플리케이션을 규제하지 않습니다.

그 관할 범위는 능력 임계값을 넘어 비정상적으로 심각한 위험을 초래할 수 있는 시스템으로 제한됩니다.

모델이 '최첨단급'이 되는 방식

허사비스의 프레임워크는 단순히 매개변수 수, 훈련 비용, 회사 규모 또는 브랜드 인지도만으로 최첨단 모델을 정의하지 않습니다.

대신, 제안된 표준 기관은 능력 벤치마크 세트를 유지 관리합니다.

특정 임계값을 넘는 모델은 최첨단급으로 분류됩니다. 이러한 모델을 개발하는 기관은 최첨단 연구소로 간주됩니다.

이러한 능력 기반 접근 방식이 중요한 이유는 모델 아키텍처와 효율성이 빠르게 진화하고 있기 때문입니다.

더 작은 시스템이나 비용이 덜 드는 시스템이 결국 더 큰 규모의 훈련이 필요했던 능력과 맞먹을 수 있습니다. 계산량만을 기반으로 한 고정된 임계값은 구식이 될 수 있습니다.

따라서 제안된 벤치마크는 다음과 같은 특징을 가집니다:

• 능력 기반
• 정기적으로 개정
• 고위험 분야를 중심으로 설계
• 벤치마크가 너무 쉬워지면 폐기
• 모델이 과적합되거나 포화 상태가 되면 교체
• 모델이 오픈소스든 폐쇄형이든 관계없이 적용

이 분류는 미국 시장에 배포되는 해외 개발 모델에도 동일하게 적용됩니다.

단계별 출시 전 검토 프로세스

이 제안은 즉시 강제 라이선스 제도로 전환하는 대신 단계적 접근 방식을 채택합니다.

1단계: 자발적 모델 공유

최첨단 연구소는 출시 전 자발적으로 표준 기관에 대상 모델을 제공해야 합니다.

검토 기간은 최대 30일입니다.

이 기간 동안 평가자들은 모델의 능력, 약점, 안전 보호 조치 및 잠재적 국가 안보 위험을 평가합니다.

초기 자발적 단계는 기관이 다음을 수행하는 데 도움이 됩니다:

• 기술 전문성 축적
• 평가 방법 테스트
• 기밀 유지 절차 개선
• 다양한 평가에 필요한 시간 파악
• 안전한 모델 접근 시스템 구축
• 벤치마크 격차 발견
• 개발자 및 외부 평가 기관과 신뢰 구축

2단계: 공식 시장 진입 요건

평가 프로세스가 기술적으로 효과적이고 운영상 신뢰할 수 있는 것으로 입증되면 프레임워크가 공식적으로 시행됩니다.

최첨단 모델이 미국 시장에 배포되려면 먼저 이 프로세스를 통과해야 합니다.

이로 인해 출시 전 테스트가 업계의 자발적 관행에서 명확한 시장 진입 요건으로 전환됩니다.

3단계: 출시 후 모니터링

모델이 승인되었다고 해서 표준 기관의 임무가 끝나는 것은 아닙니다.

최첨단 연구소는 출시 후 발견된 중요한 취약점에 대해 기관과 협력해야 합니다.

여기에는 다음이 포함될 수 있습니다:

• 새로운 탈옥 방법
• 모델 가중치 유출
• 예상치 못한 에이전트 행동
• 위험한 도구 사용 패턴
• 벤치마크 무효화
• 안전 기능 성능 저하
• 새로 발견된 사이버 또는 생물학적 능력
• 대규모 배포 시에만 나타나는 위험

배포

따라서 이 프레임워크는 안전성을 일회성 승인 이벤트가 아닌 지속적인 수명 주기로 간주합니다.

표준 기관이 테스트할 내용

허사비스는 고급 능력이 심각한 피해를 초래할 수 있는 분야에서 엄격한 과학적 테스트를 촉구합니다.

초기 평가 분야는 다음과 같을 수 있습니다:

평가 분야	예시 질문
사이버 보안	모델이 심각한 소프트웨어 취약점을 발견, 악용 또는 자동화할 수 있는가?
생물학적 위험	생물학적 위험을 증가시킬 수 있는 고급 작업을 효과적으로 지원할 수 있는가?
화학 및 방사능 위험	일반적으로 접근 가능한 정보 범위를 넘어서는 능력을 제공하는가?
자율적 행동	장기 작업에서 계획 수립, 도구 사용, 지속적 운영 또는 제한 회피가 가능한가?
기만성	목표를 숨기거나, 평가자를 조작하거나, 모니터링될 때 다르게 행동하는가?
보호 조치 견고성	적대적 사용자가 탈옥이나 다중 상호작용 공격을 통해 정책 제한을 우회할 수 있는가?
모델 안전	중요한 모델 가중치나 민감한 시스템 정보가 도난당할 수 있는가?
AI 연구 능력	이 모델이 더 강력한 AI 시스템 개발을 가속화할 수 있는가?

목적은 모든 위험을 완벽하게 측정할 수 있다고 주장하는 것이 아닙니다.

목표는 배포 결정을 지원하고 추가 보호 조치가 필요한 부분을 식별할 수 있을 만큼 충분히 강력한 증거를 창출하는 것입니다.

평가는 지속적으로 업데이트되어야 함

이 제안의 가장 중요한 부분 중 하나는 테스트 내용을 자주 개정하도록 요구하는 것입니다.

허사비스는 평가 도구 모음이 처음에는 분기별로 업데이트될 수 있다고 제안합니다.

이는 최첨단 벤치마크가 여러 측면에서 신뢰할 수 없게 될 수 있기 때문에 필요합니다:

• 모델이 거의 완벽한 점수에 도달함
• 훈련 데이터에 벤치마크 답변이 포함됨
• 개발자가 테스트에 직접 맞춰 최적화함
• 벤치마크가 실제 사용 시나리오를 더 이상 반영하지 않음
• 새로운 모델 기능이 테스트가 측정하도록 설계되지 않은 위험을 생성함
• 자율 시스템이 평가 환경의 약점을 활용하는 방법을 학습함

표준 기관은 먼저 현재 시스템에 대한 풍부한 기술 지식을 가진 최첨단 연구소와 협의할 것입니다.

그러나 시간이 지남에 따라 자체적인 비공개, 기밀 평가를 개발해야 합니다.

이러한 테스트는 평가 전까지 개발자에게 완전히 공개되지 않습니다. 이는 알려진 벤치마크 테스트에 특별히 훈련되었지만 더 광범위한 안전성을 입증하지 못한 모델의 위험을 줄일 것입니다.

독립적인 기밀 테스트가 중요한 이유

공개 벤치마크는 연구와 투명성에 유용하지만, 고위험 인증에는 충분하지 않습니다.

개발자가 모든 평가 문제를 알게 되면 다음과 같은 행동을 할 수 있습니다:

• 테스트 세트에 직접 훈련
• 벤치마크에 맞춰 프롬프트 조정
• 알려진 작업에 좁은 필터 추가
• 점수 방법에 맞춰 모델 라우팅 최적화
• 일반적인 행동을 개선하지 않고 강력한 벤치마크 결과 생성

독립 평가자는 기밀 작업을 유지하고 정기적으로 새로운 작업을 도입함으로써 이러한 문제를 줄일 수 있습니다.

이 과정은 전통적인 순위표보다 보안 테스트에 더 가깝습니다.

신뢰할 수 있는 평가 프로그램에는 다음이 필요합니다:

• 안전한 모델 접근 권한
• 버전 관리
• 재현 가능성

환경

• 명확한 평가 규칙
• 독립적인 테스트 설계
• 감사 로그
• 적대적 테스트
• 다수의 전문가 심사관
• 불확실한 결과 처리 절차
• 이의 제기 및 재테스트 프로세스

이러한 보호 조치가 없으면 해당 표준 기관은 의미 있는 규제 기관이 아닌 또 다른 벤치마크 발표 플랫폼으로 전락할 수 있습니다.

하사비스가 미국 금융 규제 기관을 모델로 삼은 이유

미국 금융 업계 규제 기관(FINRA)은 미국 증권사를 대상으로 하는 자율 규제 민간 비영리 조직입니다. 업계 비용으로 자금을 조달하지만 증권거래위원회의 감독 아래 운영됩니다. 이 기관은 회원 규칙을 제정 및 집행하고, 심사를 수행하며, 시장 활동을 모니터링하고, 자격 인증 프로세스를 관리하며, 새로운 위험에 대응합니다.

하사비스는 금융 규제의 모든 측면을 인공지능 분야에 그대로 적용할 것을 제안하지는 않았습니다. 관련 구조적 특징은 다음과 같습니다:

• 업계 자금 조달
• 정부 감독
• 전문 인력
• 규칙 제정
• 기술 모니터링
• 회원 또는 자격 요건
• 위험 변화에 적응하는 능력
• 공공 및 업계 참여 혼합 모델

최첨단 인공지능 조직은 고가의 컴퓨팅 인프라와 고도로 전문화된 직원이 필요합니다. 업계 자금 조달은 모델 연구자, 사이버 보안 전문가, 생물학적 위험 전문가, 평가 엔지니어 및 인프라 팀을 채용하는 데 필요한 자원을 제공할 수 있습니다. 연방 규제는 이 조직이 평가 대상 기업이 통제하는 사적 클럽으로 변질되는 것을 방지하기 위한 것입니다.

제안된 거버넌스 구조

하사비스는 이사회에 독립 기술 전문가와 오픈소스 인공지능 커뮤니티 대표가 포함되어야 한다고 제안합니다. 이는 최첨단 인공지능 거버넌스가 매우 다른 개발 모델을 채택한 조직에 영향을 미치기 때문에 중요합니다. 폐쇄형 모델 연구소는 가중치 파일을 공개하지 않고 안전한 인터페이스를 통해 접근 권한을 제공할 수 있는 반면, 오픈소스 모델 개발자는 모델 매개변수, 코드 및 기술 세부 정보를 공개할 수 있습니다. 표준 기관이 가장 큰 독점 연구소만 대표한다면, 의도치 않게 또는 의도적으로 소규모 조직을 불리하게 만드는 규칙을 제정할 수 있습니다.

보다 균형 잡힌 구조는 다음과 같을 수 있습니다:

• 독립 인공지능 연구자
• 사이버 보안 전문가
• 생물학 및 화학 안전 전문가
• 오픈소스 대표
• 소비자 및 시민 사회 목소리
• 국가 연구소 인력
• 정부 옵서버
• 최첨단 연구소 기술자
• 평가 연구자
• 인프라 및 보안 전문가

구체적인 의결권 및 이해 충돌 규칙이 중요합니다. 업계 전문 지식은 기술 이해에 필수적이지만, 과도한 업계 통제는 공공 신뢰를 약화시킬 수 있습니다.

최첨단 연구소 모범 사례

이 제안은 모델 테스트 범위를 넘어섭니다. 최첨단 연구소로 분류된 조직은 다음을 포함한 더 엄격한 운영 관행을 채택해야 합니다:

• 세부 모델 카드 발행
• 강력한 내부 사이버 보안 유지
• 모델 가중치 보호
• 민감 직위 인력에 대한 심사
• 안전 및 보안 연구 자금 지원
• 평가 결과 기록
• 주요 사건 보고
• 디지털 서명 활용

미디어 생성 워터마크

• 안전한 배포 통제 유지
• 게시 후 취약점 공동 대응

이러한 요구 사항은 중요한 현실을 반영합니다. 최첨단 인공지능 위험은 모델 행동에서 시작되거나 끝나지 않는다는 것입니다.

가중치가 도난당하거나, 시스템 프롬프트가 노출되거나, 도구가 잘못 구성되거나, 배포 환경에 적절한 통제가 부족한 경우 안전한 모델도 여전히 위험을 초래할 수 있습니다.

제3자 평가 기관의 필요성

표준 제정 기관이 모든 테스트를 내부에서 수행할 필요는 없습니다.

하사비스는 독립 평가 및 감사 기관으로 구성된 생태계를 지원할 것을 제안합니다.

다양한 조직이 다음 분야에 집중할 수 있습니다:

• 사이버 보안 평가
• 생물학적 위험 평가
• 에이전트 자율성
• 조작 및 설득
• 설명 가능성
• 모델 가중치 보호
• 레드팀 테스트
• 오픈 모델 테스트
• 워터마크 및 출처 추적
• 배포 후 모니터링

중앙 기관은 요구 사항을 정의하고 프로세스를 조정하며, 승인된 전문가가 특정 평가를 수행합니다.

이 방법은 한 조직 내에서 모든 형태의 전문 지식을 구축하려는 시도보다 확장성이 더 높을 수 있습니다.

또한 방법론에 알려지지 않은 사각지대가 포함될 수 있는 단일 평가자에 대한 의존도를 줄일 수 있습니다.

이 제안이 미국 기존 기관과 어떻게 연결되는지

미국에는 이미 인공지능 테스트 및 표준 제정에 종사하는 정부 기관이 있습니다.

국립표준기술연구소(NIST)에는 인공지능 표준 및 혁신 센터(CAISI)가 있습니다.

CAISI는 업계와 협력하여 자발적 표준을 제정하고, 평가 방법을 개발하며, 사이버 보안, 생물 안전, 화학 무기, 국가 안보 및 외국 인공지능 시스템과 관련된 평가를 수행합니다.

하사비스의 제안은 이 작업과 중복되는 부분이 있지만 독특한 구조를 생성합니다.

가능한 역할 구분은 다음과 같습니다:

기관	가능한 역할
CAISI 및 NIST	측정 과학, 공공 표준, 정부 평가, 국가 안보 조정
제안된 표준 제정 기관	게시 전 평가 프로세스, 최첨단 연구소 요구 사항, 기술 인증, 지속적인 업계 감독
연방 기관	법적 권한, 국가 안보 결정, 법 집행, 수출 통제
국가 연구소	전문 테스트, 안전 인프라, 과학적 전문 지식
제3자 평가 기관	분야별 감사, 레드팀 테스트, 벤치마크 개발
최첨단 연구소	안전한 모델 접근, 기술 문서, 시정 조치, 게시 후 모니터링

이러한 배치에는 테스트 중복, 요구 사항 충돌 및 책임 소재 불명확을 방지하기 위한 신중한 조정이 필요합니다.

Google DeepMind 최전선 안전 프레임워크와의 관계

Google DeepMind는 이미 내부 최전선 안전 프레임워크를 사용하고 있습니다.

이 프레임워크는 중요한 능력 임계값을 식별하고 이를 평가, 안전 및 배포 조치와 연결합니다.

위험 영역은 다음과 같습니다:

• 사이버 보안
• CBRN 능력
• 유해한 조작
• 머신러닝 R&D
• 목표 불일치

DeepMind의 프레임워크는 특정 능력 수준에 도달한 모델에 대해 안전 사례와 배포 완화 조치도 사용합니다.

하사비스의 새로운 제안은 이 일반적인 논리를 단일 기업을 넘어 확장합니다.

각 최첨단 연구소가 자체적으로 임계값을 설정하고 검토하는 대신, 외부 조직이 공유 테스트와 최소 요구 사항을 생성합니다.

제안의 잠재적 이점

기술 전문성

전문 조직은 고급 모델을 충분히 이해하여 능력을 평가할 수 있는 인력을 채용할 수 있습니다.

일반 규제 기관은 종종 최첨단 연구소의 기술적 깊이를 따라잡기 어렵습니다.

더 빠른 적응

자율 규제 구조는 입법보다 더 빠르게 벤치마크와 프로세스를 업데이트할 수 있습니다.

공유 표준

공통 평가를 통해 여러 개발자의 모델 안전 주장을 더 쉽게 비교할 수 있습니다.

게시 전 접근

배포 전 테스트를 통해 평가자는 모델이 수백만 사용자에게 도달하기 전에 심각한 결함을 발견할 시간을 더 확보할 수 있습니다.

독립적 테스트

비공개 테스트와 제3자 감사는 기업이 발행한 모델 카드를 넘어서는 증거를 제공할 수 있습니다.

제한된 범위

일반적인 비최전선 모델을 면제하면 스타트업, 대학 및 소규모 오픈소스 프로젝트의 부담을 줄일 수 있습니다.

국제적 기반

미국 주도 시스템은 호환 가능한 국제 평가 표준의 출발점이 될 수 있습니다.

제안이 완전히 해결하지 못한 중요한 문제

이 계획은 상세하지만 몇 가지 설계 문제가 남아 있습니다.

무엇이 최전선 AI로 간주되는지 누가 결정하는가?

능력 임계값은 어떤 기업이 값비싼 테스트와 잠재적 게시 지연을 감당해야 하는지 결정할 수 있습니다.

임계값 설정 프로세스는 투명하고 증거에 기반하며 이의 제기가 가능해야 합니다.

업계 자금으로 지원되는 기관이 얼마나 독립적일 수 있는가?

업계 자금은 전문 지식과 컴퓨팅 성능을 제공할 수 있지만 이해 충돌을 유발할 수도 있습니다.

강력한 정부 감독, 공공 이익 거버넌스, 재정 투명성 및 외부 검토가 필요합니다.

30일 검토가 안정적으로 완료될 수 있는가?

일부 평가에는 전문 환경, 전문가 심사, 장기 에이전트 테스트 또는 반복 실험이 필요합니다.

표준 기관은 게시 병목 현상이 되지 않도록 충분한 인력과 컴퓨팅 성능을 갖추어야 합니다.

오픈 모델은 어떻게 테스트하는가?

가중치가 공개되는 모델은 API를 호스팅하는 모델과 위험이 다릅니다.

가중치가 공개되면 많은 배포 보호 조치가 무효화될 수 있습니다.

평가 요구 사항은 오픈 가중치, 제한 가중치 및 폐쇄 호스팅 시스템을 구분해야 할 수 있습니다.

결과가 불확실한 경우는 어떻게 하는가?

최전선 평가는 종종 모호한 증거를 생성합니다.

프레임워크는 조건부 승인, 추가 테스트, 배포 제한, 이의 제기 및 독립 검토에 대한 규칙을 마련해야 합니다.

법적 집행은 어떻게 작동하는가?

자율 규제 기관은 자체 관할권 밖의 기업에 법적 제재를 자동으로 가할 수 없습니다.

공식적인 권한 부여는 입법, 기관 조치, 계약 요건, 조달 규칙 또는 시장 접근 조건이 필요합니다.

시스템이 기존 기업을 보호할 것인가?

대규모 AI 기업은 포괄적인 평가와 규정 준수 팀을 감당할 수 있습니다.

소규모 개발자는 동일한 능력 임계값에 도달하더라도 어려움을 겪을 수 있습니다.

이 프레임워크는 안전 요구 사항이 반경쟁적 장벽으로 변질되는 것을 방지해야 합니다.

프레임워크가 더 엄격해질 수 있는 시기

하사비스는 이 시스템이 조정 가능해야 한다고 생각합니다.

평가 결과 최첨단 모델이 더 심각한 위험을 초래하는 것으로 나타나면 규제를 강화할 수 있습니다.

가능한 강화 조치는 다음과 같습니다:

• 검토 기간 연장
• 안전 요구 사항 추가

배포 환경 제한

• 강제적 인간 감독
• 도구 접근 권한 제한
• 모델 가중치 획득 통제
• 사고 보고 의무 강화
• 임시 배포 제한
• 특정 능력 범주에 대한 조정된 일시 중단

가장 강력한 옵션은 충분한 증거가 확보될 경우, 최전선 연구소의 연구 개발 속도를 조정하여 늦추는 것이다.

이러한 개입은 정치적, 기술적 측면 모두에서 상당한 어려움이 따르며, 명확한 임계값, 국제적 조정, 집행 메커니즘, 그리고 현재 속도를 유지할 경우 감당할 수 없는 위험이 발생한다는 확실한 증거가 필요하다.

국제화의 난제

최전선 인공지능의 개발과 배포는 국경을 초월한다.

미국 표준 제정 기관은 미국 시장 접근에 영향을 미칠 수 있지만, 전 세계 모든 연구소를 독자적으로 규제할 수는 없다.

따라서 하사비스의 제안은 미국의 주도적 역할을 최종 시스템이 아닌 출발점으로 간주한다.

다음 분야에서 국제적 호환성이 필요하다:

• 능력 정의
• 평가 방법
• 기밀 모델 접근
• 사고 보고
• 국가 안보 위험
• 오픈소스 가중치 배포
• 모델 출처 추적
• 수출 및 배포 통제
• 테스트 결과 상호 인정
• 국경 간 감사

조정이 부족하면 기업들은 불일치하는 표준에 직면하거나, 규제가 가장 느슨한 사법 관할 구역을 선택하게 될 것이다.

동시에, 단일 글로벌 규제 기관은 정치적으로 비현실적일 수 있다.

공유된 기술 표준을 채택하는 국가 및 지역 평가 기관 네트워크를 구축하는 것이 더 실행 가능한 방안일 수 있다.

이 제안이 최전선 AI 개발자에게 의미하는 바

효과적으로 운영되는 표준 제정 기관은 모델 출시 프로세스를 변화시킬 것이다.

현재, 주요 연구소들은 주로 자체적으로 모델 카드, 시스템 카드, 안전 프레임워크 및 일부 평가 결과를 발표하고 있다.

새로운 시스템 하에서, 최전선 개발자들은 다음을 준비해야 할 수 있다:

1. 기밀 사전 출시 모델 접근
2. 독립적 능력 테스트
3. 예비 기준 테스트
4. 외부 안전성 검토
5. 표준화된 사고 보고
6. 내부 사이버 보안 증명
7. 출시 후 시정 의무
8. 보다 상세한 기술 문서
9. 잠재적 배포 조건
10. 미국 시장 진입 전 공식 승인

안전 평가는 각 회사가 자체적으로 결정하는 내부 관행이 아닌, 명확한 출시 관문이 될 것이다.

자주 묻는 질문

데미스 하사비스가 제안한 내용은 무엇인가요?

그는 최전선 인공지능 모델을 평가하기 위한 미국 주도의 독립적인 표준 제정 기관 설립을 제안했습니다. 이 기관은 기술 테스트를 개발하고, 모델 출시 전 검토를 수행하며, 안전 관행을 보급하고, 심각한 취약점에 대한 조정된 대응을 담당합니다.

이 조직은 미국 정부 소속인가요?

연방 규제를 받는 민관 협력체 또는 자율 규제 조직과 유사합니다. 자금은 주로 AI 업계에서 제공되며, 정부의 감독 하에 운영됩니다.

왜 FINRA를 모델로 선택했나요?

FINRA는 업계가 자금을 지원하는 자율 규제 기관으로, SEC의 감독 하에 미국의 브로커-딜러를 규제합니다. 하사비스는 유사한 구조가 기술 전문성, 적응형 규칙, 업계 자금 및 공공 감독을 결합할 수 있다고 봅니다.

최전선 모델은 출시 전에 얼마나 오래 검토를 받아야 하나요?

초기 제안은 출시 전 최대 30일 동안 자발적으로 표준 제정 기관과 공유하는 것을 허용합니다. 구체적인 검토 기간은 모델 및 평가 요구 사항에 따라 달라질 수 있습니다.

모든 AI 모델이 승인을 받아야 하나요?

아닙니다. 이 프레임워크는 주기적으로 업데이트되는 최전선 능력 임계값에 도달하는 모델에 적용됩니다. 스타트업, 대학 및 기타 조직의 소형 모델은 능력이 지정된 수준에 도달하지 않는 한 일반적으로 이 절차의 대상이 아닙니다.

오픈소스 AI 모델도 포함되나요?

하사비스는 이 프레임워크가 오픈소스든 클로즈드소스든, 그리고 원산지 국가에 관계없이 최전선 수준의 시스템에 적용되어야 한다고 밝혔습니다. 오픈 가중치 모델은 출시 후 배포 통제를 시행할 수 없기 때문에 다른 안전 장치가 필요할 수 있습니다.

이 기관은 어떤 위험을 평가하나요?

제안은 사이버 보안, 생물학적 위협, 자율 행동, 기만, 안전 장치 우회 및 기타 고위험 능력에 중점을 둡니다. 새로운 위험과 능력이 등장함에 따라 테스트 세트는 정기적으로 업데이트되어야 합니다.

미국은 이미 고급 AI 모델을 평가하고 있나요?

네. NIST의 AI 표준 및 혁신 센터는 상업 및 최전선 AI와 관련된 테스트, 표준 및 평가에 참여하고 있습니다. 제안된 기관은 보다 공식적이고 독립적인 출시 전 검토 및 업계 감독 구조를 추가할 것입니다.

관련 도구

• Inspect AI: 영국 AI 안전 연구소의 오픈소스 프레임워크로, 구조화되고 반복 가능한 최전선 모델 평가를 수행합니다.
• NIST AI 위험 관리 프레임워크: AI 위험을 거버넌스, 매핑, 측정 및 관리하기 위한 자발적 프레임워크입니다.
• NIST AI 표준 및 혁신 센터: AI 테스트, 계량 과학, 표준 및 국가 안보 평가를 위한 미국 정부의 중심 기관입니다.
• Google DeepMind 최전선 안전 프레임워크: DeepMind가 최전선 모델의 심각한 위험을 식별하고 완화하기 위한 내부 프레임워크입니다.
• Inspect Evals: Inspect AI 프레임워크를 기반으로 구축된 재현 가능한 평가 모음입니다.

관련 링크

• 최전선 AI 프레임워크와 새로운 시대의 여명: Demis Hassabis의 전체 제안서입니다.
• FINRA 소개: FINRA의 구조, 자금, 책임 및 SEC 감독에 대한 공식 설명입니다.
• AI 표준 센터와 혁신: CAISI의 평가, 표준 제정 및 국가 안보 역할에 대한 공식 정보입니다.
• Google DeepMind 최전선 안전 프레임워크 업데이트: DeepMind의 능력 임계값, 안전 논증, 안전 장치 및 배포 완화 전략입니다.
• 영국 AI 안전 연구소 평가 방법: 고급 AI의 배포 전후 테스트에 대한 영국 정부의 공식 방법입니다.
• NIST 생성형 AI 위험 관리 지침: 생성형 AI의 전체 수명 주기를 다루는 위험 관리 지침입니다.
• 국제 네트워크 공동 성명: 고급 AI 위험 평가: 고급 AI 시스템 평가를 위한 국제적 공동 원칙입니다.

요약

데미스 하사비스는 가장 강력한 AI 모델이 출시되기 전에 검토할, 기술적으로 전문적이고 독립적으로 운영되는 표준 제정 기관을 제안했습니다. 이 조직은 자발적 협력에서 시작하여 신뢰할 수 있는 평가 프로세스를 구축하고, 향후 미국 내 최전선 모델 배포를 위한 강제적 관문이 될 수 있습니다.

이 제안은 산업 전문성과 자금 지원을 정부 감독, 독립적 테스트, 예비 기준, 제3자 감사 및 지속적인 사후 모니터링과 결합하려고 합니다.

거버넌스 메커니즘, 집행 방식, 오픈소스 모델 처리, 평가 능력, 이해 상충 및 국제적 조정 등 여전히 많은 실행 문제가 남아 있습니다. 그럼에도 불구하고, 이 제안은 막연한 AI 규제 촉구보다 더 구체적입니다. 기관 구조, 검토 프로세스, 범위 및 기술적 책임을 명확히 하고 있습니다.

핵심 개념은 간단합니다. 최전선 AI 안전은 모델을 구축하는 기술 기업에 이의를 제기할 수 있을 만큼 충분한 독립성, 전문 지식, 컴퓨팅 리소스 및 권한을 가진 조직에 의해 테스트되어야 한다는 것입니다.