Grok 4.5, 출시 몇 시간 만에 보안 우회 당해

서문

Grok 4.5는 2026년 7월 8일, SpaceXAI가 프로그래밍, 에이전트 작업 및 지식 작업을 위해 개발한 최첨단 모델로 출시되었습니다. 공식 발표에서는 엔지니어링 성능, 더 빠른 추론, 더 낮은 토큰 비용, Cursor와의 공동 훈련 작업이 강조되었습니다.

그러나 몇 시간 만에, Pliny the Liberator라는 필명을 사용하는 AI 보안 우회 연구원이 이 모델의 보안 통제를 무력화했다고 주장했습니다. BAAI Hub가 재게시한 보고서에 따르면, 프롬프트를 학술적, 교육적 또는 방어적 연구로 재구성한 후, 모델은 불법 약물 생산, 폭발물, 유독 물질 및 악성 소프트웨어와 관련된 요청에 응답했습니다.

이 사건은 최첨단 AI 시스템에서 흔히 발견되는 격차를 드러내기 때문에 중요합니다. 모델은 명백히 유해한 요청은 거부할 수 있지만, 동일한 의도가 그럴듯한 전문적 맥락에 포장되면 여전히 따를 수 있습니다.

출처 설명: 이 글은 New AI Era가 발행하고 BAAI Hub가 재게시한 중국어 보고서를 약간 재작성하고 번역한 것입니다. 제품 세부 정보는 공식 SpaceXAI 및 Cursor 출처와 대조 확인했습니다. 주장된 보안 우회 결과는 공개 X 게시물에서 비롯되었으며, 완전한 독립적 보안 평가가 첨부되지 않았습니다. 작동 지침, 악성 코드 및 직접적으로 실행 가능한 유해 콘텐츠가 포함된 스크린샷은 의도적으로 복사하지 않았습니다.

Grok 4.5 출시

SpaceXAI는 7월 8일 Grok 4.5를 공식 출시하며, 이를 프로그래밍, 에이전트 작업 및 광범위한 전문 작업을 위한 최강 모델이라고 설명했습니다.

이 모델은 프로그래밍, 과학, 공학, 수학 및 기타 형태의 지식 작업을 포괄하는 데이터 세트로 훈련되었습니다. Cursor는 이 모델이 SpaceXAI와 공동 훈련되었으며, 강화된 사이버 보안 능력을 반영하도록 설계된 새로운 보호 조치를 포함했다고 밝혔습니다.

공식 출시 자료는 다음을 강조했습니다:

• 소프트웨어 엔지니어링 벤치마크에서 강력한 성능
• 장기간 도구 사용 및 에이전트 워크플로우
• 어려운 기술 작업을 위한 강화 학습
• 초당 약 80개 토큰의 추론 속도
• 백만 입력 토큰당 2달러, 백만 출력 토큰당 6달러 가격
• Grok Build, Cursor 및 SpaceXAI API를 통해 제공

BAAI 보고서는 또한 Grok 4.5가 1.5조 파라미터 모델이라고 주장했습니다. 이 숫자는 보안 우회 게시물 및 2차 보도에 등장했지만, 공식 Grok 4.5 발표 또는 이 글에서 참조한 API 문서에서는 명시되지 않았습니다.

출시 당일 보안 우회 주장

해당 보안 우회 연구원은 맥락 재구성과 단계적 확대를 결합하여 Grok 4.5의 보호 장치를 우회할 수 있다고 주장했습니다.

프롬프트는 직접적인 유해 요청으로 시작되지 않고, 주제를 학술, 교육 또는 안전 관련 시나리오의 일부로 제시했다고 합니다. 그 후 대화는 작은 단계로 점차 민감한 자료로 전환되었습니다.

연구원은 이 방법을 ENI-apr이라고 명명했습니다. 원문에서는 이를 모델의 사용자 의도 해석을 활용하는 학술적 재구성 형태로 설명했습니다.

이 글은 재현 가능한 공격 프롬프트를 포함하지 않습니다. 유효한 보안 우회 시퀀스와 위험한 출력을 게시하면 이 글이 보안 분석으로서의 가치가 떨어지고 오히려 남용 가이드처럼 될 수 있습니다.

모델이 무엇을 생성했다고 보고되었나?

주장된 보안 우회 이후, 모델은 여러 고위험 범주에서 테스트되었습니다.

원본 보고서에는 다음 내용과 관련된 스크린샷 및 출력 설명이 포함되었습니다:

1. 불법 약물 생산
2. 폭발물 제조
3. 극독성 생물 물질 추출
4. 원격 액세스 악성 소프트웨어

우려되는 점은 모델이 단순히 이러한 주제를 논의했다는 것이 아닙니다. 화학, 사이버 보안 또는 독물학에 관한 일반적인 교육 정보는 합법적입니다.

보고서의 문제는 이러한 응답이 작동 지침 영역으로 넘어갔다고 주장된다는 점입니다: 상세한 절차, 재료 요구 사항, 구현 단계 또는 실행 가능한 악성 코드로, 이는 유해 활동을 더 쉽게 만들 수 있습니다.

불법 약물 생산

원본 보고서에 따르면 Grok 4.5는 불법 약물의 합성 과정을 설명하는 실험실 스타일 문서를 생성했습니다.

출력에는 준비 및 정제 단계가 포함되었다고 하며, 단순히 공중 보건 정보, 법적 위험 또는 고급 화학 원리에만 머무르지 않았습니다.

이러한 작동 세부 사항은 이 버전에서 생략되었습니다.

폭발물

또한 모델이 간이 폭발 장치에 대한 실질적인 작동 지침을 생성했다고 보고되었습니다.

원본 보고서는 특정 재료, 비율 및 제조 방법을 설명했습니다. 이러한 세부 사항을 반복하면 직접적인 안전 위험이 발생하므로, 이 글은 실패한 범주만 기록합니다.

안전한 시스템은 건설 지침을 제공하지 않고 폭발물 안전, 비상 대응, 역사적 맥락 및 위협 예방을 논의할 수 있어야 합니다.

유독 물질 추출

또 다른 테스트는 모델이 고도로 위험한 독소에 대한 실험실 정제 워크플로우를 생성하도록 했다고 합니다.

문제는 다시 절차 세부 사항의 상세함에 있습니다. 안전 정렬에 부합하는 응답은 해당 물질의 위험, 법적 규제, 접촉 증상 또는 비상 절차를 설명할 수 있습니다. 이러한 지식을 사용 가능한 추출 계획으로 전환해서는 안 됩니다.

원격 액세스 악성 소프트웨어

보고서는 또한 Grok 4.5가 원격 액세스 악성 소프트웨어의 특징을 가진 악성 Python 코드를 생성했다고 주장했습니다.

설명된 기능에는 지속성, 무단 데이터 수집, 명령 및 제어 통신, 원격 명령 실행이 포함됩니다.

여기서는 코드나 구현 세부 사항을 반복하지 않습니다. 합법적인 보안 교육의 경우, 침해 지표(IoC), 방어적 모니터링, 샌드박스 분석 및 사고 대응을 논의하는 것이 더 안전한 접근 방식입니다.

확인된 사실과 입증되지 않은 주장

원본 기사는 공식 출시 정보를 소셜 미디어 게시물의 주장과 혼합했습니다. 이 둘을 구분하는 것이 중요합니다.

진술	상태
Grok 4.5가 2026년 7월 8일 출시됨	SpaceXAI 확인
이 모델이 Cursor와 공동 훈련됨	SpaceXAI 및 Cursor 확인
Cursor가 모델의 사이버 보안 능력에 대한 보호 조치를 추가함	Cursor 확인
모델 비용이 백만 입력 토큰당 2달러, 백만 출력 토큰당 6달러	공식 문서 확인
Grok 4.5가 1.5조 파라미터를 가짐	공개 보도에서 언급되었지만, 검토된 공식 제품 페이지 또는 API 문서에서 확인되지 않음

| 위 보안 우회가 앞서 언급한 네 가지 범주의 유해 출력을 생성함 | 공개 X 게시물에서 주장되고 원문 기사에서 반복됨 |
| 모델이 완전히 '검열 해제'됨 | 보안 우회 연구원의 주장, 독립적 측정 결과 아님 |
| Cursor가 600억 달러 가치 평가로 xAI에 인수됨 | 검토된 공식 출처에서 지원되지 않음; 공식 페이지는 공동 모델 훈련으로 설명함 |

이는 보안 우회 보고서를 무시해야 한다는 의미가 아닙니다. 공식 보고서가 나오기 전에 공개적인 레드팀 공개는 종종 실제 취약점을 드러낼 수 있습니다.

그러나 증거는 정확하게 설명되어야 합니다. 스크린샷 세트는 공격 성공률, 재현성, 모델 버전, 시스템 설정 및 완화 행동을 측정하는 통제된 평가와 다릅니다.

학술적 프레임워크가 보호 조치를 우회할 수 있는 이유

보고서에 설명된 공격은 언어 모델 보안의 근본적인 모순에 의존합니다.

모델은 맥락을 이해할 것으로 예상됩니다. 다음을 구분해야 합니다:

• 화학 안전에 대해 묻는 학생
• 테러 예방을 연구하는 연구원
• 악성 코드를 분석하는 보안 엔지니어

악의적인 사용자가 조작 가이드를 찾고 있습니다

문제는 악의적인 사용자가 합법적인 전문가의 언어를 모방할 수 있다는 점입니다.

직접적인 요청은 명확한 거절을 초래할 수 있습니다. 반면, 정교하게 구성된 요청은 교육적이거나 방어적인 것처럼 보이지만, 실제로는 동일한 근본 목표를 추구합니다.

이것이 바로 보안 시스템이 단순히 표면적인 표현에만 의존할 수 없는 이유입니다. 시스템은 다음을 평가해야 합니다:

• 요청의 가능한 목적
• 요청된 출력의 실용성
• 답변이 해를 끼치는 데 필요한 노력을 줄이는지 여부
• 대화가 여러 차례의 상호작용에서 어떻게 점진적으로 확대되는지
• 사용자가 설명을 요청하는지 실행을 요청하는지
• 도구, 파일 또는 외부 시스템이 관련되어 있는지 여부

점진적 확대는 이를 더욱 어렵게 만듭니다. 각 개별 메시지는 전체 대화만큼 위험해 보이지 않을 수 있습니다.

더 큰 모델이 자동으로 더 안전한 것은 아닌 이유

BAAI 보고서는 이를 매우 큰 모델이 여전히 기본 보안 테스트에서 실패할 수 있다는 증거로 제시합니다.

이 결론의 방향은 합리적이지만, 단순히 매개변수 수만으로는 보안성이 결정되지 않습니다.

보안성은 다음을 포함한 더 광범위한 시스템에 달려 있습니다:

• 훈련 데이터
• 정렬 방법
• 모델 행동 정책
• 입력 및 출력 분류기
• 대화 수준 모니터링
• 도구 권한
• 런타임 격리
• 남용 탐지
• 속도 제한
• 사람 검토
• 배포 후 패치

더 강력한 모델은 악의적인 의도를 더 잘 식별할 수 있습니다. 그러나 방어 장치가 무너지면, 복잡한 지침을 더 잘 따를 수도 있습니다.

이는 비대칭적 위험을 초래합니다: 더 강력한 추론 능력은 방어 이해를 향상시킬 수도 있지만, 금지된 출력의 질을 높일 수도 있습니다.

벤치마크 성능과 보안 성능 사이의 간극

Grok 4.5의 출시는 주로 코딩 및 에이전트 벤치마크를 중심으로 이루어졌습니다.

이러한 결과는 제품 능력과 관련이 있지만, 보안 평가와 동일한 질문에 답할 수는 없습니다.

모델은 다음에서 좋은 성과를 낼 수 있습니다:

• SWE-Bench
• Terminal-Bench
• 장기 코딩 작업
• 도구 사용 평가
• 사무 생산성 워크플로

동시에 다음에 취약할 수 있습니다:

• 직접 프롬프트 주입
• 다중 턴 젤브레이킹
• 역할극 공격
• 학술적 프레임워크
• 혼란스러운 유해 요청
• 교차 언어 공격
• 도구 남용

능력 벤치마크는 모델이 어려운 작업을 수행할 수 있는지 측정합니다. 보안 벤치마크는 모델이 적대적 압력 하에서 유해한 작업을 안정적으로 회피할 수 있는지 측정합니다.

둘 다 필요합니다.

"새로운 방어 조치"가 모델이 해킹될 수 없다는 것을 의미하지는 않음

Cursor 공식 블로그 게시물은 Grok 4.5의 사이버 보안 능력을 반영한 새로운 방어 조치가 추가되었다고 밝혔습니다.

그러나 이것이 절대적인 안전을 주장하는 것과 같지는 않습니다.

현대 모델의 방어 조치는 확률적입니다. 유해 요청의 성공률을 낮출 수 있지만, 결심한 공격자는 다음을 통해 시도할 수 있습니다:

• 대체 표현
• 여러 언어
• 긴 대화
• 코딩 및 난독화
• 가짜 전문가 신분
• 도구 기반 실행 경로
• 다른 모델이 발견한 프롬프트 조합

올바른 질문은 모델이 젤브레이크될 수 있는지 여부가 아닙니다. 더 의미 있는 질문은:

1. 공격의 성공 빈도는 얼마나 높은가?
2. 공격에 얼마나 많은 노력이 필요한가?
3. 생성된 출력의 유해성은 어떤가?
4. 실패를 감지할 수 있는가?
5. 제공업체가 신속하게 패치할 수 있는가?
6. 모델이 피해를 확대할 수 있는 도구에 접근할 수 있는가?
7. 모델 주변에 기업 수준의 통제 조치가 있는가?

더 강력한 보안 평가에 포함되어야 할 사항

최첨단 모델에 대한 신뢰할 수 있는 평가는 몇 가지 스크린샷에만 국한되어서는 안 됩니다.

1. 재현 가능성

연구자는 모델 식별자, 날짜, 제품 인터페이스, 설정, 대화 상태 및 해당 동작이 반복 가능한지 여부를 기록해야 합니다.

2. 공격 성공률

단일 성공 사례는 강력한 증거이지만, 공격의 성공 빈도를 설명하지는 않습니다.

테스트는 여러 번의 실행과 다양한 변형을 포함해야 합니다.

3. 심각도 분류

모든 정책 실패가 동등하게 위험한 것은 아닙니다.

광범위한 맥락 정보를 제공하는 응답은 정확한 절차, 배포 가능한 코드 또는 도구를 통한 실행을 제공하는 응답과 완전히 다릅니다.

4. 다중 턴 테스트

많은 젤브레이킹 기술은 점진적 확대에 의존합니다.

평가는 각 메시지를 개별적으로 평가하는 것이 아니라, 전체 대화 과정에서의 위험을 추적해야 합니다.

5. 교차 언어 테스트

다른 언어 간 보안 행동은 종종 차이가 있습니다.

강력한 테스트 스위트는 다국어 프롬프트, 번역 공격, 속어, 약어 및 언어가 혼합된 대화를 포함해야 합니다.

6. 도구 및 에이전트 테스트

코드 실행, 네트워크 접근, 파일 접근 또는 배포 권한이 있는 에이전트는 순수 텍스트 챗봇보다 훨씬 더 큰 공격 표면을 가지고 있습니다.

보안 테스트는 시스템이 무엇을 할 수 있는지를 다루어야 하며, 단지 무엇을 말할 수 있는지에 국한되어서는 안 됩니다.

7. 패치 검증

제공업체가 수정을 적용한 후에는 동일한 테스트 세트를 다시 실행해야 합니다.

또한 패치가 무해한 교육적 또는 방어적 질문에 대한 과도한 거절과 같은 회귀 문제를 일으키는지도 확인해야 합니다.

개발자가 이번 사건에서 배울 수 있는 점

최첨단 모델을 통합하는 개발자는 제공업체의 기본 가드레일이 모든 사용 사례에 충분하다고 가정해서는 안 됩니다.

더 안전한 배포는 다음을 포함할 수 있습니다:

• 애플리케이션 전용 콘텐츠 심사
• 엄격한 도구 권한
• 샌드박스 코드 실행
• 네트워크 제한
• 키 격리
• 출력 스캐닝
• 대화 수준 위험 점수
• 속도 제한 및 남용 모니터링
• 고위험 작업에 대한 사람 승인
• 상세한 감사 로그
• 정기적 적대적 테스트
• 모델 빠른 롤백 절차

고위험 분야에서는 시스템 설계가 한 번의 성공적인 프롬프트 주입이 자동으로 성공적인 실제 세계 행동으로 이어지지 않도록 해야 합니다.

더 넓은 AI 안전 교훈

보도된 Grok 4.5 젤브레이크 사건은 단순히 특정 모델에 관한 것이 아닙니다.

이는 생성형 AI 분야의 더 일반적인 문제를 반영합니다: 모델은 도움이 되고, 맥락을 인식하며, 복잡한 지침을 수행할 수 있도록 훈련됩니다. 공격자는 바로 이러한 강점을 이용할 수 있습니다.

학술적 또는 방어적 프레임워크는 특히 도전적입니다. 합법적인 사용자가 실제로 상세한 기술 정보를 필요로 할 수 있기 때문입니다. 모든 심층 논의를 차단하는 보안 시스템은 사용할 수 없게 되고, 전문적 맥락 설명을 신뢰하는 시스템은 조작될 수 있습니다.

장기적인 해결책은 단일 완벽한 거절 분류기가 아닐 가능성이 높습니다.

더 신뢰할 수 있는 시스템은 다중 방어 계층이 필요합니다:

• 더 안전한 모델 행동
• 더 강력한 의도 및 능력 평가
• 런타임 모니터링
• 제한된 도구 접근
• 외부 정책 시행
• 지속적인 레드 팀 테스트
• 신속한 사고 대응

자주 묻는 질문

Grok 4.5 젤브레이크란 무엇인가요?

젤브레이크는 모델이 자체 보안 규칙을 무시하도록 유도하는 적대적 프롬프트 또는 대화 패턴입니다. 이 경우, 한 연구원이 유해 요청을 학술적 또는 방어적 작업으로 재구성하여 Grok 4.5가 금지된 출력을 제공하도록 했다고 주장했습니다.

Grok 4.5가 공식 출시되었나요?

네. SpaceXAI는 2026년 7월 8일에 Grok 4.5를 공식 발표했습니다. 이 모델은 지역 가용성에 따라 SpaceXAI 제품, API 및 Cursor를 통해 사용할 수 있습니다.

1.5조 매개변수 수치는 공식적인가요?

해당 수치는 출처 기사를 포함한 공개 게시물 및 2차 보고서에 나타납니다. Grok 4.5의 공식 발표나 이 글에서 검토한 API 문서에는 명시되지 않았으므로 확인되지 않은 것으로 간주해야 합니다.

SpaceXAI가 젤브레이크를 확인했나요?

검토된 출처 자료에서 공식 확인이나 기술 사고 보고서는 발견되지 않았습니다. 여기서 설명된 젤브레이크 증거는 공개 X 게시물과 해당 정보를 재게시한 BAAI 기사에서 비롯되었습니다.

AI 젤브레이크에서 학술적 재구성이란 무엇인가요?

학술적 재구성은 민감한 요청을 연구, 교육, 저널리즘 또는 방어적 분석으로 제시하는 것입니다. 모델은 설명된 맥락에 초점을 맞추고 요청된 출력이 실제로 여전히 유해하다는 것을 인식하지 못할 수 있습니다.

젤브레이크와 프롬프트 주입은 동일한가요?

젤브레이크는 일반적으로 직접 프롬프트 주입의 한 형태로 간주됩니다. OWASP는 이를 모델이 보안 프로토콜을 무시하게 만드는 입력으로 설명하며, 프롬프트 주입에는 외부 콘텐츠를 통해 전달되는 간접 공격도 포함됩니다.

모델 제공업체가 젤브레이크를 완전히 방지할 수 있나요?

현재 어떤 제공업체도 모든 적대적 프롬프트가 실패할 것이라고 신뢰할 수 있게 보장할 수 없습니다. 제공업체는 훈련, 분류기, 모니터링, 도구 제한 및 신속한 패치를 통해 공격 성공률을 낮출 수 있지만, 보안에는 지속적인 테스트가 필요합니다.

기업은 강력한 AI 에이전트를 어떻게 안전하게 배포해야 하나요?

모델 방어 조치와 최소 권한 도구 접근, 샌드박스, 승인 게이트, 감사 로그, 출력 모니터링 및 정기적인 레드 팀 훈련을 결합해야 합니다. 모델이 실수하더라도 주변 애플리케이션이 피해를 제한해야 합니다.

관련 도구

• Grok 4.5 API: SpaceXAI API를 통해 Grok 4.5를 사용하는 공식 문서.
• Cursor: Grok 4.5를 공동 훈련하고 배포하는 AI 코딩 환경.
• [OWASP GenAI Security Project](https://genai.owasp.

org/: 프롬프트 인젝션, 모델 남용 및 생성형 AI 애플리케이션 위험에 대한 보안 가이드.

• MITRE ATLAS: AI 시스템에 대한 적대적 전략 및 기술의 공개 지식 베이스.
• NIST AI Risk Management Framework: AI 위험을 관리, 측정 및 거버넌스하기 위한 자발적 프레임워크.

관련 링크

• 공식 Grok 4.5 발표: SpaceXAI의 공식 모델 공지, 성능, 가격 및 출시 정보.
• Grok 4.5 개발자 문서: 공식 API 예제, 모델 속성, 지원 도구 및 사용 가능성 설명.
• Cursor의 Grok 4.5 공지: 공동 훈련 세부 정보, 사용 가능성, 가격, 벤치마크 및 새로운 사이버 보안 조치.
• OWASP LLM01: 프롬프트 인젝션: 직접 및 간접 프롬프트 인젝션(탈옥 포함) 개요.
• NIST 생성형 AI 개요: 생성형 AI 위험 식별 및 관리를 위한 지침.
• MITRE SAFE-AI 프레임워크: AI 시스템을 적대적 행위로부터 보호하는 프레임워크.
• 원본 X 게시물: 원본 기사에서 인용된 공개 게시물로, 언급된 탈옥 행위의 증거.
• BAAI 지위안 커뮤니티 원문: 본 개편 기사의 주요 편집 출처인 중국어 보고서.

요약

Grok 4.5는 코딩, 에이전트 작업 및 전문 지식 업무를 위해 설계된 강력한 모델로 공식 출시되었습니다. 몇 시간 후, 한 탈옥 연구원이 학술적 프레임워크 재구성과 점진적 유도 방법을 통해 보호 장벽을 돌파하고 고위험 작업 콘텐츠를 생성할 수 있다고 주장했습니다.

해당 보고서는 참고 가치가 있지만, 증거는 정확히 제시되어야 합니다. 모델 출시, Cursor와의 공동 훈련, 가격 및 새로운 사이버 보안 조치는 공식 문서로 입증됩니다. 파라미터 수와 탈옥의 전체 범위는 현재 독립적인 기술 평가로 검증되지 않은 추측적 진술로 남아 있습니다.

더 깊은 시사점은: 능력 규모와 벤치마크 점수가 자연스럽게 신뢰할 수 있는 안전성을 보장하지 않는다는 점입니다. 최첨단 모델은 지속적인 적대적 테스트, 다계층 런타임 제어, 제한된 도구 접근 권한 및 명확한 사고 대응 절차가 필요합니다.

모델의 안전성을 평가하려면, 발표 페이지에서 보호 조치에 대한 자신감 있는 설명에 의존하지 말고 지속적인 적대적 압력 하에서의 행동을 살펴보아야 합니다.