浪潮, 에이전트 인프라 구축: 랙당 4만 개의 에이전트와 다중 모델 협업

서문

AI 인프라는 이제 한 번에 하나의 모델 요청만 처리하는 시대를 넘어서고 있습니다.

프로덕션 수준의 에이전트는 단순히 프롬프트를 받고 답변을 반환하는 것에 그치지 않습니다. 작업을 여러 단계로 분해하고, 외부 도구를 호출하며, 컨텍스트를 유지하고, 하위 에이전트와 조율하며, 중간 출력을 검토하고, 장시간 활성 상태를 유지할 수 있습니다. 기업이 이러한 에이전트를 수천 개씩 한꺼번에 배포할 때, 인프라 요구사항은 일반 챗봇 추론과는 완전히 달라집니다.

베이징에서 열린 2026 오픈 컴퓨트 테크놀로지 서밋에서 인스퍼(Inspur)는 이러한 새로운 워크로드를 위한 두 가지 인프라 방향을 제시했습니다.

1. CPU 네이티브 액체 냉각 랙 서버: 단일 랙 내에서 4만 개 이상의 동시 에이전트를 지원하도록 설계.
2. 메타브레인 SD200 슈퍼노드와 EPAI 멀티 모델 융합 API의 결합: 여러 대형 언어 모델이 복잡한 작업을 위해 답변을 생성, 검토 및 조합할 수 있도록 허용.

첫 번째 방향은 규모에 중점을 둡니다: 수많은 장기 실행 에이전트를 온라인 상태로 유지하는 것입니다. 두 번째 방향은 품질에 중점을 둡니다: 하나의 모델이 어려운 작업의 모든 부분을 처리하도록 강제하는 대신, 서로 다른 강점을 가진 여러 모델이 협력하도록 하는 것입니다.

에이전트 워크로드가 제기하는 다른 인프라 과제

기존의 대형 언어 모델 추론은 일반적으로 간단한 패턴을 따릅니다.

1. 사용자가 요청을 보냅니다.
2. 모델이 추론을 수행합니다.
3. 시스템이 응답을 반환합니다.
4. 세션이 종료되거나 다음 요청을 기다립니다.

반면, 에이전트 애플리케이션의 실행 경로는 훨씬 더 깁니다.

단일 비즈니스 작업에는 다음이 포함될 수 있습니다:

• 계획 수립
• 작업 분해
• 검색
• 도구 호출
• 코드 실행
• 권한 확인
• 샌드박스 프로세스
• 다중 턴 추론
• 하위 에이전트 조정
• 출력 검증
• 결과 집계
• 장기 실행 상태 관리

따라서 인프라는 모델 추론뿐만 아니라 대규모의 지속적으로 실행되는 소프트웨어 프로세스도 지원해야 합니다.

기업 환경에서 활성 에이전트의 수는 수십 개에서 수천 개, 심지어 수만 개까지 증가할 수 있습니다. 일부 에이전트는 지속적으로 실행되는 반면, 다른 에이전트는 단기 작업을 위해 동적으로 생성되었다가 완료 후 소멸됩니다.

이는 CPU와 GPU 리소스 간의 균형을 변화시킵니다.

GPU는 토큰 생성

GPU는 다음 단계에서 여전히 필수적입니다:

• 대형 언어 모델 추론
• 프리필 및 디코딩
• 임베딩 생성
• 다중 모드 처리
• 높은 처리량의 토큰 생산
• 모델 병렬 실행

CPU는 에이전트 환경 실행

CPU는 방대한 주변 작업을 처리합니다:

• 에이전트 프로세스 스케줄링
• 도구 호출
• 컨텍스트 및 상태 관리
• 비즈니스 시스템 상호 작용
• 샌드박스 실행
• 네트워크 및 스토리지 작업
• 신원 인증 및 권한
• 워크플로 조정
• 결과 준비

모델이 추론이나 텍스트 생성을 담당할 수 있지만, CPU는 일반적으로 에이전트가 실행되는 운영 환경을 실행합니다.

따라서 에이전트 인프라는 GPU 중심 설계에서 CPU, GPU, 네트워크, 스토리지, 냉각 및 오케스트레이션 소프트웨어가 함께 협력하는 시스템으로 전환되고 있습니다.

CPU 밀도가 점점 더 중요해지는 이유

일반적인 엔터프라이즈 서버에서 CPU 밀도는 전통적으로 전력 소비, 발열, 공간, 케이블, 팬 및 유지 관리 요구 사항에 의해 제한되었습니다.

에이전트 배포는 경제 모델을 변화시킵니다.

수천 개의 에이전트가 오케스트레이션, 도구 호출 및 격리된 런타임 환경을 위해 CPU 리소스를 필요로 하는 경우, CPU 밀도가 낮은 랙은 더 많은 데이터 센터 공간, 네트워크 연결 및 관련 인프라를 차지하게 됩니다.

동시에, AI 데이터 센터는 더 높은 랙 전력을 향해 진화하고 있습니다.

보도에 따르면, 인스퍼는 국내 AI 랙 전력이 300킬로와트에 근접할 것으로 예상하는 반면, 일부 글로벌 설계는 이미 메가와트급 랙 시스템을 지향하고 있습니다. 일반적인 공기 냉각은 일반적으로 랙당 수십 킬로와트로 제한되며, 이러한 밀도에서는 점점 더 어려워집니다.

따라서 액체 냉각은 더 이상 GPU 전용 문제가 아닙니다.

에이전트 워크로드를 지원하는 CPU 랙도 차세대 AI 데이터 센터의 전력 및 냉각 아키텍처에 부합해야 합니다.

단일 랙, 4만 개 이상의 에이전트 지원 가능

인스퍼는 업계 최초의 CPU 네이티브 액체 냉각 통합 랙 서버를 출시했습니다.

이 시스템은 액체 냉각 OCM 2.0 아키텍처를 기반으로 하며, x86 및 Arm 프로세서를 지원합니다.

주요 사양은 다음과 같습니다:

특징	업체 보고 사양
단일 랙 최대 CPU 수	384
지원되는 동시 에이전트 수	40,000개 이상
프로세서 아키텍처	x86 및 Arm
냉각 범위	CPU, 메모리, SSD, 네트워크 카드, 광 모듈 및 기타 발열 부품
컴퓨팅 밀도	0.5U 공간에 4개의 CPU 통합
유지 관리 방식	액체 냉각 전체 수명 주기 유지 관리
대상 시나리오	고밀도 및 기가와트급 AI 데이터 센터

이 시스템은 액체 냉각을 서버 설계 완료 후의 추가 구성 요소로 간주하지 않습니다.

대신, 컴퓨팅 레이아웃과 냉각 아키텍처가 함께 개발되었습니다.

CPU 콜드 플레이트에서 전체 부품 냉각으로 확장

기존 콜드 플레이트 서버

는 프로세서를 직접 냉각할 수 있지만, 메모리, 네트워크, 스토리지, 전원 부품 및 기타 장치는 여전히 팬 냉각에 의존해야 합니다.

밀도가 높아짐에 따라 이 방식의 효과는 점차 약화됩니다.

인스퍼의 네이티브 액체 냉각 아키텍처는 주요 발열 부품을 통합 냉각 시스템에 포함시킵니다:

• CPU
• 메모리
• 네트워크 카드
• 광 모듈
• 솔리드 스테이트 드라이브
• 통신 부품

이로 인해 내부 기류에 대한 의존도가 줄어들고 부품 배치가 더욱 컴팩트해집니다.

아래에 "액체 냉각 아키텍처", "액체 냉각 연결", "액체 냉각 운영"이라는 세 개의 파란색 아이콘이 있습니다. 이 이미지는 문맥과 밀접하게 연결되어 있으며, Inspur 액체 냉각 아키텍처 서버의 전시 현황을 직관적으로 보여줍니다. 이는 문서에서 소개된 액체 냉각 아키텍처 설계와 일치합니다.](https://we0-cms.oss-cn-beijing.aliyuncs.com/cms-assets/image/2026/07/44c90e20-2048-4f43-8d1d-8516006843e0-d14e80b4-e2a0-4468-a7b6-77e5229ab1ca.png)

컴팩트 컴퓨팅 유닛

이 보고서는 여러 그룹의 프로세서와 주변 구성 요소를 얇고 가벼운 본체에 통합한 컴팩트 컴퓨팅 유닛을 설명합니다.

설계 목표는 원래 다음 구성 요소가 차지하던 공간을 회수하는 데 있습니다.

• 대형 팬
• 에어 덕트
• 냉각 배관
• 내부 케이블
• 기존 서버 트레이

평면화된 구성 요소 배치를 통해 단일 대형 콜드 플레이트가 더 넓은 시스템 영역을 덮을 수 있습니다.

랙은 케이블을 줄이거나 제거한 내부 설계를 채택하여 무중단 유지보수를 지원합니다. Inspur는 이를 통해 전체 랙의 배포 및 유지보수 효율성이 향상된다고 밝혔습니다.

OCM이 중요한 이유

OCM은 개방형 컴퓨팅 모듈(Open Compute Module)의 약자입니다.

모듈식 아키텍처는 프로세서 모듈을 시스템 전체 설계에서 분리하는 것을 목표로 합니다. 이러한 설계를 통해 각 프로세서에 대해 전체 랙을 재설계할 필요 없이 다른 세대나 아키텍처의 프로세서를 더 쉽게 지원할 수 있습니다.

기업 및 데이터센터 운영자에게 이 접근 방식은 다음과 같은 이점을 제공할 수 있습니다.

• 더 많은 하드웨어 선택권
• 더 쉬운 플랫폼 업그레이드
• 반복적인 설계 작업 감소
• x86 및 Arm 아키텍처와의 더 나은 호환성
• 랙 인프라 수명 주기 연장

실제 효과는 생태계 호환성, 상호 운용성 및 관련 구성 요소의 가용성에 따라 달라집니다.

규모가 곧 지능은 아니다

수만 개의 에이전트를 실행하여 용량 문제를 해결한다고 해서 답변 품질이 자동으로 향상되지는 않습니다.

대규모 언어 모델은 각각 전문 분야가 있습니다.

일부 모델은 다음에 더 뛰어날 수 있습니다.

• 논리적 추론
• 코드 작성
• 긴 텍스트 분석
• 기술 연구
• 자연스러운 글쓰기
• 구조화된 추출
• 다국어 작업

초대규모 모델에도 능력의 한계가 있습니다.

복잡한 작업을 처리할 때 단일 모델은 중요한 문제를 놓칠 수 있지만, 다른 모델은 이를 발견할 수 있습니다. 또한 단일 모델은 불확실성을 드러내거나 대체 해석을 고려하지 않고 자신 있게 답변을 제공할 수 있습니다.

따라서 Inspur의 두 번째 인프라 방향은 다중 모델 협업에 초점을 맞추고 있습니다.

다중 모델이 동일한 작업을 협력 처리

EPAI 다중 모델 융합 API는 복잡한 작업을 여러 후보 모델에 병렬로 분배합니다.

각 모델은 독립적으로 답변을 생성합니다. 별도의 검토 및 융합 모델이 후보 답변을 비교하여 다음을 식별합니다.

• 공통 결론
• 모순되는 판단
• 누락된 정보
• 독특한 통찰력

지원되지 않는 선언:

• 조정이 필요한 영역

그런 다음 플랫폼은 통합 답변을 생성합니다.

이는 단순한 다수결 투표도 아니고, 모든 응답을 직접 연결하는 것도 아닙니다. 예상 작업 흐름은 다음과 같습니다.

1. 후보 생성
2. 모델 간 검토
3. 차이점 및 누락 분석
4. 최종 출력으로 융합

Inspur 보고서에 따르면, 이 시스템은 **DRACO 평가에서 53.9%**를 달성하여 해당 테스트에 사용된 후보 풀의 모든 개별 모델보다 우수했습니다.

이 결과는 모델 융합이 항상 최고의 단일 모델을 능가한다고 주장하기보다는 플랫폼 보고의 기준으로 간주되어야 합니다. 성능은 후보 모델, 평가 모델, 라우팅 로직, 작업 유형, 프롬프트 및 채점 방법에 따라 달라집니다.

간단한 작업은 여전히 단일 모델 사용

모든 요청에 대해 여러 모델을 실행하면 불필요하게 비용과 지연 시간이 증가합니다.

따라서 EPAI는 간단하고 예측 가능한 작업과 복잡한 작업을 구분합니다.

단일 모델에 적합한 작업

경량 모델은 다음에 충분할 수 있습니다.

• 간단한 질의응답
• 형식 변환
• 기본 추출
• 분류 작업
• 짧은 도구 호출
• 일반 콘텐츠 변환

다중 모델 융합에 더 적합한 작업

여러 모델은 다음 작업에 유용할 수 있습니다.

• 심층 연구
• 기술 비교
• 아키텍처 분석
• 복잡한 계획
• 긴 텍스트 추론
• 고위험 검토
• 증거가 모호한 작업
• 독립적 검증이 필요한 출력

이 라우팅 원칙은 프로덕션 시스템에 매우 중요합니다.

잠재적인 품질 향상이 추가 토큰 비용, GPU 시간 및 응답 지연 시간을 상쇄할 수 있을 때 다중 모델 협업이 가장 가치 있습니다.

EPAI 다중 모델 융합 워크플로

EPAI API는 다중 모델 오케스트레이션을 통합 인터페이스 뒤에 숨기는 것을 목표로 합니다.

개발자는 플랫폼에 요청을 보냅니다. EPAI가 다음을 관리합니다.

• 후보 모델 선택
• 병렬 작업 분배
• 응답 수집
• 평가 모델 실행
• 차이점 분석
• 최종 답변 생성

동일한 인터페이스는 각 팀이 사용자 정의 모델 라우팅 및 평가 시스템을 구축할 필요 없이 에이전트 애플리케이션 및 개발 프레임워크에 통합될 수 있습니다.

이 아키텍처는 다음 모델을 혼합하여 사용하는 기업에 적합합니다.

• 오픈소스 모델
• 독점 모델
• 범용 모델
• 도메인 특화 모델
• 로컬 배포 모델
• 클라우드 API 모델

주요 운영 과제는 여러 대규모 모델을 동시에 사용 가능한 상태로 유지해야 할 수 있다는 점입니다. 이는 가속기 메모리, 상호 연결 대역폭, 스케줄링 및 저지연 통신에 대한 더 높은 요구 사항을 제기합니다.

MetaBrain SD200이 토큰 엔진 제공

MetaBrain SD200 슈퍼 노드는 다중 모델 융합 워크플로를 지원하는 하드웨어 플랫폼입니다.

이 시스템은 다중 호스트, 저지연 메모리 의미 통신 아키텍처를 채택했습니다. Inspur에 따르면 단일 시스템 내에서 64개의 국산 GPU 가속기를 상호 연결할 수 있습니다.

설계는 다음을 포함합니다.

• OCM 및 OAM 개방형 컴퓨팅 아키텍처
• 3D 메시 상호 연결
• 통합 가속기 주소 지정
• 고속 피어 투 피어 통신
• 대용량 공유 메모리

성능

• 여러 개의 조 단위 파라미터 모델 지원
• 소프트웨어-하드웨어 공동 최적화

이 슈퍼 노드는 단일 최대 4조 개 파라미터 규모의 모델 또는 에이전트 애플리케이션이 동시에 사용하는 여러 개의 조 단위 파라미터 모델을 지원할 수 있다고 합니다.

Inspur 테스트에서 토큰 생성 시간 4.77밀리초 달성

Inspur는 SD200이 조 단위 파라미터 Kimi K2.6 모델의 단일 토큰 생성 시간을 4.77밀리초로 단축했다고 보고했습니다.

또한 이전 구현과 비교하여 첫 토큰 생성 시간이 35% 감소했다고 보고했습니다.

이러한 데이터는 특정 최적화 및 테스트 환경의 결과이며, 모든 모델, 배포, 프롬프트 길이, 동시성 수준 또는 프로덕션 워크로드에 대한 보장된 지연 시간으로 해석되어서는 안 됩니다.

이러한 개선은 여러 기술 덕분입니다.

다중 토큰 예측

자동 회귀 모델은 일반적으로 먼저 하나의 토큰을 생성하고, 새 상태를 검증한 후 다음 토큰을 생성합니다.

다중 토큰 예측은 한 단계에서 여러 후보 토큰을 생성하고 함께 검증하려고 시도합니다.

예측 정확도가 높을 때 순차적 디코딩 단계를 줄일 수 있습니다.

W4A8 양자화

최적화는 혼합 전문가 모델의 일부 부하에서 INT4 가중치와 INT8 활성화 계산을 사용합니다.

BF16 계산과 비교하여 다음을 줄일 수 있습니다.

• 메모리 대역폭 압력
• 가속기 메모리 사용량
• 계산 요구 사항
• 토큰당 추론 비용

양자화는 모델 품질에 영향을 미칠 수 있으므로, 프로덕션 팀은 속도 결과에만 의존하지 않고 자체 워크로드를 기반으로 정확성을 평가해야 합니다.

즉시 커널 컴파일

JIT 컴파일은 런타임에 텐서 형태, 레이아웃 및 데이터 유형을 기반으로 특수 가속기 커널을 생성합니다.

범용 정적 구현과 비교하여 특수 커널은 불필요한 분기를 줄이고 메모리 액세스를 개선할 수 있습니다.

프리필-디코드 분리

프롬프트 프리필과 토큰 디코드는 서로 다른 성능 특성을 가지고 있습니다.

두 단계를 분리하면 리소스를 차등 할당하고 KV 캐시를 비동기적으로 전송하여 계산과 통신 간의 경쟁을 줄일 수 있습니다.

모델 호환성

Inspur는 SD200이 다음을 포함한 여러 주요 오픈소스 모델에 대한 성능 최적화를 완료했다고 밝혔습니다.

• Kimi K2.6
• DeepSeek V4
• GLM 5.2
• MiniMax M3

호환성이 반드시 각 모델이 동일한 지연 시간이나 처리량을 달성한다는 것을 의미하지는 않습니다.

모델 아키텍처, 파라미터 수, MoE 설계, 컨텍스트 길이, 양자화, 배치 처리, 서비스 소프트웨어 등이 모두 성능에 영향을 미칩니다.

엔터프라이즈 에디션, 배포门槛 낮춘다

64가속기 슈퍼노드는 대규모 AI 인프라 프로젝트에 적합하지만, 많은 기업에게는 규모가 너무 크고 비용이过高합니다.

浪潮信息는 元脑 SD200 엔터프라이즈 에디션을 추가로 출시했습니다.

엔터프라이즈 에디션은 스케일업(Scale-Up) 컴퓨팅 도메인을 64개 가속기에서 16개로 축소하여, 온프레미스에서 수조(Trillion) 파라미터 모델을 배포할 수 있도록 설계되었습니다.

주요 특징은 다음과 같습니다:

• 16개 가속기 통합 상호 연결 도메인
• 네이티브 메모리 시맨틱 통신
• 통합 어드레싱(Unified Addressing)
• 테라바이트(Terabyte)급 통합 가속기 메모리
• 수조 파라미터 추론 시 첫 토큰 생성 시간(TTFT) 40% 이상 개선
• 선도적인 오픈소스 수조 파라미터 모델 기본 지원
• 전체 SD200 시스템 대비 낮은 마이그레이션 및适配 비용

해당 엔터프라이즈 에디션은 주로 다음 워크로드를 대상으로 합니다:

• 긴 문서 이해(Long-Context Document Understanding)
• 복잡한 논리 추론(Complex Logical Reasoning)
• 프라이빗 모델 배포(Private Model Deployment)
• 멀티 에이전트 협업(Multi-Agent Collaboration)
• 내부 연구(Internal Research)
• 민감 업무 애플리케이션(Sensitive Business Applications)

이는 온프레미스 모델 제어가 필요하지만 64가속기 슈퍼노드를 정당화할 수 없는 조직에 더 작은 진입점을 제공합니다.

인프라 스택, 점점 더 통합화

OCTS 2026에서 공개된 제품들은 3계층(Tier) 아키텍처를 보여줍니다.

계층	주요 역할
소프트웨어 플랫폼	모델 접근, 작업 라우팅, 오케스트레이션, 권한 관리, 평가, 결과 융합
CPU 인프라	에이전트 프로세스, 도구 호출, 샌드박스 실행, 컨텍스트 관리, 비즈니스 시스템 연동
GPU 슈퍼노드	대규모 모델 추론, 높은 처리량의 토큰 생성, 다중 모델 실행

세 계층이 모두 협력해야만 시스템이 정상적으로 작동합니다.

빠른 GPU 클러스터는 취약한 에이전트 스케줄링을 보완할 수 없습니다. 고밀도 CPU 랙도 강력한 모델에 접근할 수 없다면 추론 품질을 높일 수 없습니다. 기본 모델이 효율적으로 로드되거나 연결되지 않으면 정교한 융합 API도 유용한 지연 시간(Latency)을 제공할 수 없습니다.

이것이 에이전트 인프라 경쟁의 주요 변화입니다.

초기 시장은 주로 단일 서버가 단일 대규모 모델을 얼마나 잘 지원하는지에 초점을 맞췄습니다. 에이전트 시대는 관심을 시스템 수준 성능으로 돌렸습니다:

• 얼마나 많은 에이전트 프로세스가 온라인 상태를 유지할 수 있는가?
• 모델과 도구를 호출하는 속도는 얼마나 빠른가?
• 여러 모델을 동시에 실행할 수 있는가?
• 메모리는 어떻게 공유되거나 격리되는가?
• 권한은 어떻게 실행되는가?
• 플랫폼이 단순 작업과 복잡 작업에 대해 다른 라우팅을 수행할 수 있는가?
• 시스템은 고부하 동시 접속(High-Pressure Concurrency) 상황에서 안정성을 유지하는가?
• 유용한 토큰을 얼마나 효율적으로 생성하는가?

기업이 배포 전 평가해야 할 사항

벤더가 제공하는 화려한 수치는 유용하지만, 에이전트 인프라 플랫폼을 선택하기에는 충분하지 않습니다.

운영 환경(Production) 평가는 전체 워크로드를 측정해야 합니다.

1. 에이전트 동시성(Agent Concurrency)

활성 사용자뿐만 아니라 다음도 집계해야 합니다:

• 작업당 서브 에이전트(Sub-agents)
• 도구 프로세스
• 샌드박스
• 백그라운드 작업
• 지속적 세션(Persistent Session)
• 피크 버스트(Peak Burst)
• 장애 복구 프로세스

2. 에이전트당 CPU 및 메모리

경량 검색(retrieval) 에이전트는 독립적인 개발 환경을 갖춘 코딩 에이전트와 자원 요구 사항 특성이 완전히 다릅니다.

"랙당 에이전트 수" 지표는 대상 애플리케이션의 실제 메모리, CPU, 스토리지, 네트워크 요구 사항에 매핑되어야 합니다.

3. 모델 지연 시간(Latency)

측정해야 할 항목:

• 첫 토큰 생성 시간(TTFT)
• 토큰 간 지연 시간(Inter-Token Latency)
• 종단 간 작업 소요 시간(End-to-End Task Duration)
• 대기열 지연 시간(Queue Latency)
• 도구 호출 지연 시간(Tool Call Latency)
• 동시 접속 시나리오에서의 지연 시간

벤치마크에서 낮은 토큰 생성 시간이 종단 간 워크플로의 낮은 지연 시간을 보장하지는 않습니다.

4. 다중 모델 경제성(Multi-Model Economics)

다중 모델 융합(Multi-model Ensemble)은 품질을 향상시킬 수 있지만, 추론 비용이 배로 증가할 수 있습니다.

팀은 다음을 비교해야 합니다:

• 단일 모델 정확도
• 융합 모델 정확도
• 소비된 토큰 수
• GPU 활용률
• 응답 시간
• 검토 모델 비용
• 실패율(오류율)
• 수동 검토 감소량

5. 냉각 및 시설 호환성

네이티브 액체 냉각(Native Liquid Cooling) 랙은 이에 맞는 시설 인프라가 필요합니다.

확인해야 할 사항:

• 냉각수 분배 장치(CDU)
• 공급/회수수 온도
• 압력 및 유량 요구 사항
• 누액 감지
• 유지보수 절차
• 폐열 재활용 방안
• 랙 전원 공급 용량
• 데이터 센터 바닥 하중

6. 모델 및 가속기 이식성(Portability)

개방형 모듈 표준은 유연성을 높일 수 있지만, 실제 이식성은 소프트웨어 호환성에 달려 있습니다.

검증해야 할 사항:

• 모델 프레임워크
• 추론 엔진
• 양자화 지원
• 커널 가용성
• 드라이버 성숙도
• 모니터링 도구
• 가속기 교체
• 업그레이드 프로세스

7. 신뢰성 및 거버넌스(Governance)

장기 실행(Long-running) 에이전트는 다음 측면에 대한 강력한 통제가 필요합니다:

• 신원 인증
• 권한 설정
• 키 관리
• 네트워크 접근
• 샌드박스 환경
• 감사 로그
• 속도 제한(Rate Limiting)
• 수동 승인
• 모델 라우팅
• 데이터 보존(Data Retention)

인프라의 밀도(Density)가 운영 격리(Operational Isolation)를 희생해서는 안 됩니다.

자주 묻는 질문(FAQ)

浪潮의 CPU 네이티브 액체 냉각 에이전트 랙이란 무엇입니까?

이는 기존의 공랭식 설계에 액체 냉각을 추가한 것이 아니라, 냉각 시스템 자체를 중심으로 설계된 풀 랙(Full-Rack) CPU 서버입니다. 浪潮 측은 최대 384개의 CPU를 장착하고 40,000개 이상의 동시 에이전트를 지원할 수 있다고 밝혔습니다.

랙 하나가 정말 40,000개의 AI 에이전트를 실행할 수 있습니까?

해당 수치는 浪潮가 참조 아키텍처 공급업체 보고서에서 인용한 최대값입니다. 실제 용량은 각 에이전트에 필요한 CPU, 메모리, 스토리지, 네트워크 및 샌드박스 격리 리소스에 따라 달라집니다.

왜 AI 에이전트에 이렇게 많은 CPU가 필요합니까?

언어 모델은 GPU에서 실행될 수 있지만, 에이전트는 스케줄링, 도구 실행, 상태 관리, 비즈니스 시스템 접근, 보안 검사 및 격리된 런타임 환경을 위해 CPU도 필요합니다. 장기 실행 및 다중 에이전트 워크플로는 이러한 CPU 요구를 더욱 증가시킵니다.

OCM 2.0이란 무엇입니까?

OCM(Open Compute Module)은 컴퓨팅 모듈을 더 넓은 랙 설계와 분리하기 위한 개방형 컴퓨팅 모듈 아키텍처입니다. 浪潮의 액체 냉각 OCM 2.0 시스템은 다양한 CPU 아키텍처와 전체 구성 요소 액체 냉각을 지원합니다.

MetaBrain SD200이란 무엇입니까?

MetaBrain SD200은 대규모 모델 추론 및 다중 모델 워크로드를 위해 浪潮가 설계한 AI 슈퍼노드입니다. 64가속기 확장 아키텍처를 채택하여 통합 어드레싱과 고속 상호 연결을 지원합니다.

EPAI 다중 모델 융합 API란 무엇입니까?

이는 하나의 작업을 여러 후보 모델에 보내고, 각 모델의 독립적인 응답을 수집한 후, 검토(Review) 모델과 융합(Fusion) 모델을 사용하여 최종 응답을 생성하기 전에 합의, 의견 차이, 누락 사항 및 고유한 통찰력을 식별하는 API입니다.

다중 모델 융합이 항상 단일 모델보다 우수합니까?

아닙니다. 다중 모델은 복잡한 작업 성능을 향상시킬 수 있지만, 토큰 소비, 계산 비용 및 지연 시간을 증가시킵니다. 단순 작업은 단일 경량 모델로 라우팅하는 것이 더 적합합니다.

SD200과 SD200 엔터프라이즈 에디션의 차이점은 무엇입니까?

전체 버전 SD200은 초대규모 작업 부하를 처리하기 위해 64가속기 확장 도메인을 사용하는 반면, SD200 엔터프라이즈 에디션은 도메인을 16가속기로 축소하여 더 낮은 인프라 진입 장벽으로 온프레미스에 수조 파라미터 모델을 배포하려는 기업을 대상으로 합니다.

관련 도구

• 浪潮 EPA 엔터프라이즈급 AI 플랫폼: 모델 관리, 애플리케이션 개발, 검색, 배포 및 다중 모델 워크플로 지원.
• 浪潮 액체 냉각 솔루션: 액체 냉각 CPU/GPU 서버 배포를 위한 인프라 솔루션.
• 오픈 컴퓨트 프로젝트(OCP): 서버, 랙, 전원, 냉각 및 데이터 센터를 위한 개방형 하드웨어 설계를 개발하는 업계 커뮤니티.
• Kimi: 어둠의 달(Moonshot AI)의 어시스턴트 및 모델 플랫폼으로, 최적화 결과가 浪潮 SD200에 인용되었습니다.

DeepSeek: AI 모델 공급업체로, 해당 오픈소스 모델이 SD200 호환성 목록에 포함되었습니다.

관련 링크

• 浪潮 에이전트 인프라 공지: 액체 냉각 CPU 랙, SD200 및 엔터프라이즈급 슈퍼노드 공식 발표 내용을 포함합니다.
• MetaBrain SD200 4.77ms 성능 공지: 浪潮의 SD200 최적화 및 토큰 생성 결과에 대한 기술 개요입니다.
• EPA 다중 모델 융합 API: 후보 생성, 검토, 융합 메커니즘 및 DRACO 점수에 대한 공식 설명입니다.
• 浪潮 EPA 제품 페이지: 엔터프라이즈급 대규모 모델 개발 플랫폼의 제품 정보입니다.
• 浪潮 액체 냉각 데이터센터 솔루션: 액체 냉각 데이터센터 구축 방안에 대한 공식 정보입니다.
• 2026 오픈 컴퓨팅 기술 서밋: OCTS 2026 활동 페이지 및 관련 오픈 소스 컴퓨팅 공지사항입니다.
• 오픈 컴퓨트 프로젝트 재단: 오픈 인프라 표준 및 커뮤니티 프로젝트에 대한 공식 정보입니다.

요약

浪潮가 OCTS 2026에서 발표한 내용은 엔터프라이즈 에이전트로 인해 발생하는 두 가지 주요 문제를 해결합니다.

CPU 네이티브 액체 냉각 랙은 확장성에 초점을 맞추어, 에이전트 스케줄링, 도구, 샌드박스, 컨텍스트 관리 및 장기 실행 워크플로우를 위한 집중형 환경을 제공합니다. SD200과 EPA 다중 모델 융합 워크플로우는 지능성에 초점을 맞추어, 여러 대규모 모델이 협력하여 복잡한 작업을 처리하고 검토 모델이 출력 결과를 통합합니다.

더 넓은 시사점은 다음과 같습니다: 에이전트 인프라는 단일하고 더 빠른 가속기로 축소될 수 없습니다. 프로덕션 시스템은 CPU, GPU, 메모리, 상호 연결, 냉각, 오케스트레이션, 권한 및 평가를 조정해야 합니다.

에이전트 인프라의 핵심 평가 기준은 단일 모델의 실행 성능에서 전체 시스템이 수천 개의 에이전트를 효율적으로 스케줄링하고 지속적으로 신뢰할 수 있는 결과를 생성할 수 있는지 여부로 전환되고 있습니다.