Cerebras上的GPT-5.6 Sol：每秒750个Token与多晶圆部署理论

引言

GPT-5.6 Sol正在将关于前沿模型的讨论从单纯的能力转向同样重要的方面：响应速度。

OpenAI表示，GPT-5.6 Sol可以在Cerebras基础设施上以高达每秒750个Token的速度运行。在这样的速度下，AI系统不再像一个每次操作后都会停顿的工具。编码代理、浏览器操作员、研究助手和计算机使用系统可以在多步骤工作流中运行，决策之间的等待时间大大缩短。

这个头条数字是官方公布的。然而，围绕它讨论的许多架构细节并非官方发布。关于该模型包含约三万亿个参数、跨越70到100个晶圆级系统，或将一个网络层分配到一个晶圆上的估计，均来自外部技术分析，而非OpenAI发布的规格说明。

本文明确区分了这一点。它解释了哪些内容已得到确认，哪些仍属于合理的工程理论，以及为什么GPT-5.6与晶圆级推理的结合对实时AI如此重要。

为什么每秒750个Token很重要

每秒750个Token的吞吐量，只有将其与人们实际使用AI系统的方式进行比较时，才能真正体会到其价值。

一个曾经逐行出现的长答案，现在几乎可以立即生成。更重要的是，模型可以更快地进行内部推理、工具调用、代码生成、界面操作和后续决策。其好处不仅仅在于文本更快到达。整个代理循环变得更加灵敏。

这种变化在以下工作流中至关重要：

• 反复编辑和测试代码
• 浏览网站和软件界面
• 跨多个来源进行研究
• 协调多个工具或子代理
• 在实时语音或视觉交互中响应
• 完成长链的计算机操作

对于传统的聊天，短暂的延迟或许可以接受。但对于一个必须点击按钮、检查结果、修改计划并继续执行的代理来说，每一次往返都会增加摩擦。高速推理减少了这种累积的延迟。

开发者Caleb Shepherd在围绕GPT-5.6 Sol的讨论中强调了这一区别。最重要的收获不仅仅是更快的代码生成，而是更快的计算机使用：代理不再需要花费几分钟来完成一系列简单的界面操作。

模型规模问题

速度宣称立即引发了一个技术问题：前沿多模态模型如何在晶圆级硬件上实现如此高速的运行？

OpenAI公开文档将GPT-5.6 Sol描述为GPT-5.6系列中的前沿模型，支持文本和图像输入、105万token的上下文窗口，以及最多12.8万输出token。该文档未公布模型的参数总量、激活参数量、层数、注意力机制设计或物理部署拓扑结构。

这些缺失的信息促使开发者和基础设施专家从已知的Cerebras硬件特性进行逆向推导。

Peter Gostev总结了核心难题：如果GPT-5.6 Sol是完整的多模态模型而非精简版本，那么它可能体积过大，无法容纳在单个晶圆级系统中。剩余的可能性包括：模型规模小于预期、采用新型硬件配置、或多系统服务架构。

GPT-5.6 Sol能否横跨70至100片晶圆？

技术专家Bleys Goodson提出了一项广受讨论的估算。他的分析认为GPT-5.6 Sol可能具有以下特征：

• 总参数量约2万亿至4万亿
• 每个token的激活参数量约1500亿
• 约70至90层模型
• 部署范围横跨70至100个Cerebras晶圆级系统

这些数字并非官方规格，而是基于模型服务限制、内存需求以及Cerebras集群跨多系统分布超大型模型的已知能力所得出的工程估算。

该理论引人注目的地方不仅在于晶圆数量，更在于模型架构与硬件之间的映射方案。

“一片晶圆一层”的部署理论

该设计方案为每个主要网络层分配独立的晶圆级系统。激活值以流水线方式在各晶圆间传输，每片晶圆执行其对应层的计算任务。

在传统的分布式GPU部署中，模型执行可能涉及复杂的张量并行、专家并行以及节点间频繁通信。当模型规模庞大且目标为低延迟而非最大批量吞吐量时，通信开销可能成为严重瓶颈。

而逐层流水线方案则采用不同策略。一旦流水线填满，多个token可在不同阶段同时处理。增加阶段数可能提升

首个标记出现前存在延迟，但这并不一定会按相同比例降低稳态标记吞吐量。

这有助于解释为何超大规模模型在生成开始后仍能保持高速运转，也说明了部署成本高昂的原因：要实现高顺序处理速度，可能需要将极大规模硬件专用于单个模型副本。

原文引用了外部代币经济学评估模型GPT-5.6 Sol，该模型被设定为拥有3万亿参数的系统，在一组假设条件下需配备约70个晶圆级系统。

重要提示： 关于“70至100个晶圆”的估算以及“每层一个晶圆”的描述仍属推测性信息。OpenAI和Cerebras尚未公开确认这种物理拓扑结构。

KV缓存为何成为关键约束

计算仅是问题的一部分。自回归模型还需维护键值缓存（简称KV缓存），以便复用先前令牌的信息，而无需重新计算整个序列。

对于长上下文模型，这种缓存可能消耗大量内存。当系统需支持大量并发请求时，挑战将更为严峻。

Cerebras晶圆级处理器集成了大量快速片上SRAM。该内存具有极高带宽，但仍是有限且宝贵的资源。采用高KV缓存占用量的传统注意力架构可能消耗过多容量，从而削弱将计算任务保留在处理器附近的优势。

由此推测，GPT-5.6 Sol可能采用了针对低缓存需求设计的架构。原文探讨的可能性包括：

1. 高度压缩或优化的KV缓存设计
2. 分组查询、多查询或潜在注意力技术
3. 结合Transformer层与状态空间组件的混合架构
4. 其他硬件感知型改进措施，用于减少每个生成标记的内存流量

确切设计尚不明确。OpenAI尚未公布足够详细的架构信息以确定采用了哪种方法（若确实采用）。

可以确定的是，在此规模下软硬件协同设计的重要性日益凸显。仅为通用加速器集群优化的模型在晶圆级系统上可能无法充分发挥性能。

注意力机制与前馈网络计算能否分离？

另一假设是：不同硬件可处理模型的不同部分。

Transformer推理主要由两类工作主导：

• 注意力机制：处理标记间的关系，显著受序列长度和缓存行为影响
• 前馈网络计算：通常计算密集度高，占模型计算量的较大部分

参数

开发者 John Lam 提出，传统加速器可能处理注意力机制，而 Cerebras 系统处理前馈网络层。这种"注意力-FFN 分解"方法可将每项工作负载分配给最适合的硬件架构。

再次强调，这只是一个假设，并非公开的 GPT-5.6 部署细节。但从技术角度来看，这具有一定关联性，因为异构推理系统正变得越来越实用。服务商不再寄望于单一加速器能完美执行所有运算，而是可以将模型拆分到专门的计算、内存和网络系统中。

代价是系统复杂性增加。当请求跨越多种硬件时，调度、激活传输、故障处理和延迟控制都将变得更加困难。

Kimi K2.6 的先例

Cerebras 已经证明，晶圆级系统能够以非常高的速度为超大型混合专家模型提供服务。

在其关于 Kimi K2.6 的官方资料中，Cerebras 描述了一个拥有万亿参数的开放权重模型，其服务速度接近每秒 1000 个 token。该公司表示，模型权重可以分布在多个晶圆上，而激活信息则在它们之间流式传输。它还描述了以较低精度存储原始权重、以较高精度进行计算的做法，并通过自定义内核和推测解码提供支持。

这是一个重要的证据，表明多晶圆推理是真实存在且可操作的。但这并不证明 GPT-5.6 Sol 使用了相同的配置、相同的精度策略或相同的模型分区。

Kimi 的部署确实说明了为什么 Cerebras 对 OpenAI 的延迟策略至关重要。晶圆级系统围绕极高的设备内带宽构建，并减少了对多个独立加速器封装之间通信的依赖。

OpenAI 在 2026 年 1 月的合作公告中表示，该公司计划增加 750 兆瓦的超低延迟 Cerebras 算力。其目标非常明确：降低推理延迟，让交互式人工智能的反馈更加即时。

GPT-5.6 Sol 与有限的高速率接入

OpenAI 最初将基于 Cerebras 的 GPT-5.6 Sol 版本描述为，在扩容期间面向特定客户的有限推出。

这种局限性是可以理解的。为每个模型副本部署数十个晶圆级系统的方案成本高昂，容量受限，而且

难以即时扩展。因此，对于延迟具有直接商业价值的工作负载，优先考虑高速接入。

示例包括：

• 交互式编程代理
• 实时客户支持系统
• 金融或运营研究代理
• 重复调用工具的科学研究工作流
• 语音和计算机使用应用
• 高价值企业自动化

OpenAI 当前的 GPT-5.6 文档在产品支持和 API 接入中列出了 Sol、Terra 和 Luna。基于 Cerebras 的 750 令牌/秒特殊配置，在容量、资格或路由限制上仍可能与标准 GPT-5.6 接入有所不同。

Jalapeño：OpenAI 定制推理芯片

Cerebras 合作是 OpenAI 更广泛基础设施战略的一部分。

2026 年 6 月，OpenAI 与博通正式发布了 Jalapeño，这是 OpenAI 的首款智能处理器。该芯片是一款专为现代大型语言模型推理设计的定制加速器，而非从旧工作负载改造而来的通用处理器。

据 OpenAI 称，该芯片的设计基于公司的模型路线图、核心算法、服务系统、内存移动、网络需求及产品需求。博通贡献了芯片制造与网络技术，天弘（Celestica）则支持板卡与机架级集成。

OpenAI 还表示，首款芯片从初始设计到制造流片仅用九个月，AI 模型协助了部分设计与优化流程。

已确认的要点包括：

• Jalapeño 专为大模型推理设计
• 旨在支持当前及未来行业模型
• 工程样本已在实验室运行机器学习工作负载
• 每瓦性能预计显著优于当前最先进系统
• 计划发布更详细的技术性能报告
• 该平台属于多代际路线图的一部分

Jalapeño 并未取代 Cerebras 合作。相反，两者可视为互补：Cerebras 为 OpenAI 提供成熟的超低延迟架构，而 Jalapeño 则让 OpenAI 在自身推理栈上获得更强长期控制力。

OpenAI 全栈基础设施战略

更重大的转变显而易见：前沿 AI 公司不再将硬件视为模型之下的中立层。

OpenAI 当前的工作涵盖：

• 模型架构
• 训练与推理核心算法
• 内存系统
• 网络
• 调度
• 部署基础设施
• 定制芯片
• 终端用户产品

这使得公司能够围绕共同目标优化整个技术堆栈。模型架构的改进可降低内存压力；芯片可围绕最常用的核心算法设计；网络可根据最重要的激活与参数移动模式选择；服务系统则能将优化成果转化为更低延迟或成本。

结果形成反馈循环：

1. 更好的模型帮助工程师设计与优化基础设施。
2. 更优的基础设施提升训练与推理效率。
3. 效率提高使得更大或更快的模型得以部署。
4. 更快、更优的模型进一步推动下一轮优化。

能力强悍的模型能打造更出色的产品并带来更多用户使用。
5. 更多使用量带来的收入，为下一代基础设施的研发提供了资金。

因此，每秒处理750个令牌的GPT-5.6 Sol配置不仅仅是速度的展示。它是模型、硬件、网络和服务软件被设计为一个系统的典范。

哪些是已确认的，哪些仍属推测？

官方来源已确认

• OpenAI 已推出 GPT-5.6 系列，包括 Sol、Terra 和 Luna。
• GPT-5.6 Sol 是该系列中的前沿模型。
• OpenAI 已宣布在 Cerebras 上运行的 GPT-5.6 Sol 能够达到每秒750个令牌。
• OpenAI 与 Cerebras 建立了专注于超低延迟推理的大型基础设施合作伙伴关系。
• Cerebras 已展示为万亿参数的 Kimi K2.6 模型提供接近每秒1000个令牌的服务。
• OpenAI 与博通公司共同推出了 Jalapeño 大语言模型推理加速器。
• Jalapeño 是在 OpenAI、博通公司和天弘公司的支持下设计的。

尚未公开确认

• GPT-5.6 Sol 的总参数量
• 每个令牌的活跃参数量
• 模型的精确层数
• 是否部署在恰好70到100个晶圆上
• 是否严格遵循每层一个晶圆的映射
• 是否采用混合状态空间架构
• 是否使用类似 DeepSeek 的缓存技术
• 是否采用注意力机制在 GPU 上运行，前馈神经网络在 Cerebras 上运行的分割方式

将这些类别区分开来至关重要。这些推测性设想在技术上是有道理的，有助于理解系统设计问题，但不应将其作为 GPT-5.6 的官方规格说明来呈现。

常见问题解答

什么是 GPT-5.6 Sol？

GPT-5.6 Sol 是 OpenAI 推出的 GPT-5.6 系列中的前沿模型。OpenAI 将其定位为用于复杂专业工作的工具，涵盖编程、研究、计算机使用、科学、网络安全以及其他要求苛刻的智能体工作流程。

GPT-5.6 Sol 是否官方确认运行速度为每秒750个令牌？

OpenAI 已宣布一种基于 Cerebras 的 GPT-5.6 Sol 配置，能够以高达每秒750个令牌的速度运行。实际应用速度仍可能因提示词大小、工具使用、推理设置、网络延迟和容量而异。

GPT-5.6 Sol 真的使用了100个 Cerebras 晶圆吗？

这个数字来自外部的技术估算，并非官方披露的架构。OpenAI 和 Cerebras 尚未确认该模型的晶圆数量或其确切的物理部署设计。

“每层一个晶圆”是什么意思？

它描述了一种流水线架构，其中每个晶圆级系统负责容纳和计算模型的一个主要层，并将激活值传递给下一阶段。在流水线填满后，这种设计可以维持较高的令牌吞吐量，但这仍然只是关于 GPT-5.6 Sol 的理论，而非已确认的事实。

为什么 KV 缓存大小对晶圆级推理如此重要？

KV 缓存会随着上下文长度、模型架构、批处理大小和并发用户数的增加而增长。即使非常快速的片上内存容量也有限，因此减少缓存大小和内存移动对于实现低延迟服务至关重要。

Cerebras 是否比 GPU 集群更快？

对于某些推理工作负载，Cerebras 可以快得多，因为其晶圆级架构提供了较高的设备内带宽并避免了一些通信开销。

常见于多 GPU 系统。性能仍取决于模型、批量大小、精度、上下文和服务配置。

OpenAI 的 Jalapeño 芯片是什么？

Jalapeño 是 OpenAI 首款定制智能处理器，与博通联合开发，专用于 LLM 推理。OpenAI 表示，该芯片属于多代全栈计算平台的一部分，旨在提升性能、效率和可扩展性。

开发者能否通过 API 访问 GPT-5.6 Sol？

可以。OpenAI API 文档中列出了 GPT-5.6 Sol，并将 gpt-5.6 标识为路由至 Sol 层级的别名。可用性、速率限制、定价及支持功能取决于开发者账户和当前 API 条款。

相关工具

• OpenAI API：使用 GPT-5.6 模型、工具、结构化输出和智能体流程构建应用。
• OpenAI Playground：在实施前测试模型提示、推理设置和 API 行为。
• Cerebras Cloud：通过 Cerebras 晶圆级系统获取高性能推理能力。
• ChatGPT：通过 OpenAI 对话界面使用支持的 GPT-5.6 推理选项。
• Codex：将 GPT 模型应用于编程、代码仓库管理和长期软件任务。

相关链接

• GPT-5.6 正式发布：OpenAI 对 GPT-5.6 系列、能力、定价和可用性的官方概览。
• GPT-5.6 Sol API 模型文档：官方上下文限制、定价、模态、端点和支持工具。
• OpenAI 与 Cerebras 合作：OpenAI 宣布部署 750 兆瓦超低延迟 Cerebras 算力。
• Cerebras Kimi K2.6 企业推理：关于每秒处理近 1000 个 token 的万亿参数模型的官方详情。
• OpenAI 与博通发布 Jalapeño：OpenAI 首款定制 LLM 推理处理器的官方公告。
• GPT-5.6 部署安全中心：OpenAI 针对 GPT-5.6 的安全评估与部署信息。

总结

GPT-5.6 Sol 宣称的每秒 750 个 token 峰值，展示了低延迟推理如何改变 AI 智能体的实际行为。最重要的改进并非单纯的文本速度提升，而是缩短反复推理、工具调用、编程和计算机控制循环中的延迟。

Cerebras 已证明晶圆级系统能以每秒近 1000 个 token 的速度服务万亿参数模型。这使得大规模多晶圆 GPT-5.6 部署成为可能，但广泛讨论的参数数量、晶圆数量、缓存架构及注意力-前馈网络分离仍是外部估算。

OpenAI 与 Cerebras 的合作及其定制 Jalapeño 芯片均指向同一方向：AI 的下一次飞跃将越来越多地依赖于模型、内存、网络、加速器和服务架构的协同设计。

系统的整合。

已确认的突破是每秒750个token的前沿推理速度；其背后的确切硬件布局尚未公开披露。