Kimi K3：月之暗面发布2.8万亿参数开源权重模型
月之暗面（Moonshot AI）推出了Kimi K3，一款全新的多模态推理模型，拥有2.8万亿总参数和100万token上下文窗口。
Kimi K3：月之暗面发布2.8万亿参数开源权重模型
引言
月之暗面（Moonshot AI）推出了Kimi K3，一款全新的多模态推理模型，拥有2.8万亿总参数和100万token上下文窗口。
这家北京公司称Kimi K3是首个达到3万亿参数级别的开源模型。它专为长周期软件工程、知识工作、视觉推理、研究以及多步骤智能体任务而设计。
其规模立即引起了关注。Kimi K3的总参数数量远超定义了上一代中国前沿模型、达万亿参数级别的开源权重系统。
然而，规模只是故事的一部分。Kimi K3采用高度稀疏的混合专家架构，每个token仅激活其专家中的一小部分。月之暗面还引入了旨在改善信息在长序列和深层网络中流动方式的结构性变化。
该公司表示，Kimi K3在其多项测试中达到了前沿水平，尽管整体上仍落后于最强大的专有模型。发布前后发布的独立评估也将其列为当前领先的可用模型之一。
一款2.8万亿参数的多模态模型
Kimi K3是一款原生多模态模型，能够处理文本和视觉输入。月之暗面将其定位于需要持续推理而非简短、孤立响应的任务。
其主要规格如下：
| 规格 | Kimi K3 |
|---|---|
| 总参数 | 2.8万亿 |
| 架构 | 稀疏混合专家 |
| 路由专家数 | 896 |
| 每个token激活的专家数 | 16 |
| 上下文窗口 | 100万token |
| 模态 | 文本和视觉输入 |
| 主要用例 | 编程、知识工作、研究、推理、多模态创作 |
| 发布时默认推理模式 | 最大思考努力 |
| 完整权重发布目标 | 2026年7月27日之前 |
| 推荐大规模部署 | 至少64个加速器的超级节点配置 |
总参数数量描述的是完整模型，而非每个token使用的参数数量。Kimi K3在推理过程中激活其896个专家中的16个，使其能够受益于巨大的容量，而无需为每个生成的token运行整个网络。
这一区别十分重要。稀疏模型可以包含数万亿参数，同时保持实际计算量远低于同等规模稠密模型所需。
即使采用稀疏激活，Kimi K3仍然是一个极其苛刻的托管系统。月之暗面建议在拥有64个或更多加速器的超级节点配置上进行部署，这使得实际自托管超出了大多数个人开发者和较小团队的能力范围。
Kimi K3背后的架构
月之暗面强调了两项核心架构技术：Kimi Delta注意力机制和注意力残差。
Kimi Delta注意力机制
Kimi Delta注意力机制（KDA）旨在随着上下文长度的增加，使注意力计算更高效。
当模型处理非常长的序列时，传统注意力机制变得代价高昂。KDA的目标是
为处理大上下文提供更具可扩展性的基础，同时保留推理和工具使用所需的信息。
百万级词元窗口使Kimi K3拥有足够容量来处理大型代码库、海量文档集合、长智能体历史记录，或超出此前许多模型限制的多种源材料组合。
大上下文窗口并不能保证每个词元都能得到同等充分的利用。检索质量、推理稳定性、提示结构以及智能体编排仍然至关重要。不过，扩展后的窗口为开发者提供了更大空间，能够在无需激进早期压缩的情况下保留相关材料。
注意力残差
注意力残差（简称AttnRes）改变了表示在模型深度中的传递方式。
该机制并非通过传统残差连接让信息均匀累积，而是从较早的层中有选择性地检索有用的表示。
月之暗面表示，这能改善跨模型深度的信息流动，并有助于实现更高效的扩展。
稳定潜在混合专家
Kimi K3将稀疏专家路由与稳定潜在混合专家框架相结合。每个词元仅激活896个路由专家中的16个。
在这种稀疏度下，路由质量成为一项重大工程问题。平衡不当的系统可能导致专家子集过载、浪费硬件或降低吞吐量。
月之暗面表示，其采用基于分位数的平衡策略和均衡的专家并行训练方法，在关键路径上无需主机同步即可高效分配工作负载。
量化感知训练
该模型从监督微调阶段开始就采用量化感知训练。
据月之暗面报告，Kimi K3使用MXFP4权重和MXFP8激活值。低精度格式可以降低内存和通信需求，但实际性能仍取决于硬件和推理引擎的支持。
据称，这些架构改进共同使整体扩展效率比Kimi K2高出约2.5倍。
专为长周期编程设计
编程是月之暗面为Kimi K3强调的主要应用领域之一。
该模型旨在跨长时间工程会话保持高效，能够浏览大型代码库、操作终端工具、检查运行时反馈，并在有限的人工监督下持续迭代。
这与仅通过提示生成单一函数的模型不同。长周期编程可能要求系统：
- 探索陌生的代码库。
- 理解架构和依赖关系。
- 制定多阶段计划。
- 跨多个模块编辑文件。
- 运行构建和测试。
- 读取错误信息和日志。
- 比对截图或渲染输出。
- 反复修改实现方案。
- 在任务全程保留相关上下文。
月之暗面还强调了将编程与视觉推理相结合的挑战。Kimi K3在处理前端界面、游戏、CAD工作流程及其他交互式软件时，能够利用截图和视觉反馈。
Moonshot 编码基准测试结果
Moonshot 在多个软件工程基准测试和智能体框架上对 Kimi K3 进行了评估。
该公司报告了以下方面的强劲表现：
- DeepSWE
- Terminal-Bench 2.1
- FrontierSWE
- Program Bench
- SWE Marathon
- Kimi Code Bench 2.0
- GPU 内核优化
- 编译器构建
这些评估并非都使用相同的设置。部分模型通过 Kimi Code 进行测试，其他则通过 Claude Code 或 Codex 进行。Moonshot 在基准测试脚注中记录了这些差异。
这一点很重要，因为智能体框架会影响结果。工具接口、上下文管理、重试行为、权限系统和提示设计都可能影响模型在长时间运行任务上的表现。
Moonshot 报告称，Kimi K3 在以下测试中取得了以下成绩：
- DeepSWE 对比测试得分 67.5
- Terminal-Bench 2.1 得分 86.3
- FrontierSWE 得分 81.2
- Program Bench 得分 77.8
- SWE Marathon 得分 42.0
- 内部 Kimi Code Bench 2.0 得分 72.8
这些是公司报告的结果，应结合独立运行的基准测试一起阅读。
GPU 内核优化
Moonshot 还测试了该模型在优化 GPU 内核方面的能力，而不仅仅是编写常规应用代码。
每个被评估的模型都被置于同等沙盒环境中，并给予长达 24 小时的时间来配置、重写和基准测试多个任务。工作负载包括与 Kimi K3 自身架构相关的组件，并在 NVIDIA H200 硬件和另一个通用 GPU 平台上进行了测试。
Moonshot 表示，当允许回退行为时，Kimi K3 的表现与 Claude Fable 5 具有竞争力，并且在此设置中大幅优于其他几个被测试模型。
该公司还表示，Kimi K3 的早期检查点处理了模型自身开发过程中使用的大部分内核优化工作。
这一能力很重要，因为高效的 AI 系统不仅仅依赖于模型架构。内核工程决定了模型如何有效地使用加速器、内存带宽、通信链路和专门的数值格式。
从头构建 GPU 编译器
在另一项内部测试中，Kimi K3 创建了一个紧凑的类 Triton GPU 编程系统，名为 MiniTriton。
据 Moonshot 称，最终项目包括：
- 基于 MLIR 构建的瓦片级中间表示
- 优化遍
- PTX 代码生成流水线
- 领域特定语言前端
- 运行时组件
- 支持端到端的 nanoGPT 训练
Moonshot 报告称，在选定的支持基准测试上，MiniTriton 匹配或超越了 Triton 和 torch.compile，同时在其 nanoGPT 测试中保持了稳定的训练行为。
这一结果应被视为公司案例研究，而非证明生成的编译器已准备好替代成熟的工具。
生产基础设施。不过，它确实展示了月之暗面在设计 Kimi K3 时所瞄准的多阶段工程任务类型。
视觉编程、游戏开发与芯片设计
Kimi K3 的原生多模态设计使其能够在源代码与视觉输出之间自由切换。
在游戏和前端开发工作中，该模型可以生成实现代码、检查屏幕截图、识别视觉问题并修改代码。月之暗面将此称为"将视觉保留在开发循环内"。
该公司还展示了一项早期的芯片设计演示。据报道，在为期 48 小时的自主运行中，Kimi K3 基于自身架构为服务一个小型模型设计、优化并验证了一款芯片。
该概念验证使用了开源电子设计自动化工具和 Nangate 45纳米工艺库。月之暗面报告了模拟设计的结果：
- 面积控制在 4 平方毫米以内。
- 时序收敛频率达到 100 MHz。
- 包含约 146 万个标准单元。
- 使用 0.277 MB 的 SRAM。
- 包含融合反量化的 INT4 乘积累加阵列。
- 模拟中每秒处理超过 8700 个词元。
这是一项模拟和早期研究演示，并非实际生产的芯片。
Kimi K3 在科研与知识工作中的应用
月之暗面也将 Kimi K3 定位为适用于研究和专业知识工作流的模型。
在一个计算天体物理学的案例中，该模型被要求复现涉及中子星特性的普适关系。
月之暗面表示 Kimi K3：
- 审阅并交叉核对了超过 20 篇论文。
- 实现了完整的数值计算流程。
- 评估了超过 300 个状态方程。
- 识别出已发表公式中的不一致之处。
- 生成了超过 3000 行 Python 代码。
- 构建了交互式 HTML 数据看板。
据该公司估算，该模型完成该项目约需两小时，而经验丰富的研究人员则需一到两周时间。
与其他案例研究一样，该结果不应被视为普遍适用的时间节省保障。性能取决于任务内容、可用工具、数据源质量、验证方法以及人工审核的程度。
百万词元上下文窗口
Kimi K3 的上下文窗口是其最具商业价值的规格之一。
百万词元的容量可容纳多种组合，例如：
- 包含文档和日志的大型软件代码库。
- 大量长篇报告和原始文档。
- 扩展的工具调用记录。
- 长时间的科研会话。
- 大量图像与文本集合。
- 多个草稿、修订版本及中间结果。
月之暗面表示，当保留完整的推理历史记录时，Kimi K3 的表现最佳。
这产生了一个重要的实施要求。如果某个代理框架丢弃了模型早期思考历史的部分内容、错误地进行了总结，或在会话中途切换到其他模型，输出质量可能会变得不稳定。
月之暗面建议使用经过验证的兼容框架（如 Kimi Code），并在活跃的 K3 会话期间避免切换模型。
独立基准测试结果
独立的测试结果广泛支持了 Kimi K3 属于前沿模型的结论，尽管它们并未
未在各项类别中均领先。
Artificial Analysis 在智能指数中给予 Kimi K3 57 分，并在评估时将其列为第三名。其总体结果被描述为与 Claude Opus 4.8 和 GPT-5.5 相当，但落后于 Claude Fable 5 和 GPT-5.6 Sol。
Artificial Analysis 还报告称，Kimi K3 在评估过程中异常冗长，生成了约 1.3 亿个 token，而同类模型的平均生成量约为 6300 万个 token。
这关系到成本和延迟。一个模型每个 token 的定价可能具有竞争力，但如果完成相同任务时使用更多 token，则仍会变得昂贵。
路透社报道了发布时的其他第三方测试结果：
- Arena.ai 将 Kimi K3 在网页界面构建评估中排名第一。
- Vals AI 将其排在第二位，仅次于 Claude Fable 5，领先于 GPT-5.6 Sol。
- Artificial Analysis 发现，在复杂的多步骤工作中，其性能与 GPT-5.5 和 Claude Opus 4.8 相当。
随着评估者添加样本、更新测试平台和重新测试模型，基准排名会发生变化。因此，在做出购买或部署决策前，应查看最新的排行榜。
开放权重状态与发布时间
Kimi K3 被宣布为开放权重模型，但在本文撰写时，完整可下载的权重尚未发布。
月之暗面的官方发布页面显示，权重计划在 2026 年 7 月 27 日之前 发布。
这一区别很重要：
- 模型、架构、API 及产品集成已公布。
- Kimi K3 已可通过月之暗面的托管产品及 API 访问。
- 完整模型权重计划在未来发布。
- 本地部署说明及最终生态系统支持可能在权重发布后继续变化。
在权重及其许可证和技术文件发布之前，有关具体自托管流程、支持的推理引擎或硬件配置的说法应被视为初步信息。
开放权重也不自动意味着不受限制的开源。最终许可证将决定用户可以修改、重新分发或商业使用的内容。
为何大多数用户不会在本地运行 Kimi K3
一个 2.8 万亿参数的模型远超本地 AI 的常规定义。
即使采用稀疏激活和低精度权重，完整检查点、专家路由、高带宽通信、上下文缓存及运行时开销仍需大型分布式系统。
月之暗面建议在超节点式配置中至少使用 64 个加速器进行部署。
实际影响如下：
- 个人用户更可能通过托管 API 或应用程序访问 Kimi K3。
- 企业可能使用专门的推理提供商，而非自行维护集群。
- 开放权重对资金充足的研究实验室、云平台、推理公司及大型基础设施团队最直接有用。
- 量化或蒸馏的社区变体最终可能降低门槛，但那些版本可能无法匹配完整模型的效果。
路透社援引的估计显示，自托管该模型的相关……
系统可能需要价值数十万美元的计算设备。
具体成本将取决于最终的权重格式、加速器类型、网络配置、上下文长度、吞吐量目标、冗余方案以及服务软件。
API 定价与可用性
Kimi K3 已通过月之暗面（Moonshot）旗下多款产品提供：
- Kimi.com
- Kimi 工作台
- Kimi 代码
- Kimi 开放接口（Kimi API）
- Kimi 企业版
Kimi 代码用户可通过终端界面中的模型命令选择 Kimi K3 模型。
月之暗面当前的 API 定价为：
| Token 类别 | 每百万 Token 价格 |
|---|---|
| 缓存命中输入 | 0.30 美元 |
| 缓存未命中输入 | 3.00 美元 |
| 输出 | 15.00 美元 |
API 模型名称为：
kimi-k3
月之暗面表示，其官方 API 通过 Mooncake 分离式推理架构，在编码工作负载中实现了超过 90% 的缓存命中率。
实际应用成本将取决于提示长度、推理深度、缓存复用情况、工具调用次数、重试机制以及输出详细程度。
中国 AI 实验室加速迭代周期
Kimi K3 发布之际，中国人工智能公司正以异常密集的频率推出新模型。
月之暗面、Z.ai、MiniMax、深度求索（DeepSeek）、美团等开发者持续推出体量更大、能力更强的系统，同时在价格、开源权重、代码能力及智能体性能方面展开激烈竞争。
路透社指出，这一迭代速度颠覆了此前认为中国领先模型始终落后美国前沿技术数月的论断。
单纯模型规模并不能证明领先地位。参数数量在密集与稀疏架构间难以横向比较，而部分美国主要开发商并未公开其当前模型的具体规模。
尽管如此，Kimi K3 表明中国实验室已在模型规模、架构设计、长上下文推理及智能体工程等领域跻身前沿。
市场反应与月之暗面扩张
路透社报道称，Kimi K3 发布后，多只中国 AI 竞争对手的上市股票出现下跌。
临近收盘时，智谱华章下跌 27.7%，MiniMax 下跌 16.5%。
单一交易日的表现尚不能确定新模型对市场竞争格局的长期影响，但此番反应确实显示出公开市场对中国 AI 公司技术突破的关注度。
月之暗面已获阿里巴巴、腾讯等主要投资者支持。
路透社还援引彭博社报道称，月之暗面正以约 300 亿美元估值寻求约 20 亿美元的新一轮融资，拟于香港上市前完成。不过该融资及上市计划仍处于报道阶段，尚未最终落实。
Kimi K3 已披露的局限性
月之暗面在官方发布中罕见地坦率指出了若干局限性。
对推理历史的敏感性
Kimi K3 在训练中保留了推理历史。若智能体框架未能返回完整的历史思考内容，可能导致性能不稳定。同时不推荐在与其他模型建立的会话中途切换至 Kimi K3。
过度主动性
该模型针对高强度、长时运行任务进行了优化。因此当指令表述模糊时，可能做出意外决策。
或者当它遇到小障碍时。需要精确行为的应用程序应通过系统提示或AGENTS.md文件提供显式约束。
用户体验差距
月之暗面表示，尽管Kimi K3在众多技术评估中竞争力出色，但其整体用户体验仍落后于Claude Fable 5和GPT-5.6 Sol。
高基础设施要求
开放权重并不意味着系统易于完整部署。其规模、网络要求和长上下文记忆需求造就了高操作门槛。
高Token消耗量
独立测试表明，在复杂评估中Kimi K3的Token消耗量可能显著高于前沿模型平均水平。这会影响总体成本、响应速度和速率限制消耗。
此次发布对开发者的意义
对多数开发者而言，Kimi K3最初将以托管模型而非自托管形式提供。
其最重要特性包括：
- 超大上下文窗口
- 强化的持久编码行为
- 原生视觉推理能力
- 面向智能体的工具调用
- 专业知识任务中的竞争力表现
- 公开定价的API访问
- 计划中的开放权重
评估该模型的团队应测试实际工作流程，而非仅依赖基准测试的标题数据。
有价值的评估可能包括：
- 仓库导航与问题解决
- 长上下文指令保持能力
- 视觉参考的前端实现
- 工具调用可靠性
- 输出冗余度与成本
- 模糊指令下的表现
- 目标智能体框架兼容性
- 推理历史压缩后的性能
- 数据治理与部署要求
- 失败命令或测试的恢复能力
常见问题
Kimi K3是什么？
Kimi K3是月之暗面AI推出的2.8万亿参数多模态推理模型，专为长程编码、知识工作、科学研究、视觉任务及智能体工作流设计。
Kimi K3是开源的吗？
月之暗面将Kimi K3描述为开放模型，并计划发布完整权重。开放权重不一定等同于开源软件，最终许可协议将决定允许的使用、修改和重新分发条款。
Kimi K3权重现在可用吗？
截至本文撰写时尚未发布。月之暗面官方公告称完整权重将于2026年7月27日开放。
Kimi K3推理时使用多少参数？
完整模型包含2.8万亿参数，但采用稀疏混合专家架构。月之暗面表示每个Token激活896个专家中的16个，因此并非整个网络同时运行。
Kimi K3可以在个人电脑上运行吗？
完整模型不适用于普通个人电脑。月之暗面建议至少配备64个加速器的超节点部署方案，因此多数用户将通过托管产品或API访问Kimi K3。
Kimi K3的上下文窗口大小是多少？
Kimi K3支持100万token的上下文窗口。该模型对推理历史记录方式敏感，因此智能体框架兼容性和上下文
管理层很重要。
Kimi K3 API 的费用是多少？
月之暗面公布的定价为：缓存命中输入每百万 token 0.30 美元，缓存未命中输入每百万 token 3.00 美元，输出每百万 token 15.00 美元。总费用还取决于输出长度、缓存复用、工具调用和重试次数。
Kimi K3 是否比 GPT-5.6 Sol 或 Claude Fable 5 更优秀？
答案取决于具体任务和基准测试。月之暗面表示，Kimi K3 总体落后于这两款模型，但在部分编码和知识工作评估中表现相当或领先。独立测试也显示 Kimi K3 处于领先模型之列，但并非始终位居第一。
相关工具
- Kimi：月之暗面 AI 推出的托管代理工作空间，用于使用 Kimi K3。
- Kimi Work：专为 Kimi 的文档、研究、仪表板和知识工作功能设计的桌面环境。
- Kimi Code：月之暗面 AI 的终端和 IDE 编码代理，支持 Kimi K3 模型选择。
- Kimi API 平台：官方 API 访问、定价、开发者文档和账户管理服务。
- 月之暗面 AI 在 GitHub 上：官方开源项目、模型工具和研究代码仓库。
- 月之暗面 AI 在 Hugging Face 上：官方模型卡和可下载的月之暗面 AI 模型发布版本。
- vLLM：一个开源推理引擎，月之暗面表示将支持 KDA 前缀缓存功能。
相关链接
- Kimi K3 官方技术博客：月之暗面 AI 关于架构、基准测试、可用性和限制的公告。
- 月之暗面 AI 官方网站：公司的官方产品与研究主页。
- Kimi API 平台：官方 Kimi K3 API 访问入口及当前 token 定价。
- 月之暗面 AI GitHub 组织：Kimi 模型、Kimi Code 和基础设施研究的官方代码仓库。
- 月之暗面 AI Hugging Face 组织：官方模型权重和模型卡发布版本。
- Artificial Analysis：Kimi K3：独立的智能水平、定价、速度和上下文窗口评估。
- Artificial Analysis Kimi K3 基准测试报告：对 Kimi K3 智能指数表现的独立总结。
总结
Kimi K3 将月之暗面 AI 推向了 3 万亿参数级别，这是一款专为编码、研究、知识工作和长时间运行的代理任务构建的稀疏多模态模型。其百万 token 上下文窗口、Kimi Delta 注意力机制、注意力残差结构以及高度稀疏的专家路由策略，旨在提升该规模下的运行效率。
公司基准测试和独立评估均显示 Kimi K3 跻身当前前沿模型之列，不过月之暗面也承认其总体仍落后于 Claude Fable 5 和 GPT-5.6 Sol。该模型的高 token 消耗特性、对推理历史的敏感性、主动行为倾向、
庞大的基础设施需求是重要的实际限制因素。
Kimi K3 已可通过月之暗面的应用程序和API获取。完整权重原计划于2026年7月27日前发布，因此大多数开发者初期将使用托管版本，而非自行部署完整模型。
关键进展不仅在于参数规模：Kimi K3将极端规模、稀疏激活、百万级令牌上下文、多模态输入和长周期智能体行为集于一身，月之暗面计划将其以可下载权重的形式发布。