← 返回首页

Kimi K3登顶前端代码竞技场，构建GPU编译器，48小时设计芯片

月之暗面（Moonshot AI）推出了 Kimi K3，一款专为长时段编码、知识工作、视觉推理以及基于智能体的工作流程而设计的原生多模态模型。 该模型拥有 2.8 万亿总参数量、100 万 token 的上下文窗口，以及高度稀疏的混合专家架构——对于每个 token，仅从其 896 个专家中激活 16 个。月之暗面将其描述为首个开放的 3T 级模型，不过公司的发布公告称，完整的模型权重计划于 2026 年 7 月 27 日 发布。 Kimi K3 因其在前端开发、自主 GPU 内核优化、创建名为 MiniTriton 的小型 GPU 编译器，以及使用开源电子设计自动化工具在 48 小时内完成的芯片设计实验等成果，立即引起了关注。 月之暗面也承认，K3 并非在所有类别中都领先。其自身评估显示，该模型在整体性能上落后于 Claude Fable 5 和 GPT-5.6 Sol，但在多项编码和长时段智能体任务中表现出更优的结果。 图片来源文章所分享的 Artificial Analysis 智能对比，展示了 Kimi K3 的位置。 Kimi K3 将月之暗面的 API 定价推向了比早期 Kimi 编码模型更高的层级。 原报告中的定价表列出了中国区 API 的以下费率： | 模型 | 缓存命中输入 | 缓存未命中输入 | 输出 | |-|-|-|-| | Kimi K3 | 每百万 tokens ¥2 | 每百万 tokens ¥20 | 每百万 tokens ¥100 | | Kimi K2.7 Code | 每百万 tokens ¥1.30 | 每百万 tokens ¥6.50 | 每百万 tokens ¥27 | 来源文章对 Kimi K3 和 Kimi K2.7 Code 定价的比较。 月之暗面国际 API 平台列出的 Kimi K3 价格为： - 每百万缓存命中输入 tokens $0.30 - 每百万缓存未命中输入 tokens $3.00 - 每百万输出 tokens $15.00 这比 Kimi K2.7 Code 贵得多，但仍然低于月之暗面在发布对比中引用的 Claude Fable 5 的价格。 com/cms-assets/image/2026/07/2761809f-7dbb-4570-911c-c2867cbb026a-5ef22221-611

发布于 2026年7月19日•general•GEO 评分: 0

选择语言

العربيةDeutschEnglishEspañolFrançaisItaliano日本語한국어PortuguêsРусский中文
图片以深黑色为背景，左侧有模糊的“KIMI MOONSHOT AI”字样，右侧是“Kimi K3”大字，下方标注“Frontend Leader · GPU Compiler · 48-Hour AI Chip”。画面中间是一个发光的芯片，芯片上有字母“K”。右侧有流程图，从“IR”依次经过“Optimize”“Lowering”“CodeGen”等步骤。左侧显示代码界面。该图片与文档中“SEO封面摘要”内容相关，是月之暗面Kimi K3的技术封面设计，符合文档对封面的描述要求。

Kimi K3登顶前端代码竞技场，构建GPU编译器，48小时设计芯片

引言

月之暗面（Moonshot AI）推出了 Kimi K3，一款专为长时段编码、知识工作、视觉推理以及基于智能体的工作流程而设计的原生多模态模型。

该模型拥有 2.8 万亿总参数量、100 万 token 的上下文窗口，以及高度稀疏的混合专家架构——对于每个 token，仅从其 896 个专家中激活 16 个。月之暗面将其描述为首个开放的 3T 级模型，不过公司的发布公告称，完整的模型权重计划于 2026 年 7 月 27 日 发布。

Kimi K3 因其在前端开发、自主 GPU 内核优化、创建名为 MiniTriton 的小型 GPU 编译器，以及使用开源电子设计自动化工具在 48 小时内完成的芯片设计实验等成果，立即引起了关注。

月之暗面也承认，K3 并非在所有类别中都领先。其自身评估显示，该模型在整体性能上落后于 Claude Fable 5 和 GPT-5.6 Sol，但在多项编码和长时段智能体任务中表现出更优的结果。

图片来源文章所分享的 Artificial Analysis 智能对比，展示了 Kimi K3 的位置。

一个更昂贵的 Kimi 模型

Kimi K3 将月之暗面的 API 定价推向了比早期 Kimi 编码模型更高的层级。

原报告中的定价表列出了中国区 API 的以下费率：

模型 缓存命中输入 缓存未命中输入 输出
Kimi K3 每百万 tokens ¥2 每百万 tokens ¥20 每百万 tokens ¥100
Kimi K2.7 Code 每百万 tokens ¥1.30 每百万 tokens ¥6.50 每百万 tokens ¥27

来源文章对 Kimi K3 和 Kimi K2.7 Code 定价的比较。

月之暗面国际 API 平台列出的 Kimi K3 价格为：

  • 每百万缓存命中输入 tokens $0.30
  • 每百万缓存未命中输入 tokens $3.00
  • 每百万输出 tokens $15.00

这比 Kimi K2.7 Code 贵得多，但仍然低于月之暗面在发布对比中引用的 Claude Fable 5 的价格。

com/cms-assets/image/2026/07/2761809f-7dbb-4570-911c-c2867cbb026a-5ef22221-611a-4252-a82e-af74b77e7af1.png)

价格对比表显示，Kimi K3 的输出定价仅为 Claude Fable 5 报价的 30%。

在阅读价格对比时需保持谨慎。API 费率可能因地区、供应商、缓存行为以及后续产品更新而有所不同。在部署前，官方 Kimi API 页面是验证当前计费标准的最佳途径。

Kimi K3 在前端代码竞技场中排名第一

最引人注目的早期成果来自于前端开发领域。

截至本文发布时，Kimi K3 在 Arena 前端代码竞技场的初步 WebDev 排行榜上位居榜首。源图表显示其胜率为 76%，领先于 Claude Fable 5 和 GPT-5.6 Sol。

图片展示了Frontend Code Arena的初步WebDev排行榜，Kimi-K3以76%的胜率位居榜首。下方有不同模型的胜率数据，如Claude Fable 5为63%，GPT-5.6 Sol (xHigh)为58%，GLM-5.2 (Max)为55%，Grok-4.5为53%，Claude Opus 4.8 (Thinking)和Muse Spark 1.1均为50%，Claude Opus 4.7 (Thinking)为49%。该图与上下文紧密相关，直观呈现了Kimi-K3在前端代码竞技场中的优势地位及与其他模型的胜率对比。

Kimi K3 在报告中呈现的初步前端代码竞技场结果中排名第一。

在七个前端类别中，原始报告称 K3 在六个类别中排名第一：

  1. 品牌与营销网站
  2. 参考图像设计
  3. 数据分析界面
  4. 消费类产品
  5. 模拟仿真
  6. 内容创作工具

据报道，在游戏类别中它排名第二。

这些结果尤其重要，因为前端工作不仅仅是一个代码生成问题。一个有能力的大模型必须能够解读视觉需求、创建功能应用程序、运行它、检查结果，并在界面与预期设计不符时修改实现方案。

重建一个基于浏览器的 macOS 风格界面

原始文章中引用的一个例子是，使用智能体集群在大约六小时内重现了一个 macOS 27 风格界面。

其结果不仅仅是一张静态截图。报告称，除了浏览器和电话功能等少数例外，大多数桌面应用程序和交互都能正常工作。

图片展示了Kimi K3生成的macOS 27风格界面示例。画面中，左侧是模拟的macOS 27风格桌面，有“About This Mac”等菜单选项，下方是国际象棋棋盘。右侧是Freeform应用界面，呈现了“macOS 27 Brainstorm”等任务，有便签、流程图等元素。该图片与上下文紧密相关，是对原文中Kimi K3在Frontend Code Arena中重建macOS 27风格界面这一成果的直观呈现，体现了其在代码生成、界面设计等方面的能力。

一个由智能体生成的、模仿现代桌面操作系统的浏览器界面。

其他演示还包括一个机械手模拟器和一个完全程序化、基于浏览器、使用 Three.js 和 WebGPU 的 3D 游戏。

这些例子仍然是演示性质，而非标准化基准测试，但它们展示了 Moonshot 希望 K3 支持的工作流程类型：长时间运行、可视化、迭代式的软件创建。

循环中的视觉

Moonshot 将 K3 的前端工作流程描述为循环中的视觉。

该模型并非一次性生成代码并停止，而是能够：

  1. 编写或修改

应用代码。
2. 运行项目。
3. 检查实时截图或渲染结果。
4. 检测布局、色彩、层级或交互问题。
5. 修改代码。
6. 重新渲染更新后的结果，并重复上述步骤。

这一流程弥合了代码生成与视觉评估之间的差距。

模型可能生成语法上有效的 HTML、CSS 和 JavaScript，却仍可能产出糟糕的界面。通过观察渲染输出，K3 能识别出仅凭源代码难以发现的问题。

对于更大的前端仓库，100 万 token 的上下文窗口也至关重要。它可以在一个工作上下文中容纳大量组件、类型定义、设计系统规则、项目文档以及跨文件依赖。

原始文章还提到了一个权衡：部分用户反映，复杂的前端任务耗时在 20 分钟到一小时之间。这些只是个别观察，而非受控的延迟测量，但表明 K3 可能更倾向于长时间迭代，而非即时输出。

编程基准与长周期工程

编程是 Kimi K3 的核心优势之一。

原始报告中的基准图表列出了以下结果：

基准测试 Kimi K3 Claude Fable 5 GPT-5.6 Sol
DeepSWE 67.5 70.0 73.0
Program Bench 77.8 76.8 77.6
SWE Marathon 42.0 35.0 39.0

图片展示了Kimi K3在多个编码和软件工程评估中的表现。包括DeepSWE、Terminal Bench 2.1、Program Bench、SWE Marathon等基准测试的分数，如DeepSWE中Kimi K3得分为67.5，Claude Fable 5为70.0，GPT-5.6 Sol为73.0；Terminal Bench 2.1中Kimi K3得分为88.3，GPT-5.6 Sol为88.9等。图片与上下文紧密相关，直观呈现了Kimi K3在不同评估中的得分情况，帮助读者了解其在编码和软件工程方面的表现。

Kimi K3 在多项编程和软件工程评估中的报告结果。

Kimi K3 官方博客提供了重要的方法论说明。

对于 DeepSWE，Moonshot 在其主要对比中报告了 Kimi Code 框架的结果，而公共 mini-SWE-agent 排行榜结果列为 67.3。因此，根据框架和评估设置的不同，可能会出现微小差异。

对于 SWE Marathon，Moonshot 使用了官方任务的 H20 校准分支。该公司还指出，Claude Fable 5 在部分评估中出现了后备行为，这可能降低了其测量得分。

这些细节并不否定结果，但在比较模型时很重要。代理框架、工具权限、硬件、推理设置、后备行为以及任务校准都可能影响最终得分。

自主 GPU 内核优化

Moonshot 测试了 Kimi K3 能否在极少人工监督下优化 GPU 内核。

每个模型获得了相同的沙盒环境，并可在最多 24 小时内完成对以下相关内核的分析、重写、基准测试和优化：

  • 注意力残差
  • Kimi Delta 注意力
  • 一个 512 头维度的 MLA 工作负载
  • 另一个供应商的通用 GPU

NVIDIA 测试在 H200 硬件上运行。

AttnRes 优化

对于注意力残差工作负载，原文表明 K3 设计了一种新的两阶段内核算法，减少了

正向与反向执行的综合耗时从 283.6 毫秒降低至 114.4 毫秒。

这相当于在基线基础上实现了约 59.7% 的加速，使得 Kimi K3 在 Moonshot 的实验配置中接近了 Claude Fable 5 的成绩。

图片展示了Kimi K3在Attention Residuals（AttnRes）任务中的优化轨迹。横轴为活跃小时数，纵轴为加速比。图中以不同颜色线条呈现了Kimi K3、Claude Fable 5、GPT 5.5+、GPT 5.6 Sol等模型的优化情况。Kimi K3的红色线条显示其加速比从0%逐步提升至59.7%，接近Claude Fable 5的57.1%。该图与上下文紧密相关，直观呈现了Kimi K3在AttnRes任务中优化效果随时间变化的趋势。

Kimi K3 在 AttnRes 内核任务中报告的改进轨迹图。

该图还展示了智能体随时间推移的改进过程。K3 在运行初期就取得了多项重大进展，随后通过后续迭代持续优化内核。

MLA-512 内核

在从零开始的 MLA-512 任务中，Kimi K3 的内核在前向与反向综合负载下达到了报告所示的 517.8 TFLOPS。

报告中所示的第二高结果约为 492.7 TFLOPS。

图片展示了Kimi K3在不同模型优化任务中的TFLOPS（每秒万亿浮点运算）表现。横轴为活跃小时数，纵轴为TFLOPS。图中以不同颜色线条呈现了AttnRes、DSA、MLA、KDA - GP GPU四种任务的优化情况，其中Kimi K3在MLA任务中表现突出，达到517.8 TFLOPS，远超其他模型。图中还标注了Claude Fable 5、Claude Opus、GPT 4.8、GPT 5.5、GPT 5.6等模型的TFLOPS数值。该图与上下文紧密相关，直观呈现了Kimi K3在Moonshot测试中优化任务的性能表现。

Kimi K3 在 MLA-512 优化任务中达到了报告所示的 517.8 TFLOPS。

Moonshot 表示，在模型开发的后期阶段，早期版本的 K3 承担了团队大部分的内核优化工作。这是公司自行报告的工作流程，并未在来源所链接的材料中经过独立审核。

MiniTriton：一款从零构建的 GPU 编译器

接下来的实验超越了单个内核的优化。

Moonshot 探索了 Kimi K3 是否能从零构建一个小型 GPU 编程系统。其成果是 MiniTriton，一款紧凑的、类似 Triton 的编译器，包含：

  • 其自身的 tile 级中间表示
  • 基于 MLIR 构建的 IR 层
  • 优化过程
  • PTX 代码生成管线
  • 对生成内核的运行时支持

Moonshot 报告称，MiniTriton 在支持的屋顶线基准测试中达到或超越了 Triton 和 torch.compile 的表现，包括在某些工作负载上优于 Triton。

图片展示了MiniTriton在NVIDIA L20（sm_89）GPU上的CUDA-core roofline性能。横轴为算术强度（FLOP/byte），纵轴为达到性能（GFLOPS）。图中用不同颜色和形状的点表示torch.eager、torch.compile、minitriton等不同编译器的性能数据，如torch.compile在10^1处达到37.2 TFLOPS。还标注了不同tile大小（BT）和tile数量（T）的性能点，如BT=16时在10^1处达到1024 GFLOPS。该图与上下文紧密相关，直观呈现了MiniTriton的性能表现。

MiniTriton 在 NVIDIA L20 GPU 上报告的 CUDA 核心屋顶线性能。

该编译器还支持端到端的 nanoGPT 训练，并实现了稳定的收敛。据 Moonshot 称，其损失曲线与参考实现保持接近，仅有轻微偏差。

比通过孤立的微基准测试更有意义。这表明生成的系统能够将前端语言、中间表示、优化流水线、PTX 生成和运行时连接成一个连贯的工作流。

然而，在本文撰写时，Moonshot 尚未公开发布 MiniTriton 代码库。因此，性能声明来自 Kimi K3 发布会材料，尚无法通过官方发布的代码进行复现。

一次 48 小时运行中设计的芯片

Kimi K3 同样在芯片设计上得到了测试。

在一次自主运行的 48 小时内，该模型使用开源 EDA 工具和 Nangate 45nm 工艺设计套件，构建、优化并验证了一款旨在服务基于 K3 架构的小型模型的芯片。

Moonshot 报告了以下模拟设计结果：

  • 面积小于 4 mm²
  • 146 万个标准单元
  • 0.277 MB SRAM
  • 时序收敛于 100 MHz
  • 模拟解码吞吐量超过 每秒 8700 个令牌
  • 带有融合反量化的 INT4 乘加阵列

图片展示的是Kimi K3在48小时自主运行中设计的芯片模拟结果。画面中呈现了多个模块，如“10 LGWR read pipe”等，各模块上有编号标识。右上角显示“8358 tps”等信息，表明每秒处理8358个令牌。该图片与文档中Kimi K3在48小时自主运行中使用开源EDA工具和Nangate 45nm工艺设计芯片的内容相关，直观呈现了设计成果。

该芯片设计案例研究在模拟中报告了每秒超过 8700 个令牌的处理速度。

经过验证的数字设计与实际制造的物理芯片之间的区别很重要。

公开资料描述的是一个 EDA 设计、优化、时序和模拟练习。它们并未说明该芯片已完成流片、制造、封装并在硅片上进行了测试。

即使存在这一限制，完成一个扩展的硬件设计流水线也是一个值得注意的长期编码案例。它要求智能体在架构决策、硬件描述、综合、布局布线、时序检查、验证和反复优化之间协同工作。

2.8T 规模背后的两大核心创新

Kimi K3 基于 Moonshot AI 开发的两项技术构建：

  1. Kimi Delta Attention
  2. Attention Residuals（注意力残差）

该模型将这些技术与一个激活更为稀疏的混合专家架构相结合。

图片展示了Kimi K3的架构，分为三个部分。左侧是Stable LatentMoE和KDA模块，包含共享专家、路由器、线性层、归一化层等；中间是AttnRes操作，有线性层、归一化层、KDA等；右侧是Block Attention Residuals主干，有Stable LatentMoE、Gated MLA、Stable LatentMoE、KDA等模块。该图与上下文紧密相关，直观呈现了Kimi K3模型中Stable LatentMoE、KDA、AttnRes等关键组件的结构，帮助理解其高效处理长序列、信息灵活传递及稀疏激活等特性。

Kimi K3 结合了 KDA、注意力残差、Gated MLA 和 Stable LatentMoE。

Kimi Delta Attention

Kimi Delta Attention，简称 KDA，旨在使注意力机制在长序列上更加高效。

KDA 并不完全依赖整个上下文中的标准全注意力机制，而是提供一种高效机制来处理长输入，同时保留编码、推理和智能体任务所需的信息。

这是其中一种

K3模型百万级上下文窗口的基础

注意力残差机制

传统Transformer层会反复将每个新层的输出添加到累积的隐藏状态中。

**注意力残差机制（AttnRes）**改变了这一模式。它允许后续层从不同深度选择性检索表征，而非简单地将所有早期层视为统一累积流的一部分。

月之暗面将其描述为在超深层模型中实现信息流动的更灵活方式。

稳定潜在MoE架构

Kimi K3拥有896个专家模块，但每个token仅激活16个专家。

这种极致稀疏性在降低单个token计算量（相对整体模型规模）的同时，也增加了路由与负载均衡的难度。月之暗面的稳定潜在MoE框架旨在维持这种稀疏配置下的训练稳定性。

分位数均衡

混合专家模型需要在各专家间合理分配token，避免少数专家过载。

K3采用分位数均衡技术，通过路由器得分的分位数来分配专家，而非依赖人工调整的平衡策略。月之暗面表示这消除了敏感的负载均衡超参数，使大规模专家分配更稳定。

逐头优化器

K3扩展了Muon优化器，实现逐头Muon优化。

该方案将注意力参数分解为独立结构，对每个注意力头分别优化。目标是在大规模训练中为每个注意力头提供更具适应性的优化行为。

SiTU与门控MLA

两项额外组件支持激活与注意力控制：

  • **Sigmoid Tanh单元（SiTU）**改进激活控制
  • 门控MLA提升注意力选择的灵活性

结合KDA、AttnRes、稳定潜在MoE、分位数均衡和逐头Muon，月之暗面称这些改进相比Kimi K2整体扩展效率提升约2.5倍。

量化感知训练与推理架构

Kimi K3从监督微调阶段即采用量化感知训练。

官方技术博客列出：

  • MXFP4权重
  • MXFP8激活

目标是在保持此类规模模型可训练与部署性的同时，提升跨不同加速器硬件的兼容性。

月之暗面同时建议采用64个以上加速器的超节点部署方案以实现高效推理。这明确表明开放权重并不等同于便捷的本地部署——这个2.8万亿参数模型仍属重基础设施系统。

KDA前缀缓存机制

KDA给传统前缀缓存带来新挑战。

月之暗面表示已开发相应预填充缓存实现，并贡献至vLLM生态系统。其官方API在代码类工作负载中缓存命中率超过90%。

该缓存层解释了缓存与非缓存输入价格间的巨大差异。该实现将与模型同步开源，开发者可查看Kimi与vLLM官方公告。

当前可用性与集成状态的代码仓库。

已知限制

月之暗面列出了 Kimi K3 的三个重要限制。

对思考历史的敏感性

K3 的训练模式保留了模型先前的思考历史。

若智能体框架未返回完整的预期历史记录，生成质量可能变得不稳定。当用户在活跃会话中途从其他模型切换至 K3 时，也可能出现相同问题。

月之暗面建议使用经过验证的兼容工具（如 Kimi Code），并避免在会话中途切换模型。

过度主动性

K3 在长时间、高难度的任务上进行了大量训练。

因此，它可能对小问题或模糊指令反应过度，做出用户未预期的决策。

要求严格边界的应用应在系统提示或 AGENTS.md 文件中明确定义这些边界。

用户体验差距

月之暗面表示，与 Claude Fable 5 和 GPT-5.6 Sol 相比，K3 仍存在明显的用户体验差距。

这一限定条件很有价值——基准测试分数和自主工程演示并不能涵盖生产体验的方方面面，包括响应一致性、延迟、指令解读、工具可靠性以及对话流畅度等。

可用性与开放权重状态

Kimi K3 可通过以下渠道获取：

上线时，K3 默认使用最大思考强度。月之暗面表示，后续更新将增加较低和较高思考强度选项。

该公司已宣布，完整模型权重将于 2026 年 7 月 27 日 前发布。在这些权重及技术报告公开之前，部分架构、基准测试设置、MiniTriton 实现及芯片设计流程仍依赖月之暗面已发布的描述。

图片展示了2025年7月至2026年10月间各公司旗舰模型的开放前沿模型参数量变化情况。横轴为时间轴，纵轴为总参数量。图中以不同颜色线条标识不同公司，如Moonshot AI、Xiaomi、Alibaba等。Kimi K3在2026年7月达到2.8万亿参数，为当前最大值。该图与上下文紧密相关，直观呈现了Kimi K3在参数量上的优势，以及与其他大模型的参数量对比情况。

Kimi K3 将月之暗面报告的开放模型规模提升至 2.8 万亿参数。

常见问题

Kimi K3 是什么？

Kimi K3 是月之暗面 AI 开发的 2.8 万亿参数原生多模态模型，适用于长周期编码、知识工作、视觉推理及智能体任务。它支持 100 万令牌的上下文窗口，每个令牌激活 896 个专家中的 16 个。

Kimi K3 是否开源？

月之暗面称 K3 为开放型 3T 级模型，并宣布完整模型权重将于 2026 年 7 月 27 日前发布。在本文撰写时，K3 的完整权重发布及技术报告尚未完成。

Kimi K3 API 费用是多少？

国际 Kimi API 定价为：每百万缓存输入令牌 0.30 美元，每百万非缓存输入令牌 3.00 美元，每百万输出令牌 15.00 美元。价格可能变动。

因此，生产用户应在官方 API 平台上核实当前费率。

Kimi K3 的前端编码能力真的排名第一吗？

Kimi K3 在发布时暂列 Arena WebDev 榜单首位。随着更多投票和模型的加入，榜单会动态变化，因此最新排名请参考实时 Arena 页面。

什么是 MiniTriton？

MiniTriton 是月之暗面表示由 Kimi K3 从零构建的紧凑型 GPU 编译器。它包含基于 MLIR 的图块级中间表示、优化通行证、PTX 代码生成流水线，并支持端到端 nanoGPT 训练。

Kimi K3 是否制造了实体芯片？

官方未公布物理流片信息。月之暗面描述了一次 48 小时的自主电子设计自动化（EDA）运行，该流程使用 Nangate 45nm 库完成了芯片设计、优化、验证和仿真。

Kimi K3 可以本地运行吗？

该模型规模极大，月之暗面建议部署推理配置至少需要 64 个加速器才能实现高效运行。即使开放权重后，本地运行仍需大量专业基础设施或大幅改造的部署方案。

Kimi K3 的主要局限是什么？

月之暗面指出其存在对保留思维历史敏感、在模糊任务中过于主动，以及与 Claude Fable 5 和 GPT-5.6 Sol 相比的用户体验差距。建议采用显式智能体约束和兼容适配框架。

相关工具

  • Kimi：月之暗面的智能体工作空间，可在编码、研究、文档、幻灯片和可视化流程中使用 Kimi K3。
  • Kimi Code：月之暗面开源的终端编码智能体，也是推荐的 K3 兼容适配框架。
  • Kimi API 平台：用于访问 kimi-k3 及其他 Kimi 模型的官方 API 服务。
  • Arena WebDev 榜单：面向前端和网页开发模型的实时社区投票榜单。
  • Triton：用于编写高性能 GPU 内核的开源语言和编译器。
  • MLIR：LLVM 的可复用编译器基础设施，用于构建中间表示和优化流水线。
  • vLLM：支持高吞吐量推理和前缀缓存的开源大语言模型推理引擎。
  • OpenROAD：与自动化芯片设计流程相关的开源 RTL-to-GDSII 工具链。

相关链接

排行榜](https://deepswe.datacurve.ai/)：月之暗面评估报告中引用的公开软件工程基准。

  • Program Bench：K3编码对比中使用的编程基准。
  • SWE Marathon：月之暗面引用的长周期软件工程基准。

概览

Kimi K3 是月之暗面迄今为止最大的模型，拥有总计2.8万亿参数，支持原生多模态输入，具备100万token的上下文窗口，并在896个专家中稀疏激活16个。

其最突出的早期成果体现在长周期工程领域。K3在前端代码竞技场的初步排名中位列第一，优化了GPU内核，构建了MiniTriton编译器，并使用开源EDA工具完成了一项48小时的模拟芯片设计工作流。

该架构融合了Kimi Delta注意力机制、注意力残差连接、稳定潜在MoE、分位数平衡、每头Muon优化器、SiTU和门控MLA。月之暗面报告称，相较于Kimi K2，其扩展效率提升了2.5倍，同时也承认在智能体兼容性、主动性和整体用户体验方面存在重要局限。

Kimi K3最重要的声明并非它赢得了所有基准测试，而是在异常漫长、视觉驱动且依赖工具链的工程任务中能够保持高效产出。