平头哥开源 SAIL：支撑 56 万颗“镇武”芯片的 AI 软件栈

引言

AI加速器不会仅仅因为拥有强大的硬件规格就变得实用。

开发者通过PyTorch、TensorFlow、vLLM和SGLang等框架开展工作。他们的模型必须经过编译、调度、执行、性能分析、调试，并在设备间进行分布式部署。在应用与芯片之间，存在一个庞大的基础设施层，它决定着理论性能能否转化为可用的算力。

在2026年世界人工智能大会上，阿里巴巴旗下的半导体公司平头哥开源了T-Head SAIL，这是为其玄铁加速器系列打造的AI软件栈。

SAIL全称为Seed of AI Library（AI库种子）。

平头哥将该项目描述为一条完整的路径，涵盖操作系统支持、SDK组件、编程接口、优化库、编译器、运行时软件以及开发者工具。其明确目标是让玄铁硬件更易于采用，同时又不强迫开发者放弃他们熟悉的语言、框架、代码或工作流程。

阿里巴巴表示，截至2026年4月，玄铁AI芯片累计出货量已达56万颗，服务超过20个行业的400多家客户。在公开释出之前，该硬件及软件栈已在阿里云和外部生产环境中投入使用。

因此，平头哥并非将SAIL作为一个小型研究原型来展示。它开源的是一个已经经过大规模工作负载和生产服务需求锤炼的软件基础。

为何软件栈至关重要

一块新制造的加速器无法直接执行用于定义神经网络的Python代码。

软件栈必须将高级程序转化为硬件能够高效运行的操作。这个过程包括：

1. 让操作系统能够识别和管理设备。
2. 通过用户空间和内核驱动程序暴露硬件能力。
3. 管理内存、命令队列、执行上下文和同步。
4. 将模型计算图和内核编译为可执行指令。
5. 提供经过调优的数学库、神经网络库、媒体库和通信库。
6. 将加速器与现有AI框架连接起来。
7. 为开发者提供性能分析、调试、监控和集群运维工具。

任何一个层面的薄弱环节都可能降低性能或使部署变得困难。

缺少一个算子可能导致缓慢的回退。糟糕的通信软件可能限制多设备扩展能力。不透明的编译器会让优化变得困难。薄弱的性能分析工具会使性能工作变成盲目猜测。

这就是英伟达的竞争地位不仅由GPU硬件支撑，还得益于CUDA、其库、编译器工具链、文档以及长期积累的开发者经验的原因。

平头哥决定开源SAIL，正是为了在生态系统层面展开竞争。

从黑盒迈向更可检测的平台

AI加速器软件过去常以预编译二进制文件的形式分发。开发者可以调用文档化的API，但对于模型如何被转换和执行，其能见度往往有限。

常见的问题包括：

• 选择了哪个操作符实现？
• 图中某一部分为何性能不佳？
• 内存如何分配？
• 使用了哪条通信路径？
• 兼容性问题从何处开始？
• 能否针对某一部署环境优化工作负载？

开放源代码、文档、驱动程序和工具，能让开发者有更多选项来检查、诊断、调整和优化平台。

开源并不会自动形成一个成熟的生态。相关组件仍需文档化、维护、测试、明确许可，并能在实际工作负载中得到支持。社区治理和版本稳定性与首次代码发布同等重要。

目前已有内容

主要的官方访问入口是“平头哥开发者社区”：

https://developer.t-head.cn/home

官方公告称该门户提供：

• 全栈技术文档
• SDK 软件包
• 内核驱动
• 性能分析工具
• 调试工具
• 针对镇岳 AI 芯片的开发资源

首次开放不应等同于整个开源路线的完成。

阶段	已发布计划
首次开放	文档、SDK 包、内核驱动、性能工具和调试资源
第二阶段	附加通信库软件、版本 2.2 Docker 和 PIP 源，以及开发者论坛
第三阶段	计算加速库、推理引擎软件，以及版本 2.3 Docker 和 PIP 源
后续开发	更多更新、工具、社区活动及生态扩展

由于版本在持续推出，软件包可用性、许可证、硬件要求和构建说明需通过实时门户确认。

平头哥五层 SAIL 技术栈

平头哥将 SAIL 描述为从设备控制到生产工具的五层开发技术栈。

层次	主要组件	用途
驱动与运行时	PPU 驱动、KMD、UMD、PPU 运行时	设备访问、内存管理、命令提交和执行上下文
编程语言	C, C++, Python	面向应用和系统开发的熟悉接口
编译器	编译器，调试器	图与代码的转换、优化、检查和调试
高性能库	acBLAS、acDNN、acFFT、acRAND、acSOLVER、acSPARSE、媒体和通信库	针对常见 AI 和数值工作负载的优化实现
开发者工具	Asight Compute、Asight Systems、PPU-SMI、PPU-DCGM	性能分析、调试、监控和集群管理

驱动与运行时

最底层连接操作系统与加速器。

PPU 驱动

平头哥将驱动分为：

• KMD： 内核模式驱动。
• UMD： 用户模式驱动。

内核模式组件负责处理与操作系统和设备的特权交互。用户模式组件向上层运行时和应用程序软件暴露设备功能。

PPU 运行时

PPU 运行时管理资源，包括：

• 设备内存
• 命令队列
• 计算上下文
• 应用到设备的操作
• 执行

协调层。该层决定硬件能否被应用发现、分配并以可预测的方式使用。

C、C++ 和 Python 接口

SAIL 支持 C、C++ 和 Python 语言。这减少了开发者在试用硬件前学习特定供应商语言的需求。Python 仍是模型定义和实验的主要语言，而 C 和 C++ 在性能库、运行时、框架扩展和系统集成方面仍不可或缺。支持这些主流语言有助于团队复用现有代码、内部库、调试实践、构建系统以及工程经验。语言兼容性并不保证所有应用都能无缝运行。自定义 CUDA 扩展、不支持的算子、硬件特定假设或特殊依赖项仍可能需要移植工作。

编译器与调试器

编译器将模型图和源码级操作转换为可在 Zhenwu 硬件上执行的代码。典型的 AI 编译器工作包括：

• 图优化
• 算子融合
• 布局变换
• 内存规划
• 内核选择
• 调度优化
• 精度转换
• 常量折叠
• 并行执行规划

平头哥还在编译器层列出了调试器。这极为重要——开发者需要理解编译后的图为何表现异常，或某段代码性能不及预期。官方公告将编译器和调试器描述为完整的开发闭环。具体检查与调试能力需参考当前发布文档进行验证。

高性能库

优化库是加速器生态中最具价值的组成部分之一。大多数 AI 系统会反复使用相同类别的计算任务。调优后的库允许框架调用高效实现，而非迫使每位开发者编写设备特定内核。

核心计算库

库名	主要作用
acBLAS	基础线性代数运算
acDNN	深度神经网络计算
acFFT	快速傅里叶变换
acRAND	随机数生成
acSOLVER	数值求解器
acSPARSE	稀疏矩阵运算

其实际价值取决于算子覆盖度、数据类型、数值稳定性、技术文档、内核质量及与支持框架的集成程度。

媒体与预处理库

库名	主要作用
HGDEC	视频解码
HGENC	视频编码
HGJPEG	JPEG 图像处理
HGPP	数据预处理

媒体处理对多模态模型日益重要。图像/视频编解码、缩放、格式转换及预处理可能成为流水线的主要瓶颈。

集合通信

平头哥列出了：

• PCCL
• sailSHMEM

集合通信库支持多设备、多节点训练所需的操作，包括全规约、全收集、Reduce-scatter、广播及同步。通信性能往往决定大规模集群的扩展效率。官方路线图指出，更多通信库软件将在后续阶段开放。

开发人员应验证每个组件的当前源代码状态。

附加组件

该技术栈还列出以下组件：

• acext
• HGML

这些组件扩展了核心库集，并支持额外的机器学习功能。建议参考实时软件包文档以获取最新的 API 详情。

开发与运维工具

Asight Compute

Asight Compute 是算子级性能分析工具，旨在帮助开发人员检查内核执行、利用率、内存行为及底层性能瓶颈。

Asight Systems

Asight Systems 提供跨框架执行、运行时活动、内核、内存传输、通信、主机工作和空闲周期的系统级视图。

PPU-SMI

PPU-SMI 支持实时设备监控与管理。具体指标与命令请查阅当前文档。

PPU-DCGM

PPU-DCGM 支持集群级资源与设备管理。大规模部署需要跨多个加速器和节点的全局可见性，而不仅限于单卡。

三大迁移承诺

平头哥通过三个核心理念概括 SAIL 的开发者定位：

1. 无需完整重写代码
2. 无需长时间等待生态适配
3. 不强制绑定特定框架

这些是厂商声明，需根据各组织的实际工作负载进行验证。

无需完整重写

SAIL 的设计与主流编程模型和框架保持一致。

平头哥表示，开发者可复用大量现有代码、模型、工程经验、算子知识和调优实践。官方公告称迁移仅需少量代码适配。

基于广泛支持操作构建的标准模型可顺利迁移，而包含自定义 CUDA 内核、厂商特定扩展、晦涩依赖或紧密耦合推理基础设施的系统可能需要投入更多工作。

无长适配延迟

AI 框架和模型迭代迅速，若硬件平台需数月时间支持每个重要版本，将始终落后于软件生态。

平头哥表示，SAIL 对主流 AI 推理框架的平均适配时间为 7天以内。

此为厂商报告的平均值，并非对所有模型、框架版本、算子或功能的保证。

开发人员应确认支持的版本、实现是否达到生产级水平、可用的数据类型，以及分布式执行是否已验证。

无框架绑定

平头哥表示，SAIL 已适配 超过260个 主流训练、推理和生态组件，包括 PyTorch、TensorFlow、vLLM 和 SGLang。

该数字可能包含框架、集成模块、模型、库及相关组件，而非260个完全独立的顶层框架。建议以实时兼容性目录作为权威参考。

其战略意图在于开发者应能保留偏好的框架，而非被迫迁移至单一专有应用环境。

务实评估流程

考虑采用 SAIL 的团队应测试自身模型，而非仅依赖兼容性声明。

1. 确认

需求

检查：

• 支持的镇武硬件。
• 操作系统与内核版本。
• 驱动与运行时版本。
• 容器支持情况。
• Python 版本。
• 框架版本。
• 编译器要求。
• 集群网络要求。

2. 从已验证的示例开始

使用官方文档中列出的模型，确认其安装、编译、产出的结果正确、能通过分析器运行，并报告设备状态正常。

3. 对比功能准确性

衡量：

• 模型准确率。
• 数值偏差。
• 精度表现。
• 确定性。
• 不支持的算子。
• 回退执行。

4. 衡量性能

记录：

• 吞吐量。
• 首 token 延迟。
• 间隔 token 延迟。
• 批量延迟。
• 设备利用率。
• 内存使用量。
• 编译时间。
• 多设备扩展能力。

5. 记录迁移工作

跟踪每一项代码、构建、算子、环境和部署变更。相较于仅展示一次成功的演示，这能更真实地估算迁移成本。

6. 测试运维

生产环境评估应包含设备故障、进程重启、框架升级、驱动升级、调度、监控、日志收集、回滚以及性能回归分析。

SAIL 背后的硬件发展史

SAIL 是平头哥长期基础设施计划的一部分。

含光 800

平头哥在2019年推出了 含光 800，这是阿里巴巴首款 AI 推理芯片。

阿里巴巴官方公告显示，在 ResNet-50 测试中，其峰值成绩达到每秒 78,563 张图片和每瓦 500 IPS。

该芯片已部署在商品搜索、推荐、图像处理、广告和客服等内部业务中。阿里巴巴表示，在发布时展示的案例中，处理十亿商品图像的时间可从约一小时缩短到大约五分钟。

含光 800 展示了专用硬件结合优化软件与算法的价值。

倚天 710

2021 年，阿里巴巴推出了 倚天 710，这是一款 5 纳米 Arm 服务器处理器，包含 128 个核心和 600 亿个晶体管。

阿里巴巴报道其 SPECint2017 得分为 440，在性能上比对比的 Arm 服务器处理器提升了 20%，能效提升了 50%。

倚天将平头哥的定位从 AI 推理扩展到了通用云计算。阿里云提供了基于倚天处理器的 ECS 实例系列。

镇武加速器家族

平头哥的镇武家族同时支持 AI 训练和推理。

来源文章描述了早期镇武 810 系列在阿里巴巴通义千问环境及外部行业用户中的部署情况。由于以往的镇武各型号并未有统一的详细官方英文规格可供查阅，因此本文不逐一复现来源中的所有硬件数据。

较新的镇武 M890 已有阿里巴巴的官方介绍。

镇武 M890

阿里巴巴于 2026 年推出了镇武 M890。

规格	镇武 M890
内存	144 GB
芯片间带宽	800 GB/s
相对性能	是镇武 810E 的三倍
精度支持	训练与推理，包括原生 FP4

该芯片

专为高并发推理、长上下文、重复工具调用及不可预测需求的智能体工作负载而设计。

阿里巴巴将M890与ICN Switch 1.0配对，据称可提供高达25.6 Tbps的总带宽，并支持64个加速器集群间的无拥塞通信。

Panjiu AL128超级节点将128个加速器集成于机架级系统中，而SAIL提供暴露、编译、分析和操作该硬件所需的软件层。

计算、网络与存储

原文通过三个领域阐述了平头哥的数据中心芯片战略：

计算

• 臻武AI加速器
• 倚天Arm服务器CPU
• 含光推理技术

网络

• ICN交换互连技术
• 磐海智能网卡产品

存储

• 镇岳存储控制器产品

现代AI集群依赖计算、内存、互连、存储、网络、调度、运行时软件及框架集成间的协同性能。任一领域的瓶颈都可能削弱整个系统的价值。

出货56万颗芯片后为何开源SAIL？

企业销售加速器无需构建广泛的开发者平台。而生态需要文档、示例、库、兼容性、支持、可预期的版本发布，以及外部开发者影响未来发展的途径。

平头哥已在阿里内部及客户部署中使用其芯片。开源SAIL或有助于：

• 吸引更多开发者使用臻武硬件
• 扩展框架与模型支持
• 帮助外部团队诊断问题
• 支持高校及研究机构研究技术栈
• 鼓励软件公司创建集成方案
• 赋予客户更多优化部署控制权
• 降低从现有加速器生态迁移的成本

此次发布也回应了国产AI计算领域的普遍问题：硬件能力发展快于软件成熟度与开发者认知。

开源技术栈将吸引更广泛的社区参与填补这一缺失层。

SAIL成功的决定性因素

首次发布仅是开端。采用率将取决于：

• 文档质量
• 可复现构建
• 明确许可协议
• 算子覆盖度
• 框架版本支持
• 性能透明度
• 稳定版本发布
• 社区治理
• 硬件访问权
• 国际化支持

开发者还将关注后续开源阶段是否如期推进，以及社区能否做出实质性贡献。

重要限制与待解问题

部分组件尚未就绪

官方路线图显示，部分通信软件、加速库、推理引擎组件及Docker/PIP源计划在后续阶段推出。

仓库与下载结构可能各异

官方访问入口为平头哥开发者社区。各组件可能采用不同的下载、文档、登录、包管理或仓库工作流程。

各组件许可协议需单独核查

驱动、工具、库、示例及第三方软件的许可——

并非所有包都采用相同许可证。在修改或重新分发前，请检查每个下载包附带的许可证。

CUDA 兼容性并非自动实现

当所需操作受支持时，框架级应用程序可能只需少量修改即可迁移。自定义CUDA内核和CUDA专用扩展通常需要单独的移植工作。

国际采用仍是待解问题

语言支持、社区治理、支持渠道、云访问和硬件可用性将影响中国以外的采用情况。

常见问题

什么是 T-Head SAIL？

T-Head SAIL 是阿里巴巴旗下平头哥为其镇岳加速器打造的AI软件栈。它涵盖驱动程序、运行时软件、语言接口、编译、优化库、性能分析、调试、设备监控和集群管理。

SAIL 代表什么？

SAIL 代表 Seed of AI Library（AI 库种子）。平头哥表示，该名称反映了其目标：将开放代码作为更广泛AI计算生态的种子。

整个 SAIL 栈是否已全部开源？

并非所有计划组件都在第一阶段发布。首次开源包含文档、SDK包、内核驱动、性能工具和调试资源，后续阶段将涵盖更多通信软件、包源代码、加速库和推理引擎。

开发者在哪里可以下载 T-Head SAIL？

官方入口是 平头哥开发者社区。请使用实时门户确认包可用性、硬件要求、许可证和安装说明。

SAIL 支持哪些AI框架？

平头哥列出PyTorch、TensorFlow、vLLM和SGLang等受支持生态系统，并表示该软件栈已适配超过260个框架和生态组件。具体版本和生产状态应查看兼容性文档。

CUDA 应用能否不经修改就在 SAIL 上运行？

使用受支持操作的框架级应用可能只需少量适配。自定义CUDA代码、CUDA专用扩展、不受支持的操作以及依赖硬件的前提条件可能仍需移植。

包含哪些性能分析和管理工具？

平头哥列出：Asight Compute 用于算子分析、Asight Systems 用于系统性能分析、PPU-SMI 用于设备监控、PPU-DCGM 用于集群级管理。

哪些芯片使用 T-Head SAIL？

SAIL 专为镇岳AI加速器系列设计。阿里巴巴表示，截至2026年4月，镇岳累计出货量达56万颗，且该软件栈已在阿里云和外部生产环境中使用。

相关工具

• 平头哥开发者社区：SAIL文档、SDK包、驱动程序、性能工具和调试资源的官方门户。
• PyTorch：开源的机器学习框架，是SAIL支持生态系统之一。
• TensorFlow：通过SAIL生态支持的开源训练和推理框架。
• vLLM：一个

在 T-Head 兼容性公告中提及的开源高吞吐量 LLM 服务引擎。

• SGLang：由 SAIL 支持的开源语言和多模态模型服务框架。
• Anolis OS：出现在 T-Head 发布的 SAIL 架构操作系统列表中的 Linux 发行版。
• 阿里云百炼：阿里云基于基础模型构建和部署应用的平台。

相关链接

• 官方 T-Head SAIL 公告：阿里云开发者社区公告，涵盖技术栈、库、工具、兼容性声明及分阶段路线图。
• T-Head 开发者社区：当前 SAIL 文档和下载的官方入口。
• 阿里云 WAIC 2026 概览：确认 SAIL 开源及镇岳出货数据的官方英文报道。
• 镇岳 M890 官方介绍：关于 M890 内存、互联带宽、性能及相关基础设施的官方信息。
• 倚天 710 官方公告：阿里云 Arm 服务器处理器的官方规格与基准测试数据。
• 含光 800 官方公告：阿里首款 AI 推理芯片的原始发布信息。
• 阿里云双 11 案例研究：涉及阿里云基础设施和含光 800 的官方生产案例信息。

总结

T-Head 在规模化部署镇岳加速器后开放了 SAIL。该技术栈将镇岳硬件与操作系统、编程语言、编译器、优化库、AI 框架、性能分析工具及集群管理系统连接起来。

其主要承诺是降低迁移门槛：复用熟悉的代码和框架，更快获得新 AI 软件的支持，避免被锁定在单一封闭开发路径中。这些承诺仍需通过实际模型、自定义内核、框架版本、性能目标和运维要求来验证。

此次开放具有实质意义但分阶段推进。文档、SDK、驱动程序、性能工具和调试资源已通过开发者社区提供，而额外的通信库、软件包源、加速库及推理引擎组件计划在后续版本中发布。

T-Head 最重要的举措并非单纯发布另一款芯片，而是邀请开发者审视、使用并最终共同塑造决定这些芯片能否成为持久计算平台的软件层。