Meta 开源 Muse Glimmer 30B,可在消费级硬件上运行本地 AI 代理

Meta 发布了 Muse Glimmer,这是一个拥有 300 亿参数的开源权重模型,专为本地、常驻 AI 代理而设计。该模型由 Meta 于 2026 年 8 月 10 日推出。

发布于 2026年8月11日generalGEO 评分: 0
图片为 Meta 开放 Muse Glimmer 30B 的宣传图,背景为深蓝色,左上角有 Meta 的标志。中间大字标题为“Meta Open-Sources Muse Glimmer 30B”,下方副标题为“Local AI Agents on Consumer Hardware”。画面下方有笔记本电脑、机器人、代码、数据库等图标,右侧是带有“Local AI”字样的电路板。该图与文档中介绍 Meta 开放 Muse Glimmer 30B,适用于本地 AI 代理等内容相契合,直观呈现了主题。

Meta 开源 Muse Glimmer 30B,可在消费级硬件上运行本地 AI 智能体

简介

Meta 发布了 Muse Glimmer,一款 300 亿参数的开源权重模型,专为本地、常驻运行的 AI 智能体设计。

该模型由 Meta 超级智能实验室于 2026 年 8 月 10 日推出,其权重在宽松的 Apache License 2.0 许可下提供。

Muse Glimmer 面向的部署模式与当今大多数人使用的云端优先前沿模型不同。

它不需要将每个提示词、截图、文档或工具调用都发送到托管的模型 API,而是设计为直接在配备合适消费级硬件的 Mac 或 PC 上运行。

Meta 将其定位用于以下任务:

  • 本地个人智能体。
  • 函数与工具调用。
  • 多步骤工作流。
  • 编码与调试。
  • 截图与文档理解。
  • 面向文件的工作流。
  • 长周期推理。
  • 以 LLM 作为评判者的评估。

该模型接受文本和图像输入,并生成文本输出。它可以通过专门的感知编码器解释截图、图表、文档和其他视觉输入。

其训练数据覆盖 100 多种语言。

核心理念很简单:

个人上下文
+ 本地模型
+ 工具
+ 长期运行的智能体循环
=
一个不依赖云端模型即可工作的 AI 助手

这种本地优先的设计对于可能需要访问个人资料(如文件、消息、日程和工作文档)的智能体尤其重要。

不过,“离线模型”不应被误解为“所有智能体任务都能离线运行”。Muse Glimmer 本身可以在无网络的情况下运行,但调用云端日历、发送电子邮件、搜索网页或使用其他远程服务的智能体仍需要相应的网络连接和凭据。

Muse Glimmer 是从 Muse Spark 蒸馏而来的 30B 模型

最初的 AIBase 报告将 Glimmer 描述为 Meta 早期 Muse Spark 的开放版本。

这一说法在精神上接近,但在技术上并不精确。

Meta 的官方描述称 Muse Glimmer 是从 Muse Spark 蒸馏而来的。

该模型通过多阶段训练流程构建,将能力从更大的教师模型迁移到更适合本地硬件的小型架构中。

Meta 描述了三个主要训练阶段:

  1. 预训练: Glimmer 使用逻辑蒸馏(logit distillation)在 Muse Spark 的输出上进行训练,并采用相似的数据混合。
  2. 中期训练: Meta 增加了更长上下文和更多智能体密集型数据,包括更丰富的推理轨迹。
  3. 后期训练: 团队结合了监督微调、策略内蒸馏以及针对通用、推理、编码和智能体任务的强化学习。

因此,两者的关系可以更好地概括为:

Muse Spark
    ↓
教师输出与推理
    ↓
蒸馏 + 面向智能体的训练
    ↓
Muse Glimmer 30B

Glimmer 并不仅仅是 Spark 同一检查点直接开放下载权重。

它是一个独立的、更小的模型,围绕本地推理的约束进行了优化。

架构与核心规格

Meta 当前的模型卡列出约 **29.6

总参数达billion,包括视觉编码器。

规格 Muse Glimmer 30B
架构 带感知编码器的密集因果Transformer
总参数 ~29.6B
Transformer层数 52
隐藏维度 6,656
注意力 重复的局部/局部/局部/全局模式
滑动窗口 2,048
上下文长度 131,072+ tokens
视觉编码器 ~1.8B参数的ViT-G/14
每张图像最大视觉token数 4,096
输入 文本+图像
输出 文本
训练语言 100+种语言的数据
知识截止日期 2026年1月4日
许可证 Apache 2.0

该模型是密集型的,而非专家混合(Mixture-of-Experts)。

这使得本地部署问题更加困难,因为在推理过程中必须加载模型的所有权重。

Meta主要通过量化来解决这一问题。

专为适配24GB或32GB显存而设计的30B模型

在全精度下,这种规模的模型所需内存超过典型消费级GPU所能提供的。

Meta表示,全精度模型需要超过55GB的内存,其参考全精度目标为64GB VRAM配置。

对于本地部署,Meta提供了约4位量化的变体。

官方对比情况如下:

变体 目标硬件 平均准确率下降*
全精度 64GB VRAM
K-Quant-Dynamic 32GB VRAM 0.2%
K-Quant-17GB 24GB VRAM 1.0%

*Meta报告称,下降幅度为15个常见基准测试中准确率指标的平均值。

压缩后的语言模型权重可降至20GB以下,为以下内容留出空间:

  • KV缓存。
  • 感知编码器。
  • DFlash草稿模型。
  • 运行时开销。

这一工程上的改变,使得密集30B多模态智能体在一台高端消费级设备上的实机运行成为现实。

“消费级硬件”仍需要说明背景。

与数据中心集群相比,24GB或32GB的内存需求是可达的,但这并非低端笔记本电脑配置。

完整模型仍然要求较高。

面向多步骤智能体工作流而构建

Muse Glimmer并非主要定位为轻量级聊天模型。

Meta围绕智能体任务完成进行了训练和评估。

模型卡中重点突出了几项相关能力。

端到端任务完成

Glimmer的设计目标是完成整个任务,而非在一次回复后即停止。

智能体可以:

理解目标
→ 制定计划
→ 调用工具
→ 检查结果
→ 修订计划
→ 调用另一个工具
→ 完成任务

这对于正确答案依赖于中间操作的场景尤其有用。

可靠的工具使用

该模型经过训练,可在扩展工作流中使用结构化模式调用函数。

这使得它适用于暴露以下工具的各类系统:

  • 文件。
  • Shell命令。
  • 数据库。
  • 日历。
  • 文档。
  • 浏览器。
  • 内部应用程序。

模型本身不会自动获得对这些系统的访问权限。

智能体脚手架决定了存在哪些工具以及模型获得的权限。

多步骤推理

Glimmer支持在更长的工作流中持续规划。

它还支持四种推理强度设置:




极高

Meta 建议对于更具难度的编码、推理和智能体任务,使用“高”或“极高”级别。

当延迟比深度推理更重要时,较低级别可能更合适。

失败恢复

智能体更重要的特性之一是在工具调用失败后能够继续运行。

Meta 表示,Glimmer 经过训练,可以诊断意外结果并重试,而不是立即停止。

对于长期运行的本地助手来说,这一点与原始基准性能同样重要。

真实工具会失败。

文件会被移动。命令会返回错误。API 会超时。程序可能无法编译。

一个无法恢复的智能体会把每一个小失败都变成需要人工介入的中断。

文本和图像输入使截图更有用

Muse Glimmer 包含一个专用的视觉编码器,参数约为 18 亿。

这使其能够处理交错排列的文本和图像输入。

Meta 特别强调了涉及以下场景的用例:

  • 截图。
  • 图表。
  • 文档。
  • 可视化界面。

这对计算机操作型智能体尤其重要。

本地智能体可以检查应用程序的截图,并在下一步推理中使用该视觉上下文。

Ollama 提供了如下示例:

  • 根据线框图构建应用程序。
  • 由截图驱动的计算机操作工作流。
  • 读取收据、文档和图表。

视频不是原生优化的输入模态。

Meta 的模型卡显示,视频可以作为单独的帧处理,但该模型并未针对视频理解进行显式优化。

音频输入和输出也不受支持。

覆盖 100 多种训练语言

AIBase 报告称,Glimmer 支持文本和图像交互,并覆盖 100 多种语言的训练数据。

Meta 的模型卡确认,其训练数据来自 100 多种语言。

这并不等同于保证在所有语言上具有相同的性能。

Meta 明确指出,该模型并未针对其预训练数据中的每种语言进行评估,在主要支持语言之外,性能可能会较弱。

对于本地多语言应用程序,开发者应直接测试目标语言,而不是假设质量是均匀的。

DFlash 加速本地智能体循环

本地智能体工作流可能会感觉缓慢,因为一个任务可能需要多轮推理和工具调用。

在 20 或 50 个智能体步骤中重复出现的小延迟惩罚会变得明显。

Muse Glimmer 附带一个基于 DFlash 的轻量级推测解码伴生模型。

草稿模型会提出一块未来 token。

随后,Glimmer 主模型会并行验证这些提议的 token。

简化流程如下:

DFlash 草拟一块
→ Muse Glimmer 验证
→ 正确的 token 被接受
→ 错误的 token 被修复

Meta 表示,DFlash 模型在前向传播中一次可草拟 16 个 token 的块。

其目标是减少普通逐 token 生成过程中的顺序瓶颈。

Meta 报告了其 K-Quant-17GB 模型配合量化 DFlash 草稿模型的解码速度:

设备 基线 使用 DFlash 报告加速比
NVIDIA RTX 5090 74.9 tok/s 233.4 tok/s 3.1×

|
| Apple M5 Max | 26.6 tok/s | 50.2 tok/s | 1.8× |
| Apple M4 Max | 23.7 tok/s | 37.8 tok/s | 1.5× |

以上为 Meta 报告的测量数据。

该公司表示,测试使用了批量大小为 1 的贪心解码,M4/M5 的测量通过 ExecuTorch 完成,RTX 5090 的测量通过 llama.cpp 完成。

实际应用速度将因以下因素而异:

  • 提示长度。
  • 上下文大小。
  • 量化方式。
  • 工具延迟。
  • 硬件。
  • 运行时。
  • 图像输入。
  • 推理强度。
  • 是否启用推测解码。

基准测试性能

Meta 将 Muse Glimmer 与同尺寸级别的其他开放权重模型进行了比较,包括 Gemma4-31B 和 Qwen3.6-27B。

部分公司报告的成绩包括:

基准测试 Muse Glimmer 30B
MCP Atlas 75.5
DeepSearch QA 74.6
WildClawBench 47.6
OSWorld-Verified 65.9
SWE-Bench Pro 51.2
SWE-Bench Verified 76.0
TerminalBench 2.1 51.7
ScreenSpot Pro 75.4
MMMU Pro 74.0
AIME 2026 94.7
GPQA Diamond 83.5

总体表现具有竞争力,但并非全面领先。

例如,Meta 自己的图表显示,在多项基准测试中,其他模型领先于 Glimmer。

这在意料之中。

Muse Glimmer 的主要产品定位并非“在所有基准测试中均取得最佳成绩”。

而是以下要素的组合:

智能体能力
+
多模态输入
+
本地执行
+
开放权重
+
面向消费级内存的目标

基准测试方法需要结合背景理解

Meta 还发布了一份独立的评估方法文档。

该文档指出,比较数据可能来自以下来源的混合:

  • 内部复现。
  • 模型提供方自行报告的结果。
  • Artificial Analysis。

智能体基准测试对以下因素尤为敏感:

  • 系统提示。
  • 智能体脚手架。
  • 工具定义。
  • 时间或轮次限制。
  • 采样设置。
  • 运行时环境。

基准测试表格是有用的证据。

但不应将其视为某模型在每种实际智能体部署中都是最优的证明。

本地隐私是主要战略应用场景

原文重点关注个人隐私。

这也是在本地运行智能体的最重要理由之一。

一个有用的个人智能体可能需要访问:

  • 本地文档。
  • 消息。
  • 笔记。
  • 工作文件。
  • 截图。
  • 个人日程。
  • 应用程序状态。
  • 私人项目上下文。

将所有这些材料发送到远程模型服务会形成与在用户设备上处理完全不同的数据流模式。

Muse Glimmer 的设计使核心推理循环可以保持在本地运行。

Meta 官方的 Muse Glimmer 食谱文档指出,其本地优先的配方可以在无需以下条件的情况下运行:

  • 云基础设施。
  • 托管推理。
  • API 密钥。
  • 网络访问。

这可以减少需要离开设备的个人数据量。

本地并不自动意味着私密

这一区别仍然很重要。

本地模型可以连接到将数据发送到其他位置的工具。

例如:

本地 Glimmer 模型
→ 云电子邮件服务
→ 远程日历
→ 网络搜索
→ 第三方 MCP 服务器

在该系统中,模型推理是本地的,但工作流程并非完全离线。

隐私取决于完整的智能体

架构。

开发者应审计:

  • 工具权限。
  • 远程端点。
  • 日志。
  • 持久化内存。
  • 浏览器访问。
  • Shell 访问。
  • 凭据。
  • 遥测。
  • 插件或 MCP 行为。

本地推理是一种有用的隐私原语,而非通用保证。

即使没有网络,个人智能体也能工作

对于完全围绕本地资源构建的工作流,Muse Glimmer 在网络不可用时仍能继续运行。

本地个人智能体理论上可以处理以下任务:

  • 搜索本地笔记。
  • 重新整理文件。
  • 总结离线文档。
  • 起草稍后发送的消息。
  • 编写和调试本地代码。
  • 从截图中提取信息。
  • 构建本地报告。
  • 管理本地存储的任务列表。

这正是 Meta 将 Glimmer 描述为始终在线的本地智能体模型的含义。

该模型无需等待云端端点即可保持可用。

这也可以在用户支付硬件和电费后,免除推理产生的按 token 计费 API 费用。

该模型仍需要智能体脚手架

下载 Muse Glimmer 并不会自动创建完整的个人助手。

模型只是一个组件。

一个有用的智能体仍需要执行环境。

典型组件包括:

Muse Glimmer
+
系统指令
+
工具定义
+
智能体循环
+
权限控制
+
内存
+
本地或远程应用

Meta 的模型卡表明 Glimmer 可与 OpenClawHermes Agent 等智能体编排模式配合使用。

Meta 还发布了 Muse Glimmer 烹饪手册,涵盖:

  • 快速入门。
  • 工具使用基础。
  • 智能体配方。
  • 推理服务器。
  • 特定硬件的部署。
  • 托管替代方案。

这使得此次发布比仅发布权重更有价值。

在 Apple Silicon 上通过 Ollama 快速入门

Ollama 于 8 月 10 日增加了对 Muse Glimmer 的早期支持。

在撰写本文时,Ollama 自己的发布说明称其初始支持通过 Apple Silicon 上的 MLX 引擎实现。

预计后续将推出针对 Apple Silicon、NVIDIA、AMD 及其他平台的更多优化。

安装当前版本的 Ollama 并运行:

ollama run muse-glimmer:30b-mlx

对于受支持的编码智能体集成,Ollama 文档提供了示例,例如:

ollama launch claude --model muse-glimmer:30b-mlx

对于 OpenClaw:

ollama launch openclaw --model muse-glimmer:30b-mlx

对于 Hermes:

ollama launch hermes --model muse-glimmer:30b-mlx

由于新模型发布后本地运行时支持正在快速演进,在假设 Windows、Linux、NVIDIA 或 AMD 上具有相同模型标签和后端支持之前,请查看最新的 Ollama 文档。

使用 vLLM 运行模型

当前的 Hugging Face 模型页面提供了 vLLM 快速入门指南。

安装 vLLM:

pip install vllm

提供 Muse Glimmer 服务:

vllm serve "meta-models/Muse-Glimmer-30B"

生成的服务器公开了一个兼容 OpenAI 的 API。

这可以使已经知道如何调用本地 OpenAI 风格聊天端点的应用更容易连接。

全精度提供服务所需的内存远高于 24GB/32GB 的量化版本。

部署路径。

请根据实际可用的硬件选择模型工件和运行时。

使用 SGLang 运行

官方模型页面也提供了 SGLang 路径:

pip install sglang

然后:

python3 -m sglang.launch_server \
    --model-path "meta-models/Muse-Glimmer-30B" \
    --host 0.0.0.0 \
    --port 30000

之后即可通过本地服务器的 OpenAI 兼容端点调用该模型。

Docker 模型运行器

当前的 Hugging Face 集成页面还列出了:

docker model run hf.co/meta-models/Muse-Glimmer-30B

基于 Docker 的部署可以简化打包,但硬件兼容性、内存需求和运行时支持仍需在目标机器上进行验证。

发布的工件不止一个 BF16 检查点

Meta 的 Hugging Face 合集目前包含多个官方工件:

  1. Muse-Glimmer-30B — 用于研究和微调的 BF16 权重。
  2. Muse-Glimmer-30B-GGUF — 用于本地推理的官方 K-quant 文件。
  3. Muse-Glimmer-30B-ExecuTorch-PTE — 面向设备端构建,包括针对 Metal 的部署方案。
  4. Muse-Glimmer-30B-assistant — DFlash 投机解码配套模型。

Meta 的模型卡片显示此次发布包含:

  • 全精度 BF16 权重。
  • 两个 4 位量化变体。
  • 一个 DFlash 起草模型。
  • 感知编码器。

所有这些均以 Apache 2.0 许可发布。

与仅发布一个大型研究检查点相比,这对开发者友好得多。

本地编码是主要目标场景

编码是最清晰的本地智能体用例之一。

编码智能体通常需要访问:

  • 代码仓库。
  • 本地文件。
  • Shell。
  • 构建工具。
  • 测试。
  • 编译器输出。
  • 截图或设计稿。

将这些材料保留在本地可能对以下场景具有吸引力:

  • 专有软件。
  • 企业内部代码。
  • 未发布的产品。
  • 敏感的客户项目。
  • 隔离网络或低连通性环境。

Meta 在 SWE-Bench 和 TerminalBench 等编码任务上评估了 Glimmer,并将编码智能体列为预期用例之一。

尽管如此,本地部署并不能消除编码智能体的常规风险。

具有 shell 或文件写入权限的模型可能:

  • 删除文件。
  • 修改配置。
  • 运行不安全命令。
  • 安装不受信任的依赖。
  • 通过已连接的工具泄露数据。

权限控制和沙箱隔离仍然必不可少。

Meta 建议为现实世界操作增加额外护栏

Meta 的模型卡片并未将 Glimmer 描述为应被授予无限制访问权限的自主系统。

它建议将模型部署为更广泛系统的一部分,并配备适合上下文的防护措施。

对于智能体化使用场景,Meta 特别建议实施诸如对不可逆操作进行人工确认之类的控制措施。

这对于涉及以下任务尤为重要:

  • 发送电子邮件。
  • 删除数据。
  • 发布内容。
  • 转账。
  • 更改生产基础设施。
  • 修改安全设置。

本地模型可以减少对云的依赖,但仍需谨慎设计智能体。

准备度评估:中等或更低

Meta 表示 Muse Glimmer 的整体能力低于 Muse Spark,因此未达到 Meta 的

Meta 的《先进人工智能扩展框架》中对前沿人工智能的定义。

尽管如此,Meta 仍通过其 Preparedness 流程对此次开源发布进行了评估。

模型卡给出了以下定级:

风险领域 Meta 评估
化学/生物 中低或更低
网络安全 中低或更低(推断)
失控 中低或更低(推断)

Meta 表示,网络安全和失控方面的结论属于推断,部分原因是 Glimmer 整体上弱于 Muse Spark 1.0,而后者在这些领域获得了相同的定级。

这些是 Meta 自身的安全评估,并非独立认证。

该公司也承认,测试无法覆盖所有场景。

个人超级智能是更大的战略

AIBase 文章的结尾部分将 Muse Glimmer 与马克·扎克伯格的个人超级智能理念联系起来。

这一联系是官方的。

Meta 一再将其近期模型和产品定位为:先进人工智能应帮助个人追求自己的目标,而不是将智能集中在少数公司或政府手中。

在扎克伯格 8 月 10 日的文章**《未来属于每个人》**中,他主张先进人工智能应被广泛分发。

他列举的个人智能体可帮助的场景包括:

  • 人际关系。
  • 健康。
  • 职业。
  • 财务。
  • 家庭管理。
  • 学习。
  • 创造力。
  • 新业务。

他还表示,Meta 打算让这些工具免费或以尽可能低的价格供用户使用,包括可供数十亿人使用的免费版本。

Muse Glimmer 是这一哲学中一部分的实际展示:

强大的智能体模型
→ 可下载权重
→ 本地推理
→ 用户控制的硬件

开源模型作为权力平衡战略

扎克伯格的论点超越了开发者便利性。

他将开源 AI 视为减少权力集中的一种方式。

其逻辑是:

少数机构控制最强 AI
→ 智能变得集中

许多人可以运行强大模型
→ 能力变得更加分散

这能否带来更好的安全结果,是一个有争议的问题。

扎克伯格认为,广泛访问可以形成制衡。

另一些人则认为,高能力的开源模型也可能增加滥用风险,因为一旦权重被广泛分发,某些安全防护措施将难以执行。

Muse Glimmer 并非 Meta 能力最强的模型,这一点在这场辩论中至关重要。

Meta 自己的 Preparedness 评估表明,Glimmer 明显弱于 Muse Spark,并在关键的前沿风险类别中将其评为中低或更低。

这使得它成为实施本地/开源战略风险相对较低的切入点。

Meta 的开源与闭源模型战略比来源文章所暗示的更加灵活

AIBase 文章呈现了一个简单的二分法:

Muse Glimmer = 开源
Muse Spark = 闭源

这准确描述了 Meta 产品现状的一部分,但作为长期战略则过于静态。

Muse Spark 最初通过 Meta AI 和私有 API 预览版发布,而非可下载权重。

Glimmer 则是开放权重。

然而,扎克伯格在 8 月的

第10条声明还表示,既然Meta超级智能实验室已经投入运营,Meta将恢复发布一些开源模型

围绕同一公告的当代报道还提到,Meta计划发布更多开放权重的Muse版本。

因此更准确的理解是:

Meta正在为不同的能力层级和产品采用不同的访问模式,同时公开承诺未来将继续开放发布。

由此断定Meta已决定其更强的Muse模型将永久保持封闭,这种结论过于绝对。

为什么本地智能体对消费级AI竞争至关重要

云端AI具有明显优势:

  • 可获取海量算力。
  • 模型升级速度快。
  • 集中式工具基础设施。
  • 更易于支持超大规模前沿模型。

本地AI则提供另一组优势:

  • 推理过程私密。
  • 可离线使用。
  • 无需按token支付云端费用。
  • 某些工作流享有更低的网络延迟。
  • 直接访问本地数据。
  • 开发者控制力更强。

Muse Glimmer之所以值得关注,是因为它试图将强大的智能体能力引入这一权衡中的本地一侧。

其目标并非一个只会回答几个预设问题的小型助手。

而是一个能够:

  • 进行规划。
  • 使用工具。
  • 从失败中恢复。
  • 理解截图。
  • 编写代码。
  • 处理长上下文。
  • 完成多步骤任务的模型。

这正是24GB/32GB部署目标的重要性所在。

它使智能体能力进入个人开发者和高级用户实际能够拥有的设备中。

哪些已确认,哪些需要进一步辨析

声明 当前状态
Meta于2026年8月10日发布Muse Glimmer 已确认
该模型约300亿参数 已确认
模型权重以Apache 2.0许可发布 已确认
Glimmer由Muse Spark蒸馏而来 已确认
Glimmer就是完全相同的Muse Spark模型被开源
该模型接受文本和图像输入 已确认
它生成文本输出 已确认
它使用超过100种语言的数据进行训练 已确认
上下文长度为131,072+ token 已确认
量化版本面向24GB和32GB内存环境 已确认
可在配备合适消费级硬件的Mac或PC上运行 Meta已确认
可在无需云基础设施或网络连接的情况下本地运行 就模型本身而言已确认
所有智能体任务均可离线完成 否;联网工具仍需要网络连接
DFlash加速解码 已确认
Meta报告在RTX 5090上最高可达3.1倍加速 公司声称
Muse Glimmer面向本地智能体和编码用途 已确认
下载后自动管理邮件、日历和文件 否;需要智能体框架和工具授权
Muse Spark将永久保持封闭 尚未确认
扎克伯格希望个人超级智能广泛可用且价格可负担 已确认

常见问题

什么是Meta Muse Glimmer?

Muse Glimmer是Meta超级智能实验室推出的一款约300亿参数的开权重重模态模型。它针对本地智能体工作流、工具使用、编码、截图理解、长上下文推理和多步骤任务进行了优化。

完成。

Muse Glimmer 是开源的吗?

Meta 根据宽松的 Apache 2.0 许可证发布了模型权重和相关工件,并将此次发布描述为开源/开放权重。从技术精确性角度,它通常被描述为开放权重模型,因为发布的主要工件是训练好的模型。

Muse Glimmer 需要多少显存(VRAM)?

Meta 官方量化版本针对 K-Quant-Dynamic 目标为 32GB 显存,K-Quant-17GB 目标为 24GB 显存。全精度模型需要超过 55GB 内存,Meta 模型卡中显示的目标配置为 64GB。

Muse Glimmer 可以完全离线运行吗?

可以。该模型可以在本地进行推理,无需云端模型或网络连接。然而,如果智能体使用网络搜索、云端邮件、远程日历、在线数据库或其他互联网工具,则执行这些工具调用时仍需要联网。

Muse Glimmer 支持图像吗?

支持。它配备了一个专门的约 1.8B 参数感知编码器,可接受文本和图像输入。它可以对截图、图表、文档和其他视觉内容进行推理分析。

我可以使用 Ollama 运行 Muse Glimmer 吗?

可以。Ollama 已在其 Apple Silicon 的 MLX 引擎上添加了 Muse Glimmer 的初步支持。在发布时,Ollama 表示后续会推出更多优化和平台支持,因此其他硬件用户应查看最新版本说明。

Muse Glimmer 是 Muse Spark 的开源版本吗?

不完全是。Muse Glimmer 是从 Muse Spark 蒸馏而来,并作为独立的 30B 模型进行训练,面向本地智能体工作负载。它继承了更大规模教师模型的能力,但并非简单地为 Spark 检查点加上开放许可证。

Muse Glimmer 中的 DFlash 是什么?

DFlash 是一种投机解码伴生模型,它提出未来 token 块,供主模型并行验证。Meta 报告称,在其测试配置下,DFlash 在 M4 Max 上将解码速度提升了 1.5 倍,在 M5 Max 上提升了 1.8 倍,在 RTX 5090 上提升了 3.1 倍。

相关工具

  • Hugging Face 上的 Muse Glimmer:Meta 官方模型卡,包含 BF16 权重、架构、基准测试、安全说明和部署示例。
  • Muse Glimmer Cookbook:Meta 官方提供的本地智能体、工具调用、推理服务器和特定硬件部署的配方。
  • Ollama:本地模型运行时,提供 Muse Glimmer 早期支持和智能体集成。
  • llama.cpp:广泛使用的本地推理运行时,受 Muse Glimmer 的 GGUF 生态支持。
  • vLLM:高吞吐量推理服务器,提供官方 Muse Glimmer 服务示例。
  • SGLang:推理和服务框架,受当前 Muse Glimmer 模型页面支持。
  • ExecuTorch:PyTorch 的边缘推理运行时,Meta 用于在 Apple 硬件上对 Muse Glimmer 进行性能测量。
  • LM Studio:用于发现和运行本地模型的桌面环境,包括兼容 Muse Glimmer 的模型。

量化。

相关链接

摘要

Muse Glimmer 是 Meta 超级智能实验室推出的新款 30B 开放权重模型,面向本地、常驻型 AI 智能体。它由 Muse Spark 蒸馏而来,而非 Spark 的直接开源副本,并集成了多模态输入、工具调用、编码、长上下文推理、故障恢复以及 100 多种训练语言。

工程重点在于本地部署。Meta 提供了针对 24GB 和 32GB 内存环境设计的量化配置、128K+ 上下文窗口,以及一款名为 DFlash 的投机解码伴生模型,该公司表示可显著提升生成速度。

本地执行让开发者对私有文件和个人上下文拥有更多控制权,同时减少对托管推理的依赖。但这并不会自动让所有连接智能体的工作流程变为私密或离线;远程电子邮件、日历、浏览器、MCP 和其他服务仍然会产生各自的数据流。

此次发布也契合 Meta 更广泛的个人超级智能战略。扎克伯格认为,先进 AI 应广泛分发,免费或以可负担的价格提供,并越来越多地由个人掌控,而非集中在少数机构手中。

Muse Glimmer 的意义不在于一款 30B 模型取代了最大的云端模型,而在于严肃的多模态智能体能力正在走向个人开发者和高级用户能够拥有和控制的硬件。