Google 将 Android Bench 更新至 Harbor 平台：Claude Fable 5 领跑新版 AI 编码排行榜

引言

Google 已更新其 Android Bench 编码排行榜，并将基准测试工作流迁移至 Harbor 框架。此次更新意义重大，因为 Android Bench 并非通用的编码竞赛，而是专门用于测试大型语言模型处理真实 Android 开发任务的能力，包括代码库理解、补丁生成、Android 专用 API、构建系统和测试验证。

新的测试结果为开发者带来了值得关注的信号：Claude Fable 5 目前位居更新后排行榜首位，紧随其后的是 GPT 5.5，而 Google 自家的 Gemini 系列模型在准确率、延迟和成本方面表现参差不齐。对于在 Android 项目中使用 AI 编码工具的团队而言，关键信息并非简单的"哪个模型赢了"，而是评估方法、沙盒环境、成本和延迟共同改变了模型性能的评判方式。

Google 将 Android Bench 迁移至 Harbor 框架

7 月 9 日，Google 宣布对 Android Bench（其用于 AI 辅助 Android 开发的基准测试和排行榜）进行重大更新。最重要的变化是采用了 Harbor——一个用于在沙盒环境中运行智能体任务的标准框架。

此前，Android Bench 使用基于 mini-swe-agent v1 的评估方案，并针对 Android 开发进行了适配。在新版本中，Google 转向 Harbor，使基准测试执行更加标准化、隔离和可重复。其目标是让开发者和研究人员更容易进行独立评估、比较不同智能体配置，并以更透明的方式分享结果。

Google 还在 GitHub 上开源了 Android Bench 工具，这使社区能够更清晰地了解基准测试的工作方式，并为反馈、自定义 Android 开发任务以及更广泛地参与模型评估打开了大门。

为何 Harbor 沙盒变更如此重要

基准测试背后的框架可能影响最终结果。对于 AI 编码智能体而言尤其如此——模型不仅回答问题，还会检查代码库、运行命令、编辑文件、调用工具并尝试通过测试。

Harbor 围绕沙盒化智能体任务评估构建。对于 Android Bench 而言，这意味着模型运行可以在更受控的执行环境中组织，而非依赖临时的本地设置。这有助于减少模型比较时的歧义，并使特定评估更易于复现。

Google 的 Android Bench 方法还强调 Android 专用开发问题，而非通用编程任务。该基准测试包含与 Jetpack Compose、协程与 Flow、Room、Hilt、导航迁移、Gradle 配置等领域相关的工作。

SDK 变更、媒体、相机、折叠屏、运行时权限以及其他常见的 Android 工程问题。

排行榜结果更新

在方法论调整后，Google 重新运行了基准测试并更新了 Android Bench 排行榜。根据最新结果，Claude Fable 5 以 84.5% 的得分位居榜首。GPT 5.5 以 80.2% 紧随其后，Claude Sonnet 5 以 76.2% 排名第三。

排名靠前的结果简化后如下所示：

排名	模型	得分	置信区间	平均延迟	平均成本
1	Claude Fable 5	84.5%	79.9–88.8	8.0 小时	$133.2
2	GPT 5.5	80.2%	73.5–86.6	11.4 小时	$138.3
3	Claude Sonnet 5	76.2%	69.0–82.1	12.3 小时	$99.9
4	GPT 5.4	74.1%	66.0–80.9	8.4 小时	$83.4
5	Gemini 3.1 Pro Preview	73.7%	66.1–80.4	10.6 小时	$87.4
6	Claude Opus 4.8	72.4%	65.8–79.3	6.7 小时	$88.0
7	GLM 5.2	72.2%	65.3–78.7	38.9 小时	$117.0
8	Gemini 3.5 Flash	71.1%	63.6–78.2	28.3 小时	$165.6

这些数据应被视为特定于该基准测试的结果。它们并不能证明某个模型在所有编码任务上都普遍更优。它们仅展示了每个模型在 Google 更新的、针对 Android 的评估环境下的表现。

Gemini 在新结果中排名居中

更新后的排名值得注意，因为 Google 自家模型并未领跑榜单。Gemini 3.1 Pro Preview 以 73.7% 的得分排名第五。其报告的平均成本低于几个排名靠前的模型，但其准确率落后于 Claude Fable 5、GPT 5.5、Claude Sonnet 5 和 GPT 5.4。

Gemini 3.5 Flash 的情况则更有趣。它被定位为一个更轻量的模型，但在此基准测试中，它显示出 28.3 小时的较长平均延迟和每次完整基准测试运行 165.6 美元的平均成本。尽管普遍预期轻量模型应更快、更便宜，但这使得它在此特定评估中缺乏吸引力。

更大的教训很简单：为编码智能体选择模型不能仅仅基于品牌、模型系列或每 Token 价格。一个在普通聊天使用中看似成本效益高的模型，在被要求通过工具调用、仓库编辑和测试运行来解决 100 个实际 Android 开发任务时，其表现可能会大不相同。

Android Bench 实际评估的内容

Android Bench 旨在评估一个大型语言模型是否能像一名实际的 Android 开发者一样工作。它向模型提供真实世界的问题描述，并要求其生成能够解决问题的代码更改。随后，生成的补丁会根据一个验证设置进行检查。

Google 的方法论指出，该基准测试包含从更大规模 Pull Request 池中选出的 100 个任务。这些选择侧重于 Android 仓库和真实的开发工作流，涉及 Kotlin、Java、Jetpack Compose、传统 View、应用程序、库、小型针对性更改以及较大代码修改等场景。

这使得 Android Bench 不同于简单的代码补全测试。它更接近于一种智能体软件工程评估，要求模型理解仓库、做出适当的更改并经受住自动化验证的考验。

为什么这对 AI 编码智能体很重要

AI 编码

工作流正从基于提示词的代码片段，转向自主或半自主代理。在真实的安卓项目中，代理必须能浏览项目结构、理解构建约束、安全地编辑多个文件、处理 API 变更，并在不破坏现有行为的前提下运行测试。

像 Android Bench 这样的评测基准，能帮助开发者依据此类工作流评估模型。它还能让成本与延迟变得透明。对生产环境而言，最佳模型并非总是得分最高的那个。如果某个模型在其自身的开发环境中更快、更便宜或更稳定，团队可能会偏好一个分数稍低的模型。

这次更新也强化了一个更广泛的要点：评测方法应随 AI 代理的发展而演进。工具调用、沙箱隔离、执行轨迹、可复现性以及成本追踪，如今都已成为评估的一部分，而非可选的附加项。

常见问题

什么是 Android Bench？

Android Bench 是谷歌推出的评测基准，用于评估大语言模型在安卓开发任务上的表现。它专注于真实的安卓工程问题，而非通用的编码琐事或孤立的算法题。

谷歌为何将 Android Bench 迁移到 Harbor？

谷歌将 Android Bench 迁移到 Harbor 框架，是为了在沙箱环境中标准化评测的执行过程。这有助于让评估在不同模型和代理设置下更容易复现、比较和共享。

在更新后的 Android Bench 排行榜上，哪个模型排名第一？

根据源文章及谷歌 Android Bench 页面对更新后排行榜的描述，Claude Fable 5 以 84.5% 的得分排名第一。GPT 5.5 以 80.2% 紧随其后，Claude Sonnet 5 则排名第三。

这是否意味着 Claude Fable 5 总体上是最好的编码模型？

不一定。Android Bench 衡量的，是在特定评测设置下针对安卓开发的编码性能。在此表现最佳的模型，可能并非网页开发、数据工程、DevOps 或其他软件任务的最佳选择。

为何延迟在 AI 编码评测基准中很重要？

延迟体现了模型完成评测任务所需的时间。对真实的工程团队而言，只有当模型能在可接受的时间范围内完成工作时，高分才有意义。

为何评测成本很重要？

成本之所以重要，是因为自主编码可能涉及大量的工具调用、长上下文窗口、仓库审查以及反复的测试运行。一个准确度高但成本也非常高的模型，在频繁的生产环境中可能不太实用。

开发者可以自行运行 Android Bench 吗？

Android Bench 的 GitHub 仓库提供了用于评估模型的工具和设置说明。官方文档也向开发者提供了数据集和方法论的相关指引，以便他们能更好地理解或复现该评测基准。

相关工具

• Android Bench：谷歌评估大语言模型在安卓开发任务上表现的排行榜。
• Android Bench GitHub 仓库：用于 Android Bench 评估的开源框架和工具。
• Harbor：一个用于定义和评估沙箱化工作负载的框架。

Agent 任务

• mini-swe-agent：一款轻量级软件工程代理，用于基准测试和编码代理工作流。
• LiteLLM：一个统一接口，用于以兼容 OpenAI 的格式调用众多 LLM 供应商。
• Android Studio：专用于 Android 应用开发和测试的官方集成开发环境（IDE）。

相关链接

• Android Bench 排行榜：官方 Android Bench 排名页面，涵盖得分、成本和延迟等多个维度。
• Android 开发者博客：LLM 在 Android 上的评测方式演变：谷歌官方博文，解释 Harbor 迁移及排行榜刷新事宜。
• Android Bench 方法论：官方方法论页面，描述任务选择、执行和评估维度。
• Android Bench GitHub 仓库：基准测试框架的官方代码和文档。
• Harbor 框架：用于沙盒化代理评估的 Harbor 官方网站。
• Jetpack Compose 文档：与众多 Android 开发任务相关的官方 Android UI 工具包文档。

总结

谷歌对 Android Bench 的更新不仅是一次排行榜刷新。通过迁移至 Harbor 框架，该基准测试现在更加强调可复现、沙盒化且专注于 Android 的代理评估。

新的排名显示，Claude Fable 5 位居榜首，其次是 GPT 5.5 和 Claude Sonnet 5。Gemini 仍具竞争力，但未能领跑更新后的榜单，而 Gemini 3.5 Flash 的表现为我们揭示：在代理式编码评估中，更轻量的模型并非自动更快或更便宜。

对于开发者和 AI 团队而言，有用的经验是：将准确性、延迟、成本和基准测试方法论结合起来进行比较。Android Bench 更适合作为衡量 Android 编码代理性能的实际信号，而非所有 AI 模型的通用排名。