Google、Android BenchをHarborで更新：Claude Fable 5が新たなAIコーディングリーダーボードをリード

はじめに

GoogleはAndroid Benchコーディングリーダーボードを刷新し、ベンチマークワークフローをHarborフレームワークに移行しました。この更新が重要なのは、Android Benchが一般的なコーディングコンテストではないからです。これは、大規模言語モデルが実際のAndroid開発タスク（コードベースの理解、パッチ生成、Android固有API、ビルドシステム、テスト検証など）をどの程度うまく処理できるかを評価するために設計されています。

新たな結果は、開発者にとって興味深いシグナルを生み出しています。Claude Fable 5が更新されたリーダーボードのトップに立ち、GPT 5.5がそれに続く一方、Google自身のGeminiモデルは精度、レイテンシ、コストにおいてよりばらつきのあるプロファイルを示しています。AndroidプロジェクトでAIコーディングエージェントを利用するチームにとって、主な教訓は単に「どのモデルが勝ったか」ではありません。評価方法、サンドボックス環境、コスト、レイテンシが、モデル性能の評価方法をどのように変えるかということです。

Google、Android BenchをHarborフレームワークに移行

7月9日、GoogleはAI支援Android開発向けベンチマーク兼リーダーボードであるAndroid Benchの主要アップデートを発表しました。最も重要な変更点は、サンドボックス環境でエージェントタスクを実行するための標準化フレームワークであるHarborの採用です。

以前のAndroid Benchは、mini-swe-agent v1に基づく評価設定を使用し、それをAndroid開発用に適合させていました。新バージョンでは、GoogleはHarborへの移行により、ベンチマーク実行の標準化、独立性、再現性を高めています。目標は、開発者や研究者が独立した評価をより容易に行い、異なるエージェント設定を比較し、より透明性の高い方法で結果を共有できるようにすることです。

Googleはまた、Android BenchツールをGitHubでオープンソース化しました。これにより、コミュニティはベンチマークの仕組みをより明確に理解でき、フィードバック、カスタムAndroid開発タスク、モデル評価への幅広い参加への道が開かれています。

Harborサンドボックス変更の重要性

ベンチマークの背後にあるフレームワークは結果に影響を与える可能性があります。これは特にAIコーディングエージェントに当てはまります。モデルは単に質問に答えるだけでなく、リポジトリを調査し、コマンドを実行し、ファイルを編集し、ツールを呼び出し、テストを満たそうと試みます。

Harborはサンドボックス化されたエージェントタスク評価を中心に構築されています。Android Benchにとって、これはモデル実行がアドホックなローカル設定に依存するのではなく、より制御された実行環境で整理できることを意味します。これにより、モデル比較時の曖昧性が低減され、特定の評価の再現が容易になります。

GoogleのAndroid Bench手法はまた、一般的なプログラミングタスクではなく、Android固有の開発問題を重視しています。ベンチマークには、Jetpack Compose、CoroutinesとFlows、Room、Hilt、ナビゲーションマイグレーション、Gradle設定などに関連する作業が含まれています。

SDKの変更、メディア、カメラ、折りたたみ端末、ランタイムパーミッション、その他Androidエンジニアリングにおける一般的な問題。

更新されたリーダーボード結果

方法論の変更後、Googleはベンチマークを再実行し、Android Benchのリーダーボードを更新しました。更新された結果によると、Claude Fable 5が84.5%のスコアで1位となりました。GPT 5.5が80.2%で続き、Claude Sonnet 5が76.2%で3位となっています。

上位結果を簡略化して示すと以下の通りです。

順位	モデル	スコア	CI範囲	平均レイテンシ	平均コスト
1	Claude Fable 5	84.5%	79.9–88.8	8.0時間	$133.2
2	GPT 5.5	80.2%	73.5–86.6	11.4時間	$138.3
3	Claude Sonnet 5	76.2%	69.0–82.1	12.3時間	$99.9
4	GPT 5.4	74.1%	66.0–80.9	8.4時間	$83.4
5	Gemini 3.1 Pro Preview	73.7%	66.1–80.4	10.6時間	$87.4
6	Claude Opus 4.8	72.4%	65.8–79.3	6.7時間	$88.0
7	GLM 5.2	72.2%	65.3–78.7	38.9時間	$117.0
8	Gemini 3.5 Flash	71.1%	63.6–78.2	28.3時間	$165.6

これらの数値は、ベンチマーク固有の結果として解釈されるべきです。これは、あるモデルがあらゆるコーディングタスクにおいて普遍的に優れていることを証明するものではありません。各モデルがGoogleの更新されたAndroid固有の評価環境でどのようにパフォーマンスを発揮したかを示しています。

新結果におけるGeminiの複雑な立ち位置

更新されたランキングで注目すべき点は、Google自身のモデルがトップに立っていないことです。Gemini 3.1 Pro Previewは73.7%のスコアで5位にランクインしています。報告されている平均コストは上位モデルのいくつかよりも低いものの、精度はClaude Fable 5、GPT 5.5、Claude Sonnet 5、GPT 5.4に及んでいません。

Gemini 3.5 Flashはさらに興味深い存在です。軽量モデルとして位置づけられていますが、このベンチマークでは平均レイテンシが28.3時間、ベンチマーク全体の平均コストが$165.6を示しています。軽量モデルはより高速で低コストであるべきという一般的な期待に反して、この特定の評価では魅力が薄れています。

より大きな教訓は単純です。コーディングエージェントのためのモデル選択は、ブランド、モデルファミリー、トークン単価のみに基づいて行うことはできません。通常のチャット利用ではコスト効率が良く見えるモデルでも、ツール呼び出し、リポジトリ編集、テスト実行を伴う100の実際のAndroid開発タスクを解決するように求められた場合、全く異なる動作をする可能性があります。

Android Benchが実際に評価しているもの

Android Benchは、LLMが実用的なAndroid開発者として行動できるかどうかを評価するために設計されています。モデルに実際の問題の説明を与え、その問題を解決するコード変更を生成するよう求めます。生成されたパッチは、検証設定に対してチェックされます。

Googleの方法論によれば、このベンチマークは、はるかに多くのプルリクエストプールから選択された100のタスクを含んでいます。選択はAndroidリポジトリと実際の開発ワークフローに焦点を当てており、Kotlin、Java、Jetpack Compose、従来のViews、アプリ、ライブラリ、小規模なターゲット変更、大規模なコード修正を含むケースが含まれます。

これにより、Android Benchは単純なコード補完テストとは異なります。これはエージェント型ソフトウェアエンジニアリング評価に近く、モデルがリポジトリを理解し、適切な変更を行い、自動検証を通過する必要があります。

AIコーディングエージェントにとっての重要性

AIコーディング

ワークフローは、プロンプトベースのコードスニペットから自律型または半自律型エージェントへと移行しつつあります。実際のAndroidプロジェクトでは、エージェントはプロジェクト構造を把握し、ビルドの制約を理解し、複数のファイルを安全に編集し、APIの変更に対応し、既存の動作を損なわずにテストを実行する必要があります。

Android Benchのようなベンチマークは、開発者がこの種のワークフローに対してモデルを評価するのに役立ちます。また、コストとレイテンシを可視化します。本番環境で使用する場合、最適なモデルは必ずしも最高スコアのモデルとは限りません。チームは、モデルが自身の開発環境内でより高速で、低コストで、安定しているのであれば、やや低いスコアの方を好むかもしれません。

このアップデートは、より広範な点も強調しています。ベンチマーク手法は、AIエージェントの進化に合わせて進化すべきであるということです。ツール呼び出し、サンドボックス化、実行トレース、再現性、コスト追跡は、現在では評価の一部であり、オプションの付加機能ではありません。

FAQ

Android Benchとは何ですか？

Android Benchは、Android開発タスクにおける大規模言語モデルを評価するためのGoogleのベンチマークです。一般的なコーディングの雑学や孤立したアルゴリズム問題ではなく、実際のAndroidエンジニアリング問題に焦点を当てています。

GoogleがAndroid BenchをHarborに移行した理由は？

Googleは、サンドボックス環境でのベンチマーク実行を標準化するために、Android BenchをHarborフレームワークに移行しました。これにより、さまざまなモデルやエージェントのセットアップ間で、評価の再現、比較、共有が容易になります。

更新されたAndroid Benchリーダーボードで1位のモデルはどれですか？

ソース記事とGoogleのAndroid Benchページで説明されている更新されたリーダーボードでは、Claude Fable 5が84.5%のスコアで1位です。GPT 5.5が80.2%で続き、Claude Sonnet 5が3位となっています。

これは、Claude Fable 5が全体的に最良のコーディングモデルであることを意味しますか？

必ずしもそうではありません。Android Benchは、定義されたベンチマーク設定下でのAndroid固有のコーディングパフォーマンスを測定します。ここで最高のパフォーマンスを示すモデルが、Web開発、データエンジニアリング、DevOps、その他のソフトウェアタスクに最適な選択肢であるとは限りません。

AIコーディングベンチマークにおいて、なぜレイテンシが重要なのでしょうか？

レイテンシは、モデルがベンチマークタスクを完了するのにかかる時間を示します。実際のエンジニアリングチームにとって、高いスコアは、モデルが許容可能な時間内に作業を完了できる場合にのみ有用です。

ベンチマークコストが重要な理由は？

エージェンティックコーディングでは、多くのツール呼び出し、長いコンテキストウィンドウ、リポジトリの調査、繰り返しのテスト実行が発生する可能性があるため、コストは重要です。精度は高いがコストが非常に高いモデルは、頻繁な本番環境での使用には実用的でない可能性があります。

開発者は自分でAndroid Benchを実行できますか？

Android BenchのGitHubリポジトリには、モデルを評価するためのツールとセットアップ手順が提供されています。公式ドキュメントでは、開発者がベンチマークをよりよく理解したり再現したりできるように、データセットと方法論も参照できます。

関連ツール

• Android Bench: Android開発タスクにおけるLLMを評価するためのGoogleのリーダーボードです。
• Android Bench GitHub リポジトリ: Android Bench評価のためのオープンソースフレームワークとツールです。
• Harbor: サンドボックス化された評価環境を指定・評価するためのフレームワークです。

エージェントタスク

• mini-swe-agent：ベンチマークやコーディングエージェントのワークフローで使用される軽量ソフトウェアエンジニアリングエージェント
• LiteLLM：OpenAI互換フォーマットを使用して多数のLLMプロバイダーを呼び出すための統一インターフェース
• Android Studio：Androidアプリ開発・テスト用の公式IDE

関連リンク

• Android Bench リーダーボード：スコア、コスト、レイテンシーの各次元を備えた公式Android Benchランキングページ
• Android Developers Blog：Android向けLLM測定の進化：Harbor移行とリーダーボード更新に関するGoogle公式記事
• Android Bench メソドロジー：タスク選択、実行、評価の各次元を説明する公式メソドロジーページ
• Android Bench GitHub リポジトリ：ベンチマークフレームワークの公式コードとドキュメント
• Harbor Framework：サンドボックス化されたエージェント評価のための公式Harborウェブサイト
• Jetpack Compose ドキュメント：多くのAndroid開発タスクに関連する公式Android UIツールキットドキュメント

まとめ

GoogleのAndroid Bench更新は、単なるリーダーボードのリフレッシュにとどまりません。Harborフレームワークへの移行により、このベンチマークは再現可能でサンドボックス化されたAndroid向けエージェント評価により一層重点を置くようになりました。

新しいランキングでは、Claude Fable 5がトップとなり、GPT 5.5とClaude Sonnet 5がそれに続きます。Geminiは引き続き競争力がありますが、更新後のチャートではトップに立ちません。また、Gemini 3.5 Flashは、軽量モデルがエージェンティックコーディング評価において自動的に高速または低コストになるわけではないことを示しています。

開発者やAIチームにとって重要な教訓は、精度、レイテンシー、コスト、そしてベンチマークのメソドロジーを総合的に比較することです。Android Benchは、すべてのAIモデルの汎用的なランキングとしてではなく、Androidコーディングエージェントの実用的な指標として読むのが最適です。