Google aktualisiert Android Bench mit Harbor: Claude Fable 5 führt die neue KI-Programmier-Rangliste an

Einleitung

Google hat seine Android Bench-Programmier-Rangliste aktualisiert und den Benchmark-Workflow auf das Harbor-Framework umgestellt. Dieses Update ist wichtig, weil Android Bench kein allgemeiner Programmierwettbewerb ist. Es wurde entwickelt, um zu testen, wie gut große Sprachmodelle echte Android-Entwicklungsaufgaben bewältigen, darunter Codebasis-Verständnis, Patch-Generierung, Android-spezifische APIs, Build-Systeme und Testvalidierung.

Die neuen Ergebnisse liefern ein interessantes Signal für Entwickler. Claude Fable 5 steht nun an der Spitze der aktualisierten Rangliste, gefolgt von GPT 5.5, während Googles eigene Gemini-Modelle ein gemischteres Profil in Bezug auf Genauigkeit, Latenz und Kosten aufweisen. Für Teams, die KI-Programmieragenten in Android-Projekten einsetzen, ist die wichtigste Erkenntnis nicht einfach "welches Modell gewonnen hat". Es geht vielmehr darum, wie die Bewertungsmethode, die Sandbox-Umgebung, die Kosten und die Latenz gemeinsam die Art und Weise verändern, wie die Modellleistung beurteilt werden sollte.

Google verlagert Android Bench in das Harbor-Framework

Am 9. Juli kündigte Google ein großes Update für Android Bench an, seinen Benchmark und die Rangliste für KI-gestützte Android-Entwicklung. Die wichtigste Änderung ist die Einführung von Harbor, einem standardisierten Framework für die Ausführung von Agentenaufgaben in sandboxed Umgebungen.

Bisher verwendete Android Bench ein Evaluierungssetup, das auf mini-swe-agent v1 basierte und für die Android-Entwicklung angepasst wurde. In der neuen Version ist Google zu Harbor übergegangen, um die Benchmark-Ausführung standardisierter, isolierter und reproduzierbarer zu machen. Ziel ist es, Entwicklern und Forschern die Durchführung unabhängiger Evaluierungen, den Vergleich verschiedener Agent-Setups und den transparenteren Austausch von Ergebnissen zu erleichtern.

Google hat die Android Bench-Tools auf GitHub als Open Source bereitgestellt. Dies gibt der Community einen klareren Einblick in die Funktionsweise des Benchmarks und öffnet die Tür für Feedback, benutzerdefinierte Android-Entwicklungsaufgaben und eine breitere Beteiligung an der Modellevaluierung.

Warum die Harbor-Sandbox-Änderung wichtig ist

Das Framework hinter einem Benchmark kann das Ergebnis beeinflussen. Dies gilt insbesondere für KI-Programmieragenten, bei denen Modelle nicht nur Fragen beantworten; sie inspizieren Repositories, führen Befehle aus, bearbeiten Dateien, rufen Tools auf und versuchen, Tests zu bestehen.

Harbor ist auf die Evaluierung von Agentenaufgaben in einer Sandbox ausgerichtet. Für Android Bench bedeutet dies, dass Modellläufe in einer kontrollierteren Ausführungsumgebung organisiert werden können, anstatt sich auf ad-hoc lokale Setups zu verlassen. Dies trägt dazu bei, Unklarheiten beim Vergleich von Modellen zu reduzieren und erleichtert die Reproduzierbarkeit einer bestimmten Evaluierung.

Googles Android Bench-Methodik betont auch Android-spezifische Entwicklungsprobleme und nicht allgemeine Programmieraufgaben. Der Benchmark umfasst Arbeiten in Bereichen wie Jetpack Compose, Coroutines und Flows, Room, Hilt, Navigationsmigration, Gradle-Konfiguration,

SDK-Änderungen, Medien, Kamera, Faltgeräte, Laufzeitberechtigungen und andere häufige Android-Entwicklungsaspekte.

Aktualisierte Bestenliste

Nach der Methodikänderung hat Google den Benchmark wiederholt und die Android Bench Bestenliste aktualisiert. Laut den aktualisierten Ergebnissen liegt Claude Fable 5 mit einer Punktzahl von 84,5 % auf Platz eins. GPT 5,5 folgt mit 80,2 %, und Claude Sonnet 5 belegt mit 76,2 % den dritten Platz.

Eine vereinfachte Ansicht der Spitzenergebnisse sieht wie folgt aus:

Rang	Modell	Punktzahl	KI-Spanne	Durchschn. Latenz	Durchschn. Kosten
1	Claude Fable 5	84,5 %	79,9–88,8	8,0 h	133,2 $
2	GPT 5.5	80,2 %	73,5–86,6	11,4 h	138,3 $
3	Claude Sonnet 5	76,2 %	69,0–82,1	12,3 h	99,9 $
4	GPT 5.4	74,1 %	66,0–80,9	8,4 h	83,4 $
5	Gemini 3.1 Pro Preview	73,7 %	66,1–80,4	10,6 h	87,4 $
6	Claude Opus 4.8	72,4 %	65,8–79,3	6,7 h	88,0 $
7	GLM 5.2	72,2 %	65,3–78,7	38,9 h	117,0 $
8	Gemini 3.5 Flash	71,1 %	63,6–78,2	28,3 h	165,6 $

Diese Zahlen sind als benchmarkspezifische Ergebnisse zu betrachten. Sie belegen nicht, dass ein Modell bei allen Programmieraufgaben universell besser ist. Sie zeigen, wie jedes Modell unter Googles aktualisierter, Android-spezifischer Evaluierungsumgebung abgeschnitten hat.

Geminis gemischte Position in den neuen Ergebnissen

Das aktualisierte Ranking ist bemerkenswert, da Googles eigene Modelle die Tabelle nicht anführen. Gemini 3.1 Pro Preview belegt mit einer Punktzahl von 73,7 % den fünften Platz. Seine angegebenen durchschnittlichen Kosten sind niedriger als bei mehreren der bestplatzierten Modelle, aber seine Genauigkeit liegt hinter Claude Fable 5, GPT 5.5, Claude Sonnet 5 und GPT 5.4.

Gemini 3.5 Flash ist noch interessanter. Es wird als ein leichteres Modell positioniert, zeigt aber in diesem Benchmark eine lange durchschnittliche Latenzzeit von 28,3 Stunden und durchschnittliche Kosten von 165,6 $ pro vollständigem Benchmark-Durchlauf. Das macht es in dieser speziellen Evaluierung weniger attraktiv, trotz der allgemeinen Erwartung, dass leichtere Modelle schneller und günstiger sein sollten.

Die größere Lehre ist einfach: Die Modellauswahl für Coding-Agenten kann nicht nur auf Marke, Modellfamilie oder Preis pro Token basieren. Ein Modell, das im normalen Chat-Gebrauch kosteneffizient erscheint, kann sich völlig anders verhalten, wenn es darum geht, 100 reale Android-Entwicklungsaufgaben über Tool-Aufrufe, Repository-Bearbeitungen und Testläufe hinweg zu lösen.

Was Android Bench tatsächlich evaluiert

Android Bench wurde entwickelt, um zu evaluieren, ob ein LLM wie ein praktischer Android-Entwickler agieren kann. Es gibt dem Modell Beschreibungen realer Probleme und fordert es auf, Codeänderungen zu generieren, die das Problem lösen. Der resultierende Patch wird dann gegen eine Validierungsumgebung geprüft.

Die Methodik von Google besagt, dass der Benchmark 100 Aufgaben umfasst, die aus einem viel größeren Pool von Pull-Requests ausgewählt wurden. Die Auswahl konzentriert sich auf Android-Repositories und reale Entwicklungsabläufe, einschließlich Fällen mit Kotlin, Java, Jetpack Compose, traditionellen Views, Apps, Bibliotheken, kleinen gezielten Änderungen und größeren Code-Modifikationen.

Das macht Android Bench anders als einfache Code-Vervollständigungstests. Es ist näher an einer agentischen Software-Engineering-Evaluierung, bei der das Modell das Repository verstehen, eine angemessene Änderung vornehmen und die automatisierte Verifikation bestehen muss.

Warum dies für KI-Coding-Agenten wichtig ist

KI-Coding

Workflows entwickeln sich von promptbasierten Code-Snippets hin zu autonomen oder semi-autonomen Agents. In einem realen Android-Projekt muss ein Agent die Projektstruktur navigieren, Build-Einschränkungen verstehen, mehrere Dateien sicher bearbeiten, API-Änderungen handhaben und Tests ausführen, ohne bestehendes Verhalten zu beeinträchtigen.

Ein Benchmark wie Android Bench hilft Entwicklern, Modelle im Hinblick auf diese Art von Workflow zu bewerten. Er macht auch Kosten und Latenz sichtbar. Für den Produktionseinsatz ist das beste Modell nicht immer das mit der höchsten Punktzahl. Ein Team kann eine etwas niedrigere Punktzahl bevorzugen, wenn das Modell in seiner eigenen Entwicklungsumgebung viel schneller, günstiger oder stabiler ist.

Das Update unterstreicht auch einen allgemeineren Punkt: Die Benchmark-Methodik sollte sich mit der Entwicklung von KI-Agents weiterentwickeln. Tool-Aufrufe, Sandboxing, Ausführungsprotokolle, Reproduzierbarkeit und Kostenverfolgung sind jetzt Teil der Bewertung, keine optionalen Extras.

FAQ

Was ist Android Bench?

Android Bench ist der Benchmark von Google zur Bewertung großer Sprachmodelle bei Android-Entwicklungsaufgaben. Er konzentriert sich auf reale Android-Engineering-Probleme und nicht auf allgemeine Programmier-Trivia oder isolierte Algorithmusfragen.

Warum hat Google Android Bench zu Harbor verlegt?

Google hat Android Bench in das Harbor-Framework verlegt, um die Benchmark-Ausführung in sandboxed Umgebungen zu standardisieren. Dies erleichtert die Reproduktion, den Vergleich und das Teilen von Bewertungen über verschiedene Modell- und Agent-Setups hinweg.

Welches Modell belegt den ersten Platz im aktualisierten Android Bench-Ranking?

Im aktualisierten Ranking, das im Quellartikel und auf Googles Android Bench-Seite beschrieben wird, belegt Claude Fable 5 mit einer Punktzahl von 84,5 % den ersten Platz. GPT 5.5 folgt mit 80,2 %, während Claude Sonnet 5 auf dem dritten Platz liegt.

Heißt das, Claude Fable 5 ist insgesamt das beste Programmiermodell?

Nicht unbedingt. Android Bench misst die Android-spezifische Programmierleistung unter einem definierten Benchmark-Setup. Ein Modell, das hier am besten abschneidet, ist möglicherweise nicht die beste Wahl für Webentwicklung, Data Engineering, DevOps oder andere Softwareaufgaben.

Warum ist Latenz in einem KI-Programmier-Benchmark wichtig?

Die Latenz zeigt, wie lange ein Modell braucht, um die Benchmark-Aufgaben zu erledigen. Für echte Engineering-Teams ist eine hohe Punktzahl nur dann nützlich, wenn das Modell die Arbeit in einem akzeptablen Zeitfenster abschließen kann.

Warum sind die Benchmark-Kosten wichtig?

Die Kosten sind wichtig, weil agentisches Programmieren viele Tool-Aufrufe, lange Kontextfenster, Repository-Inspektionen und wiederholte Testdurchläufe umfassen kann. Ein Modell mit hoher Genauigkeit, aber sehr hohen Kosten, ist für den häufigen Produktionseinsatz möglicherweise weniger praktikabel.

Können Entwickler Android Bench selbst ausführen?

Das Android Bench GitHub-Repository bietet Werkzeuge und Setup-Anleitungen zur Bewertung von Modellen. Die offizielle Dokumentation verweist Entwickler auch auf den Datensatz und die Methodik, damit sie den Benchmark besser verstehen oder reproduzieren können.

Verwandte Tools

• Android Bench: Googles Bestenliste zur Bewertung von LLMs bei Android-Entwicklungsaufgaben.
• Android Bench GitHub Repository: Das Open-Source-Framework und die Werkzeuge für die Android Bench-Bewertung.
• Harbor: Ein Framework zur Spezifikation und Bewertung von sandboxed

Agentenaufgaben.

• mini-swe-agent: Ein leichtgewichtiger Softwareentwicklungsagent, der in Benchmark- und Coding-Agent-Workflows verwendet wird.
• LiteLLM: Eine einheitliche Schnittstelle zur Anbindung vieler LLM-Anbieter mittels OpenAI-kompatibler Formate.
• Android Studio: Die offizielle IDE für die Entwicklung und das Testen von Android-Apps.

Verwandte Links

• Android Bench Bestenliste: Offizielle Android-Bench-Rangliste mit den Dimensionen Punktzahl, Kosten und Latenz.
• Android Developers Blog: Weiterentwicklung der LLM-Messung für Android: Googles offizieller Beitrag zur Erläuterung der Harbor-Migration und der Aktualisierung der Bestenliste.
• Android Bench Methodik: Offizielle Methodikseite mit Beschreibung der Aufgabenauswahl, -ausführung und Bewertungsdimensionen.
• Android Bench GitHub Repository: Offizieller Code und Dokumentation für das Benchmark-Framework.
• Harbor Framework: Offizielle Harbor-Website für die Bewertung von Agenten in einer Sandbox-Umgebung.
• Jetpack Compose Dokumentation: Offizielle Dokumentation des Android-UI-Toolkits, relevant für viele Android-Entwicklungsaufgaben.

Zusammenfassung

Das Android-Bench-Update von Google ist mehr als eine Aktualisierung der Bestenliste. Durch die Umstellung auf das Harbor-Framework legt der Benchmark nun einen stärkeren Fokus auf reproduzierbare, sandbox-basierte und Android-spezifische Agentenbewertung.

Die neue Rangliste setzt Claude Fable 5 an die Spitze, gefolgt von GPT 5.5 und Claude Sonnet 5. Gemini bleibt wettbewerbsfähig, führt aber das aktualisierte Ranking nicht an, und Gemini 3.5 Flash zeigt, dass leichtere Modelle bei agentischen Coding-Bewertungen nicht automatisch schneller oder günstiger sind.

Für Entwickler und KI-Teams ist die nützliche Erkenntnis, Genauigkeit, Latenz, Kosten und Benchmark-Methodik gemeinsam zu betrachten. Android Bench ist am besten als praktisches Signal für Android-Coding-Agenten zu verstehen, nicht als universelles Ranking aller KI-Modelle.