Google met à jour Android Bench avec Harbor : Claude Fable 5 en tête du nouveau classement des IA de codage

Introduction

Google a actualisé son classement de codage Android Bench et a transféré le flux de travail d'évaluation vers le framework Harbor. Cette mise à jour est importante car Android Bench n'est pas un simple concours de codage général. Il est conçu pour tester la capacité des grands modèles de langage à gérer des tâches réelles de développement Android, notamment la compréhension de bases de code, la génération de correctifs, les API spécifiques à Android, les systèmes de construction et la validation de tests.

Les nouveaux résultats fournissent un signal intéressant pour les développeurs. Claude Fable 5 occupe désormais la première place du classement mis à jour, suivi de GPT 5.5, tandis que les modèles Gemini de Google présentent un profil plus contrasté en termes de précision, de latence et de coût. Pour les équipes qui utilisent des agents de codage IA dans leurs projets Android, l'essentiel à retenir n'est pas simplement « quel modèle a gagné ». C'est plutôt la manière dont la méthode d'évaluation, l'environnement sandbox, le coût et la latence modifient ensemble la façon dont la performance des modèles doit être jugée.

[Image]

Google transfère Android Bench vers le framework Harbor

Le 9 juillet, Google a annoncé une mise à jour majeure d'Android Bench, son benchmark et classement pour le développement Android assisté par IA. Le changement le plus important est l'adoption de Harbor, un framework standardisé pour exécuter des tâches d'agent dans des environnements sandbox.

Auparavant, Android Bench utilisait une configuration d'évaluation basée sur mini-swe-agent v1, adaptée au développement Android. Dans la nouvelle version, Google s'est tourné vers Harbor pour rendre l'exécution des benchmarks plus standardisée, isolée et reproductible. L'objectif est de faciliter l'exécution d'évaluations indépendantes pour les développeurs et chercheurs, de comparer différentes configurations d'agents et de partager les résultats de manière plus transparente.

Google a également open-sourcé les outils Android Bench sur GitHub. Cela offre à la communauté une vision plus claire du fonctionnement du benchmark et ouvre la voie aux retours d'expérience, aux tâches personnalisées de développement Android et à une participation plus large autour de l'évaluation des modèles.

Pourquoi le changement vers l'environnement sandbox Harbor est important

Le framework derrière un benchmark peut influencer le résultat. C'est particulièrement vrai pour les agents de codage IA, où les modèles ne se contentent pas de répondre à des questions ; ils inspectent des dépôts, exécutent des commandes, modifient des fichiers, appellent des outils et tentent de satisfaire des tests.

Harbor est conçu autour de l'évaluation de tâches d'agent en environnement sandbox. Pour Android Bench, cela signifie que les exécutions de modèles peuvent être organisées dans un environnement d'exécution plus contrôlé, plutôt que de reposer sur des configurations locales improvisées. Cela contribue à réduire les ambiguïtés lors de la comparaison des modèles et facilite la reproduction d'une évaluation donnée.

La méthodologie d'Android Bench de Google met également l'accent sur des problèmes de développement spécifiques à Android, plutôt que sur des tâches de programmation génériques. Le benchmark inclut des travaux liés à des domaines tels que Jetpack Compose, Coroutines and Flows, Room, Hilt, la migration de navigation, la configuration Gradle,

Modifications du SDK, médias, appareil photo, écrans pliables, autorisations d'exécution et autres problématiques courantes du développement Android.

Résultats mis à jour du classement

Après le changement de méthodologie, Google a relancé le benchmark et actualisé le classement Android Bench. Selon les résultats mis à jour, Claude Fable 5 arrive en tête avec un score de 84,5 %. GPT 5,5 suit avec 80,2 %, et Claude Sonnet 5 se classe troisième avec 76,2 %.

Une vue simplifiée des meilleurs résultats se présente comme suit :

Rang	Modèle	Score	Intervalle de confiance	Latence moyenne	Coût moyen
1	Claude Fable 5	84,5 %	79,9–88,8	8,0 h	133,2 $
2	GPT 5,5	80,2 %	73,5–86,6	11,4 h	138,3 $
3	Claude Sonnet 5	76,2 %	69,0–82,1	12,3 h	99,9 $
4	GPT 5,4	74,1 %	66,0–80,9	8,4 h	83,4 $
5	Gemini 3.1 Pro Preview	73,7 %	66,1–80,4	10,6 h	87,4 $
6	Claude Opus 4,8	72,4 %	65,8–79,3	6,7 h	88,0 $
7	GLM 5,2	72,2 %	65,3–78,7	38,9 h	117,0 $
8	Gemini 3.5 Flash	71,1 %	63,6–78,2	28,3 h	165,6 $

Ces chiffres doivent être interprétés comme des résultats spécifiques au benchmark. Ils ne prouvent pas qu'un modèle est universellement meilleur pour toutes les tâches de codage. Ils montrent les performances de chaque modèle dans l'environnement d'évaluation Android mis à jour par Google.

La position mitigée de Gemini dans les nouveaux résultats

Le classement actualisé est notable car les propres modèles de Google ne dominent pas le classement. Gemini 3.1 Pro Preview se classe cinquième avec un score de 73,7 %. Son coût moyen rapporté est inférieur à celui de plusieurs modèles mieux classés, mais sa précision est inférieure à celle de Claude Fable 5, GPT 5,5, Claude Sonnet 5 et GPT 5,4.

Gemini 3.5 Flash est encore plus intéressant. Positionné comme un modèle plus léger, il affiche dans ce benchmark une latence moyenne élevée de 28,3 heures et un coût moyen de 165,6 $ par exécution complète du benchmark. Cela le rend moins attractif dans cette évaluation spécifique, malgré l'attente générale selon laquelle les modèles plus légers devraient être plus rapides et moins chers.

La leçon plus large est simple : la sélection d'un modèle pour les agents de codage ne peut pas reposer uniquement sur la marque, la famille de modèles ou le prix par jeton. Un modèle qui semble économique dans une utilisation conversationnelle normale peut se comporter très différemment lorsqu'il est confronté à 100 tâches réelles de développement Android impliquant des appels d'outils, des modifications de dépôt et des exécutions de tests.

Ce qu'Android Bench évalue réellement

Android Bench est conçu pour évaluer si un LLM peut agir comme un développeur Android pratique. Il donne au modèle des descriptions de problèmes du monde réel et lui demande de générer des modifications de code qui résolvent le problème. Le correctif obtenu est ensuite vérifié par rapport à une configuration de validation.

La méthodologie de Google indique que le benchmark comprend 100 tâches sélectionnées parmi un ensemble beaucoup plus large de demandes d'extraction. La sélection se concentre sur les dépôts Android et les flux de développement réels, y compris les cas impliquant Kotlin, Java, Jetpack Compose, les vues traditionnelles, les applications, les bibliothèques, les petites modifications ciblées et les modifications de code plus importantes.

Cela rend Android Bench différent des simples tests de complétion de code. Il se rapproche davantage d'une évaluation de génie logiciel agentif, où le modèle doit comprendre le dépôt, apporter une modification appropriée et passer une vérification automatisée.

Pourquoi cela est important pour les agents de codage IA

Le codage IA

Les workflows passent de simples extraits de code basés sur des invites vers des agents autonomes ou semi-autonomes. Dans un projet Android réel, un agent doit naviguer dans la structure du projet, comprendre les contraintes de build, modifier plusieurs fichiers en toute sécurité, gérer les changements d'API et exécuter des tests sans casser le comportement existant.

Un benchmark comme Android Bench aide les développeurs à évaluer les modèles sur ce type de workflow. Il rend également visibles les coûts et la latence. Pour une utilisation en production, le meilleur modèle n'est pas toujours celui qui obtient le score le plus élevé. Une équipe peut préférer un score légèrement inférieur si le modèle est beaucoup plus rapide, moins cher ou plus stable dans son propre environnement de développement.

Cette mise à jour renforce également un point plus large : la méthodologie des benchmarks doit évoluer avec les agents IA. L'appel d'outils, le sandboxing, les traces d'exécution, la reproductibilité et le suivi des coûts font désormais partie de l'évaluation, et non des options facultatives.

FAQ

Qu'est-ce qu'Android Bench ?

Android Bench est le benchmark de Google pour évaluer les grands modèles de langage sur des tâches de développement Android. Il se concentre sur de vrais problèmes d'ingénierie Android plutôt que sur des questions générales de codage ou des problèmes algorithmiques isolés.

Pourquoi Google a-t-il déplacé Android Bench vers Harbor ?

Google a déplacé Android Bench vers le framework Harbor pour standardiser l'exécution des benchmarks dans des environnements sandboxés. Cela permet de rendre les évaluations plus faciles à reproduire, comparer et partager entre différentes configurations de modèles et d'agents.

Quel modèle est en tête du classement actualisé d'Android Bench ?

Dans le classement actualisé décrit par l'article source et la page Android Bench de Google, Claude Fable 5 arrive en tête avec un score de 84,5 %. GPT 5.5 suit avec 80,2 %, tandis que Claude Sonnet 5 se classe troisième.

Cela signifie-t-il que Claude Fable 5 est le meilleur modèle de codage en général ?

Pas nécessairement. Android Bench mesure les performances de codage spécifiques à Android dans le cadre d'un benchmark défini. Un modèle qui obtient les meilleurs résultats ici peut ne pas être le meilleur choix pour le développement web, l'ingénierie des données, le DevOps ou d'autres tâches logicielles.

Pourquoi la latence est-elle importante dans un benchmark de codage IA ?

La latence montre le temps qu'un modèle met pour accomplir les tâches du benchmark. Pour les équipes d'ingénierie réelles, un score élevé n'est utile que si le modèle peut terminer le travail dans un délai acceptable.

Pourquoi le coût du benchmark est-il important ?

Le coût est important car le codage agentique peut impliquer de nombreux appels d'outils, des fenêtres de contexte longues, l'inspection de dépôts et des exécutions de tests répétées. Un modèle avec une forte précision mais un coût très élevé peut être moins pratique pour une utilisation fréquente en production.

Les développeurs peuvent-ils exécuter Android Bench eux-mêmes ?

Le dépôt GitHub Android Bench fournit des outils et des instructions d'installation pour évaluer les modèles. La documentation officielle oriente également les développeurs vers le jeu de données et la méthodologie afin qu'ils puissent mieux comprendre ou reproduire le benchmark.

Outils connexes

• Android Bench : Le classement de Google pour évaluer les LLM sur des tâches de développement Android.
• Dépôt GitHub Android Bench : Le framework open source et les outils pour l'évaluation Android Bench.
• Harbor : Un framework pour spécifier et évaluer les agents en environnement sandboxé.

tâches de l'agent.

• mini-swe-agent : un agent d'ingénierie logicielle léger utilisé dans les workflows de benchmark et d'agent de codage.
• LiteLLM : une interface unifiée pour appeler de nombreux fournisseurs de LLM en utilisant des formats compatibles OpenAI.
• Android Studio : l'IDE officiel pour le développement et les tests d'applications Android.

Liens connexes

• Classement Android Bench : page officielle du classement Android Bench avec les dimensions de score, coût et latence.
• Blog des développeurs Android : Évolution de la mesure des LLM pour Android : article officiel de Google expliquant la migration vers Harbor et l'actualisation du classement.
• Méthodologie Android Bench : page officielle de méthodologie décrivant les dimensions de sélection des tâches, d'exécution et d'évaluation.
• Dépôt GitHub Android Bench : code officiel et documentation du framework de benchmark.
• Framework Harbor : site officiel de Harbor pour l'évaluation des agents en environnement sandboxé.
• Documentation Jetpack Compose : documentation officielle du kit d'interface utilisateur Android pertinent pour de nombreuses tâches de développement Android.

Résumé

La mise à jour d'Android Bench par Google est plus qu'une simple actualisation du classement. En adoptant le framework Harbor, le benchmark met désormais davantage l'accent sur une évaluation reproductible, sandboxée et spécifique aux agents Android.

Le nouveau classement place Claude Fable 5 en tête, suivi par GPT 5.5 et Claude Sonnet 5. Gemini reste compétitif mais ne domine pas le classement mis à jour, et Gemini 3.5 Flash montre que des modèles plus légers ne sont pas automatiquement plus rapides ou moins coûteux dans les évaluations de codage agentique.

Pour les développeurs et les équipes IA, l'essentiel est de comparer ensemble la précision, la latence, le coût et la méthodologie du benchmark. Le meilleur usage d'Android Bench est de le considérer comme un signal pratique pour les agents de codage Android, et non comme un classement universel de tous les modèles d'IA.