Google обновляет Android Bench с Harbor: Claude Fable 5 возглавляет новый рейтинг ИИ-кодирования

Введение

Google обновил рейтинг кодирования Android Bench и перенес workflow бенчмарка на фреймворк Harbor. Это обновление важно, поскольку Android Bench — это не общий конкурс по программированию. Он создан для проверки того, насколько хорошо большие языковые модели справляются с реальными задачами разработки под Android, включая понимание кодовой базы, генерацию патчей, специфические для Android API, системы сборки и проверку тестов.

Новые результаты дают разработчикам интересный сигнал. Claude Fable 5 теперь занимает верхнюю строчку обновленного рейтинга, за ним следует GPT 5.5, в то время как собственные модели Google Gemini показывают более неоднозначные результаты по точности, задержке и стоимости. Для команд, использующих ИИ-агенты кодирования в проектах под Android, главный вывод — не просто "какая модель победила". Это то, как метод оценки, среда песочницы, стоимость и задержка вместе меняют способ оценки производительности модели.

Google переносит Android Bench на фреймворк Harbor

9 июля Google объявил о крупном обновлении Android Bench — своего бенчмарка и рейтинга для ИИ-ассистированной разработки под Android. Самое важное изменение — принятие Harbor, стандартизированного фреймворка для выполнения задач агентов в изолированных средах.

Ранее Android Bench использовал конфигурацию оценки на основе mini-swe-agent v1, адаптированную для разработки под Android. В новой версии Google перешел на Harbor, чтобы сделать выполнение бенчмарка более стандартизированным, изолированным и воспроизводимым. Цель — упростить разработчикам и исследователям проведение независимых оценок, сравнение различных конфигураций агентов и обмен результатами более прозрачным способом.

Google также сделал инструментарий Android Bench открытым на GitHub. Это дает сообществу более четкое представление о том, как работает бенчмарк, и открывает возможности для обратной связи, пользовательских задач разработки под Android и более широкого участия в оценке моделей.

Почему изменение песочницы Harbor имеет значение

Фреймворк, лежащий в основе бенчмарка, может повлиять на результат. Особенно это верно для ИИ-агентов кодирования, где модели не просто отвечают на вопросы; они изучают репозитории, выполняют команды, редактируют файлы, вызывают инструменты и пытаются пройти тесты.

Harbor построен вокруг оценки задач агентов в изолированной среде. Для Android Bench это означает, что запуски моделей могут быть организованы в более контролируемой среде выполнения вместо использования ad hoc локальных конфигураций. Это помогает уменьшить неопределенность при сравнении моделей и упрощает воспроизведение конкретной оценки.

Методология Google Android Bench также подчеркивает проблемы, специфичные для разработки под Android, а не общие задачи программирования. Бенчмарк включает работу, связанную с такими областями, как Jetpack Compose, Coroutines и Flows, Room, Hilt, миграция навигации, конфигурация Gradle,

Изменения в SDK, медиа, камера, складные устройства, разрешения времени выполнения и другие общие вопросы разработки Android.

Обновлённые результаты таблицы лидеров

После изменения методологии Google повторно запустила тестирование и обновила таблицу лидеров Android Bench. Согласно обновлённым результатам, Claude Fable 5 занимает первое место с результатом 84,5%. GPT 5.5 следует с 80,2%, а Claude Sonnet 5 занимает третье место с 76,2%.

Упрощённый вид лучших результатов выглядит следующим образом:

Место	Модель	Результат	Доверительный интервал	Средняя задержка	Средняя стоимость
1	Claude Fable 5	84,5%	79,9–88,8	8,0 ч	133,2 $
2	GPT 5.5	80,2%	73,5–86,6	11,4 ч	138,3 $
3	Claude Sonnet 5	76,2%	69,0–82,1	12,3 ч	99,9 $
4	GPT 5.4	74,1%	66,0–80,9	8,4 ч	83,4 $
5	Gemini 3.1 Pro Preview	73,7%	66,1–80,4	10,6 ч	87,4 $
6	Claude Opus 4.8	72,4%	65,8–79,3	6,7 ч	88,0 $
7	GLM 5.2	72,2%	65,3–78,7	38,9 ч	117,0 $
8	Gemini 3.5 Flash	71,1%	63,6–78,2	28,3 ч	165,6 $

Эти цифры следует воспринимать как результаты, характерные для данного теста. Они не доказывают, что одна модель универсально лучше во всех задачах кодирования. Они показывают, как каждая модель проявила себя в обновлённой среде оценки Google, ориентированной на Android.

Неоднозначная позиция Gemini в новых результатах

Обновлённый рейтинг примечателен тем, что собственные модели Google не возглавляют таблицу. Gemini 3.1 Pro Preview занимает пятое место с результатом 73,7%. Её заявленная средняя стоимость ниже, чем у нескольких лучших моделей, но точность уступает Claude Fable 5, GPT 5.5, Claude Sonnet 5 и GPT 5.4.

Gemini 3.5 Flash представляет ещё больший интерес. Она позиционируется как более лёгкая модель, но в этом тесте она демонстрирует высокую среднюю задержку в 28,3 часа и среднюю стоимость 165,6 $ за полный прогон теста. Это делает её менее привлекательной в данной конкретной оценке, несмотря на общее ожидание, что более лёгкие модели должны быть быстрее и дешевле.

Главный урок прост: выбор модели для агентов кодирования не может основываться только на бренде, семействе моделей или цене за токен. Модель, которая выглядит экономически эффективной в обычном чате, может вести себя совершенно иначе, когда её просят решить 100 реальных задач разработки Android, включающих вызовы инструментов, редактирование репозитория и выполнение тестов.

Что на самом деле оценивает Android Bench

Android Bench предназначен для оценки того, может ли LLM действовать как практичный разработчик Android. Он предоставляет модели описания реальных проблем и просит сгенерировать изменения кода, которые решают проблему. Затем полученный патч проверяется с помощью настроенной валидации.

Методология Google гласит, что тест включает 100 задач, отобранных из гораздо большего пула запросов на слияние. Отбор фокусируется на Android-репозиториях и реальных рабочих процессах разработки, включая случаи, связанные с Kotlin, Java, Jetpack Compose, традиционными Views, приложениями, библиотеками, небольшими целевыми изменениями и более крупными модификациями кода.

Это отличает Android Bench от простых тестов завершения кода. Он ближе к агентной оценке программной инженерии, где модели необходимо понять репозиторий, внести соответствующие изменения и пройти автоматическую проверку.

Почему это важно для AI-агентов кодирования

AI-кодирование

рабочие процессы переходят от простых фрагментов кода на основе промптов к автономным или полуавтономным агентам. В реальном Android-проекте агент должен ориентироваться в структуре проекта, понимать ограничения сборки, безопасно редактировать несколько файлов, обрабатывать изменения API и запускать тесты, не нарушая существующего поведения.

Такой бенчмарк, как Android Bench, помогает разработчикам оценивать модели в рамках подобных рабочих процессов. Он также делает видимыми затраты и задержки. Для промышленного использования лучшая модель — не всегда та, что набрала наивысший балл. Команда может предпочесть модель с несколько более низким баллом, если она намного быстрее, дешевле или стабильнее в своей собственной среде разработки.

Обновление также подчеркивает более широкий момент: методология бенчмаркинга должна развиваться по мере развития ИИ-агентов. Вызов инструментов, изоляция, трассировка выполнения, воспроизводимость и отслеживание затрат теперь являются частью оценки, а не дополнительными опциями.

FAQ

Что такое Android Bench?

Android Bench — это бенчмарк Google для оценки больших языковых моделей на задачах разработки под Android. Он фокусируется на реальных инженерных проблемах Android, а не на общих вопросах по кодингу или изолированных алгоритмических задачах.

Зачем Google перенес Android Bench на Harbor?

Google перенес Android Bench на фреймворк Harbor для стандартизации выполнения бенчмарков в изолированных средах. Это облегчает воспроизведение, сравнение и обмен результатами оценки между различными конфигурациями моделей и агентов.

Какая модель занимает первое место в обновленном рейтинге Android Bench?

В обновленном рейтинге, описанном в исходной статье и на странице Google Android Bench, первое место занимает Claude Fable 5 с результатом 84,5%. GPT 5.5 следует за ним с 80,2%, а Claude Sonnet 5 занимает третье место.

Означает ли это, что Claude Fable 5 — лучшая модель для кодинга в целом?

Не обязательно. Android Bench измеряет производительность кодинга под Android в рамках определенной конфигурации бенчмарка. Модель, показывающая здесь наилучшие результаты, может не быть лучшим выбором для веб-разработки, инженерии данных, DevOps или других программных задач.

Почему задержка важна в бенчмарке ИИ для кодинга?

Задержка показывает, сколько времени требуется модели для выполнения задач бенчмарка. Для реальных инженерных команд высокий балл полезен только в том случае, если модель может завершить работу в приемлемые сроки.

Почему важна стоимость бенчмарка?

Стоимость важна, потому что агентный кодинг может включать множество вызовов инструментов, длинные контекстные окна, просмотр репозитория и многократные запуски тестов. Модель с высокой точностью, но очень высокой стоимостью может быть менее практична для частого промышленного использования.

Могут ли разработчики самостоятельно запускать Android Bench?

Репозиторий Android Bench на GitHub содержит инструменты и инструкции по настройке для оценки моделей. Официальная документация также предоставляет разработчикам доступ к набору данных и методологии, чтобы они могли лучше понять или воспроизвести бенчмарк.

Связанные инструменты

• Android Bench: Рейтинг Google для оценки LLM на задачах разработки под Android.
• Репозиторий Android Bench на GitHub: Фреймворк и инструменты с открытым исходным кодом для оценки Android Bench.
• Harbor: Фреймворк для спецификации и оценки изолированных сред выполнения.

Задачи агентов.

• mini-swe-agent: Легковесный программный агент для инженерии, используемый в бенчмарках и рабочих процессах кодинга с агентами.
• LiteLLM: Унифицированный интерфейс для вызова множества LLM-провайдеров с использованием форматов, совместимых с OpenAI.
• Android Studio: Официальная IDE для разработки и тестирования приложений под Android.

Связанные ссылки

• Android Bench Leaderboard: Официальная страница рейтинга Android Bench с показателями по оценке, стоимости и задержке.
• Android Developers Blog: Evolving How LLMs Are Measured for Android: Официальный пост Google, объясняющий миграцию на Harbor и обновление таблицы лидеров.
• Android Bench Methodology: Официальная страница методологии, описывающая выбор задач, выполнение и критерии оценки.
• Android Bench GitHub Repository: Официальный код и документация для фреймворка бенчмарков.
• Harbor Framework: Официальный сайт Harbor для оценки агентов в изолированной среде.
• Jetpack Compose Documentation: Официальная документация по набору инструментов Android UI, актуальная для многих задач разработки под Android.

Резюме

Обновление Android Bench от Google — это не просто обновление таблицы лидеров. Переход на фреймворк Harbor позволяет бенчмарку больше сосредоточиться на воспроизводимой, изолированной и специфичной для Android оценке агентов.

Новый рейтинг ставит Claude Fable 5 на первое место, за ним следуют GPT 5.5 и Claude Sonnet 5. Gemini сохраняет конкурентоспособность, но не лидирует в обновленном рейтинге, а Gemini 3.5 Flash показывает, что более легкие модели не обязательно быстрее или дешевле в задачах оценки кодинга с агентами.

Для разработчиков и AI-команд полезный вывод — сравнивать вместе точность, задержку, стоимость и методологию бенчмарка. Android Bench лучше всего воспринимать как практический сигнал для агентов кодинга под Android, а не как универсальный рейтинг всех AI-моделей.