Google, Harbor로 Android Bench 업데이트: Claude Fable 5가 새로운 AI 코딩 선두 주자로 등극

소개

Google이 Android Bench 코딩 리더보드를 업데이트하고 벤치마크 워크플로를 Harbor 프레임워크로 전환했습니다. 이번 업데이트가 중요한 이유는 Android Bench가 일반적인 코딩 대회가 아니기 때문입니다. 이 벤치마크는 대규모 언어 모델이 코드베이스 이해, 패치 생성, Android 특화 API, 빌드 시스템, 테스트 검증 등 실제 Android 개발 작업을 얼마나 잘 처리하는지 평가하도록 설계되었습니다.

새로운 결과는 개발자에게 흥미로운 신호를 제공합니다. Claude Fable 5가 업데이트된 리더보드의 최상위에 올랐고, 그 뒤를 GPT 5.5가 따르고 있으며, Google 자체 Gemini 모델들은 정확도, 지연 시간, 비용 측면에서 더 혼합된 프로필을 보여주고 있습니다. Android 프로젝트에서 AI 코딩 에이전트를 사용하는 팀에게 중요한 점은 단순히 "어느 모델이 이겼는가"가 아닙니다. 평가 방법, 샌드박스 환경, 비용, 지연 시간이 모델 성능을 판단하는 방식을 어떻게 함께 변화시키는지가 핵심입니다.

Google, Android Bench를 Harbor 프레임워크로 이전

7월 9일, Google은 AI 지원 Android 개발을 위한 벤치마크 및 리더보드인 Android Bench의 주요 업데이트를 발표했습니다. 가장 중요한 변화는 샌드박스 환경에서 에이전트 작업을 실행하기 위한 표준화된 프레임워크인 Harbor를 채택한 것입니다.

이전에는 Android Bench가 mini-swe-agent v1 기반 평가 설정을 사용하여 Android 개발에 맞게 조정했습니다. 새 버전에서 Google은 벤치마크 실행을 더욱 표준화되고, 격리되며, 재현 가능하게 만들기 위해 Harbor로 전환했습니다. 목표는 개발자와 연구자가 독립적인 평가를 더 쉽게 실행하고, 다양한 에이전트 설정을 비교하며, 더 투명한 방식으로 결과를 공유할 수 있도록 하는 것입니다.

Google은 또한 GitHub에서 Android Bench 도구를 오픈소스로 공개했습니다. 이를 통해 커뮤니티는 벤치마크 작동 방식을 더 명확하게 이해할 수 있으며, 피드백, 맞춤형 Android 개발 작업, 모델 평가에 대한 더 넓은 참여의 문이 열렸습니다.

Harbor 샌드박스 변경이 중요한 이유

벤치마크 뒤에 있는 프레임워크는 결과에 영향을 미칠 수 있습니다. 이는 AI 코딩 에이전트의 경우 특히 그렇습니다. 모델이 단순히 질문에 답하는 것이 아니라 리포지토리를 검사하고, 명령을 실행하고, 파일을 편집하고, 도구를 호출하고, 테스트를 통과하려고 시도하기 때문입니다.

Harbor는 샌드박스 처리된 에이전트 작업 평가를 중심으로 구축되었습니다. Android Bench의 경우, 이는 임시 로컬 설정에 의존하는 대신 모델 실행을 더 통제된 실행 환경에서 구성할 수 있음을 의미합니다. 이는 모델을 비교할 때 모호성을 줄이고 주어진 평가를 더 쉽게 재현할 수 있게 해줍니다.

Google의 Android Bench 방법론은 또한 일반적인 프로그래밍 작업이 아닌 Android 특화 개발 문제를 강조합니다. 벤치마크에는 Jetpack Compose, Coroutines 및 Flows, Room, Hilt, 내비게이션 마이그레이션, Gradle 구성 등과 관련된 작업이 포함됩니다.

SDK 변경 사항, 미디어, 카메라, 폴더블 기기, 런타임 권한, 그리고 기타 일반적인 Android 엔지니어링 관련 사항들입니다.

업데이트된 리더보드 결과

방법론 변경 이후, Google은 벤치마크를 다시 실행하고 Android Bench 리더보드를 새로고침했습니다. 업데이트된 결과에 따르면, Claude Fable 5가 84.5%의 점수로 1위를 차지했습니다. GPT 5.5가 80.2%로 그 뒤를 이었고, Claude Sonnet 5가 76.2%로 3위를 기록했습니다.

상위 결과를 간략히 보면 다음과 같습니다:

순위	모델	점수	CI 범위	평균 지연 시간	평균 비용
1	Claude Fable 5	84.5%	79.9–88.8	8.0시간	$133.2
2	GPT 5.5	80.2%	73.5–86.6	11.4시간	$138.3
3	Claude Sonnet 5	76.2%	69.0–82.1	12.3시간	$99.9
4	GPT 5.4	74.1%	66.0–80.9	8.4시간	$83.4
5	Gemini 3.1 Pro Preview	73.7%	66.1–80.4	10.6시간	$87.4
6	Claude Opus 4.8	72.4%	65.8–79.3	6.7시간	$88.0
7	GLM 5.2	72.2%	65.3–78.7	38.9시간	$117.0
8	Gemini 3.5 Flash	71.1%	63.6–78.2	28.3시간	$165.6

이 수치들은 벤치마크 특정 결과로 이해해야 합니다. 이는 특정 모델이 모든 코딩 작업에서 보편적으로 더 뛰어나다는 것을 증명하지 않습니다. 각 모델이 Google의 업데이트된 Android 특화 평가 환경에서 어떻게 수행되었는지를 보여줍니다.

새로운 결과 속 Gemini의 혼재된 위치

업데이트된 순위에서 주목할 점은 Google 자체 모델이 차트를 선도하지 않는다는 것입니다. Gemini 3.1 Pro Preview는 73.7%의 점수로 5위를 기록했습니다. 보고된 평균 비용은 상위권 모델 몇 개보다 낮지만, 정확도는 Claude Fable 5, GPT 5.5, Claude Sonnet 5, GPT 5.4에 뒤쳐집니다.

Gemini 3.5 Flash는 더욱 흥미롭습니다. 더 가벼운 모델로 포지셔닝되었지만, 이 벤치마크에서는 28.3시간의 긴 평균 지연 시간과 전체 벤치마크 실행당 평균 비용 $165.6를 보여줍니다. 이는 가벼운 모델이 더 빠르고 저렴할 것이라는 일반적인 기대와 달리, 이 특정 평가에서는 덜 매력적으로 만듭니다.

더 큰 교훈은 간단합니다. 코딩 에이전트를 위한 모델 선택은 브랜드, 모델 패밀리, 또는 토큰당 가격만으로 결정할 수 없습니다. 일반 채팅 사용 시 비용 효율적으로 보이는 모델이라도, 도구 호출, 저장소 편집, 테스트 실행을 통해 100개의 실제 Android 개발 작업을 해결하라는 요청을 받으면 매우 다르게 행동할 수 있습니다.

Android Bench가 실제로 평가하는 것

Android Bench는 LLM이 실용적인 Android 개발자처럼 행동할 수 있는지 평가하도록 설계되었습니다. 모델에 실제 세계의 문제 설명을 제공하고, 문제를 해결하는 코드 변경 사항을 생성하도록 요청합니다. 그 결과로 생성된 패치는 검증 설정과 대조하여 확인됩니다.

Google의 방법론에 따르면 벤치마크는 훨씬 더 큰 풀 리퀘스트 풀에서 선택된 100개의 작업을 포함합니다. 선택은 Android 저장소와 실제 개발 워크플로우에 중점을 두며, Kotlin, Java, Jetpack Compose, 기존 Views, 앱, 라이브러리, 소규모 타겟 변경, 더 큰 코드 수정과 관련된 사례를 포함합니다.

이로 인해 Android Bench는 단순한 코드 완성 테스트와는 다릅니다. 모델이 저장소를 이해하고, 적절한 변경을 수행하며, 자동화된 검증을 통과해야 하는 에이전틱 소프트웨어 엔지니어링 평가에 더 가깝습니다.

AI 코딩 에이전트에게 이것이 중요한 이유

AI 코딩

워크플로우는 프롬프트 기반 코드 스니펫에서 자율적 또는 반자율적 에이전트로 진화하고 있습니다. 실제 안드로이드 프로젝트에서 에이전트는 프로젝트 구조를 탐색하고, 빌드 제약 조건을 이해하며, 여러 파일을 안전하게 편집하고, API 변경을 처리하며, 기존 동작을 손상시키지 않고 테스트를 실행해야 합니다.

Android Bench와 같은 벤치마크는 개발자가 이러한 워크플로우에 대해 모델을 평가하는 데 도움을 줍니다. 또한 비용과 지연 시간을 확인할 수 있게 해줍니다. 프로덕션 사용에 있어 가장 좋은 모델이 항상 가장 높은 점수를 받은 모델은 아닙니다. 팀은 모델이 자체 개발 환경 내에서 훨씬 빠르고, 저렴하며, 더 안정적이라면 약간 낮은 점수를 선호할 수도 있습니다.

이번 업데이트는 또한 벤치마크 방법론이 AI 에이전트의 발전과 함께 진화해야 한다는 더 넓은 요점을 강화합니다. 도구 호출, 샌드박싱, 실행 추적, 재현성, 비용 추적은 이제 선택 사항이 아닌 평가의 일부입니다.

FAQ

Android Bench란 무엇인가요?

Android Bench는 안드로이드 개발 작업에 대한 대규모 언어 모델을 평가하기 위한 Google의 벤치마크입니다. 일반적인 코딩 지식이나 단독 알고리즘 질문이 아닌 실제 안드로이드 엔지니어링 문제에 초점을 맞춥니다.

Google은 왜 Android Bench를 Harbor로 옮겼나요?

Google은 샌드박스 환경에서 벤치마크 실행을 표준화하기 위해 Android Bench를 Harbor 프레임워크로 옮겼습니다. 이는 다양한 모델 및 에이전트 설정에서 평가를 더 쉽게 재현, 비교 및 공유할 수 있도록 돕습니다.

업데이트된 Android Bench 리더보드에서 1위 모델은 무엇인가요?

소스 기사와 Google의 Android Bench 페이지에 설명된 업데이트된 리더보드에서 Claude Fable 5가 84.5%의 점수로 1위를 차지했습니다. GPT 5.5가 80.2%로 그 뒤를 따르고, Claude Sonnet 5가 3위를 차지했습니다.

이것이 Claude Fable 5가 전반적으로 최고의 코딩 모델이라는 의미인가요?

꼭 그렇지는 않습니다. Android Bench는 정의된 벤치마크 설정 하에서 안드로이드 특화 코딩 성능을 측정합니다. 여기서 가장 좋은 성능을 보이는 모델이 웹 개발, 데이터 엔지니어링, DevOps 또는 기타 소프트웨어 작업에 가장 좋은 선택이 아닐 수 있습니다.

AI 코딩 벤치마크에서 지연 시간이 중요한 이유는 무엇인가요?

지연 시간은 모델이 벤치마크 작업을 완료하는 데 걸리는 시간을 보여줍니다. 실제 엔지니어링 팀의 경우, 모델이 허용 가능한 시간 내에 작업을 완료할 수 있을 때만 높은 점수가 유용합니다.

벤치마크 비용이 중요한 이유는 무엇인가요?

에이전트 기반 코딩은 많은 도구 호출, 긴 컨텍스트 윈도우, 저장소 검사 및 반복적인 테스트 실행을 포함할 수 있기 때문에 비용이 중요합니다. 정확도는 높지만 비용이 매우 높은 모델은 빈번한 프로덕션 사용에 실용적이지 않을 수 있습니다.

개발자가 직접 Android Bench를 실행할 수 있나요?

Android Bench GitHub 저장소는 모델 평가를 위한 도구와 설정 지침을 제공합니다. 공식 문서는 또한 데이터 세트와 방법론을 개발자에게 안내하여 벤치마크를 더 잘 이해하거나 재현할 수 있도록 돕습니다.

관련 도구

• Android Bench: 안드로이드 개발 작업에 대한 LLM 평가를 위한 Google의 리더보드입니다.
• Android Bench GitHub 저장소: Android Bench 평가를 위한 오픈소스 프레임워크 및 도구입니다.
• Harbor: 샌드박스 환경에서 AI 에이전트 벤치마크를 지정하고 평가하기 위한 프레임워크입니다.

에이전트 작업.

• mini-swe-agent: 벤치마크 및 코딩 에이전트 워크플로우에 사용되는 경량 소프트웨어 엔지니어링 에이전트.
• LiteLLM: OpenAI 호환 형식을 사용하여 여러 LLM 제공업체를 호출하기 위한 통합 인터페이스.
• Android Studio: Android 앱 개발 및 테스트를 위한 공식 IDE.

관련 링크

• Android Bench 순위표: 점수, 비용, 지연 시간 차원을 포함한 공식 Android Bench 순위 페이지.
• Android Developers 블로그: Android용 LLM 측정 방식의 진화: Harbor 마이그레이션 및 순위표 업데이트를 설명하는 Google의 공식 게시물.
• Android Bench 방법론: 작업 선택, 실행 및 평가 차원을 설명하는 공식 방법론 페이지.
• Android Bench GitHub 저장소: 벤치마크 프레임워크의 공식 코드 및 문서.
• Harbor Framework: 샌드박스형 에이전트 평가를 위한 공식 Harbor 웹사이트.
• Jetpack Compose 문서: 많은 Android 개발 작업과 관련된 공식 Android UI 툴킷 문서.

요약

Google의 Android Bench 업데이트는 단순한 순위표 개편 이상의 의미를 갖습니다. Harbor 프레임워크로 전환함으로써, 이제 벤치마크는 재현 가능하고 샌드박스화된 Android 특화 에이전트 평가에 더 큰 중점을 두고 있습니다.

새로운 순위에서는 Claude Fable 5가 1위를 차지했으며, GPT 5.5와 Claude Sonnet 5가 그 뒤를 이었습니다. Gemini는 여전히 경쟁력을 유지하지만 업데이트된 차트에서 선두를 차지하지는 못했으며, Gemini 3.5 Flash는 에이전트 코딩 평가에서 경량 모델이 자동으로 더 빠르거나 저렴하지 않음을 보여줍니다.

개발자와 AI 팀에게 유용한 시사점은 정확도, 지연 시간, 비용, 벤치마크 방법론을 함께 비교해야 한다는 점입니다. Android Bench는 모든 AI 모델의 보편적인 순위가 아닌, Android 코딩 에이전트를 위한 실용적인 지표로 보는 것이 가장 적절합니다.