Agnes-2.5-Flash 리뷰: 무료 AI 코딩 모델의 버그 수정, 앱 구축 및 다중 파일 리팩토링 실전 테스트

서문

AI 코딩의 가장 큰 문제는 더 이상 강력한 모델의 부족이 아닙니다. 많은 개발자에게 문제는 접근성에 있습니다.

고급 코딩 어시스턴트는 점점 더 비용이 많이 들고, 지역 제한으로 인해 기존 워크플로우가 중단될 수 있으며, API에 의존하는 에이전트 작업은 예산을 빠르게 소진시킵니다. 이는 일상적인 엔지니어링 작업에 충분히 능숙하고, 지속적으로 사용할 수 있을 만큼 안정적이며, 비용을 계속 계산할 필요가 없을 만큼 저렴한 모델에 대한 수요를 불러일으켰습니다.

Agnes AI는 Agnes-2.5-Flash를 통해 이러한 공백을 메우고 있습니다. 이는 코딩, 에이전트 워크플로우 및 일상적인 개발에 최적화된 새로운 텍스트 모델입니다. 회사는 Flash 모델을 단기 출시 프로모션이 아닌 무료로 계속 제공하겠다고 밝혔습니다.

이번 출시에는 Agnes Code도 포함됩니다. 이는 로컬 프로젝트를 열고, 파일을 편집하고, 도구를 실행하고, 반복 작업을 예약하고, 여러 모델 제공업체를 연결하며, 문서, 이미지, 비디오 및 프레젠테이션과 같은 비코딩 작업을 처리할 수 있는 데스크톱 에이전트입니다.

이 글은 원본 실습 테스트의 순서를 따릅니다: 먼저 벤치마크 데이터, 그다음 숨겨진 버그 수정, 처음부터 완전한 웹 애플리케이션 구축, 다중 파일 게임 수정, 곧 출시될 Pro 모델, 그리고 가장 주목할 만한 Agnes Code 데스크톱 기능입니다.

Agnes-2.5-Flash: 일상적인 개발을 위한 모델

Agnes AI는 Flash를 최대 계산량을 추구하는 플래그십 제품이 아닌, 개발자의 일상적인 작업을 위한 주력 모델로 포지셔닝했습니다.

Agnes-2.0-Flash와 비교하여, 회사는 새 버전이 다음 영역에서 개선되었다고 밝혔습니다:

• 코드 이해 능력
• 저장소 수준 문제 진단
• 엔지니어링 수정 작업
• 다단계 작업 실행
• 복잡한 추론
• 에이전트 기반 개발 워크플로우

원본 글은 시각적 비교로 시작합니다: Agnes-2.0-Flash와 Agnes-2.5-Flash에게 HTML Canvas만 사용하여 비 오는 밤의 사이버펑크 도시를 그리도록 요청했습니다. 구형 모델은 여러 핵심 요소를 놓친 반면, 새 버전은 식별 가능한 스카이라인, 비스듬히 내리는 비, 네온사인, 홀로그램 광고판을 생성했습니다.

이 테스트는 정성적이지만, 의도된 변화를 보여줍니다. 모델은 단지 문법적으로 유효한 코드를 생성하는 것 이상으로, 더 긴 사양을 더 완전히 따라야 합니다.

내부 코딩 벤치마크 결과

Agnes AI는 7개의 코딩 벤치마크에 대한 내부 비교 결과를 발표했습니다. 이 수치는 회사가 보고한 결과이며, 독립적으로 재현된 리더보드 제출 데이터가 아니므로, 최종 증거가 아닌 방향성 증거로 간주되어야 합니다.

벤치마크	Agnes-2.0-Flash	Agnes-2.5-Flash	Agnes-2.5-Pro
Terminal-Bench 2.1	52.5	62.3	77.3
SWE-bench Verified	72.4	75.6	82.7
SWE-bench Pro	49.6	50.4	61.8
SWE-bench Multilingual	67.3	69.1	78.7
SWE Atlas — 질문 답변	15.8	36.5	40.8
SWE Atlas — 리팩토링	11.4	29.5	42.4
SWE Atlas — 테스트 작성	13.8	27.5	38.9

가장 두드러진 Flash 개선은 SWE Atlas에서 나타납니다. 이 제품군은 일반적인 문제 해결을 넘어선 전문 소프트웨어 엔지니어링 워크플로우(코드베이스 질문 답변, 리팩토링, 테스트 작성 포함)를 평가합니다.

이 차트는 벤치마크 컨텍스트의 중요성도 보여줍니다. Agnes-2.5-Flash는 나열된 모든 테스트에서 개선되었지만, 모든 경쟁사보다 자동으로 앞서지는 않습니다. 주요 판매 포인트는 각 카테고리에서 가장 강력한 모델이라고 주장하는 것이 아니라, 실용적인 엔지니어링 능력과 무료 액세스를 결합하는 것입니다.

세 가지 실용 코딩 테스트

벤치마크는 유용하지만, 개발자들은 일반적으로 더 직접적인 질문에 관심이 있습니다: 모델이 실제로 그들이 제공하는 코딩 작업을 완료할 수 있을까요?

원본 리뷰어는 난이도가 증가하는 세 가지 테스트를 사용했습니다:

1. 수동으로 삽입된 버그 찾기 및 수정.
2. 단일 사양을 기반으로 완전한 애플리케이션 구축.
3. 여러 종속 파일에 걸쳐 익숙하지 않은 프로젝트 수정.

테스트 1: 숨겨진 버그를 찾을 수 있을까요?

첫 번째 테스트는 Flappy Bird에서 영감을 받은 보관된 오픈소스 MelonJS 구현인 Clumsy Bird를 사용했습니다.

리뷰어는 먼저 게임이 정상적으로 실행되는지 확인한 후, 이동 로직에서 중력 값을 0.2에서 0으로 수동으로 변경했습니다.

이 수정으로 인해 비정상적인 오류가 발생했습니다. 애플리케이션이 충돌하지는 않았고, 플레이어가 클릭하면 새가 여전히 위로 움직였지만, 더 이상 떨어지지 않아 게임을 정상적으로 플레이할 수 없게 되었습니다.

전체 저장소가 Agnes Code에서 열렸습니다. 프롬프트는 보이는 비정상적인 동작만 설명했으며, 수정된 줄은 공개되지 않았습니다.

테스트 보고서에 따르면, Agnes-2.5-Flash는 프로젝트를 검사하고 진단을 생성하는 데 약 3분이 걸렸습니다. 수정 적용 권한을 얻은 후, 약 12초 만에 편집을 완료했습니다. 수정된 게임은 다시 새가 떨어지고, 파이프 충돌을 감지하며, 점수를 올바르게 업데이트했습니다.

이 테스트가 실제로 드러내는 것

핵심은 숫자 하나를 수정하는 것이 아니다. 위치를 파악하고 나면, 수정 자체는 사소하다.

모델은 다음을 수행해야 한다:

1. 익숙하지 않은 프로젝트를 검토한다.
2. 런타임 동작을 움직이는 시스템과 연결한다.
3. 관련 구현 코드를 찾아낸다.
4. 유효하지 않은 물리적 파라미터를 식별한다.
5. 수정 전에 진단 결과를 설명한다.
6. 관련 없는 동작을 깨뜨리지 않으면서 최소한의 수정을 진행한다.

이렇게 수동으로 구성된 오류는 프로젝트의 공개 이슈 목록이나 풀 리퀘스트 기록에도 나타나지 않았으며, 이는 모델이 특정 시나리오에 대한 기억된 수정 방안을 재현하고 있을 가능성을 낮춘다.

이는 여전히 검토자의 테스트일 뿐, 통제된 벤치마크 테스트는 아니지만, 유용한 증상 기반 저장소 진단 사례다.

테스트 2: 처음부터 전체 애플리케이션을 구축할 수 있는가?

두 번째 과제는 더 이상 수정 작업에 국한되지 않는다.

검토자는 Agnes-2.5-Flash에게 단일 HTML 파일 안에 AI 프론트엔드 아레나를 구축하도록 요청했다. 이 애플리케이션은 다음 기능을 갖추어야 한다:

• 공유 프롬프트를 입력받는다.
• 세 개의 독립적인 코드 입력 패널을 제공한다.
• 각각의 격리된 미리보기에서 제출된 코드를 실행한다.
• 세 개의 실행 결과를 나란히 표시한다.
• 시각적 품질, 창의성, 코드 완성도, 지시 준수도, 런타임 안정성을 평가한다.
• 레이더 차트 비교를 생성한다.
• 총점을 기준으로 순위를 매긴다.
• 한 줄 평가를 생성한다.
• HTML 파일을 더블 클릭하면 바로 열린다.

단순한 랜딩 페이지가 아니다. 에디터 인터페이스, 샌드박스 렌더링, 평가 로직, 차트 그리기, 상태 처리, 결과 표시 등을 통합하고 있다.

생성된 도구는 세 가지 다른 코드로 하트 모양을 그리는 구현 방식을 테스트했다. 파일을 로드하고, 병렬로 렌더링하며, 동일한 인터페이스 내에서 비교할 수 있다.

검토자는 나중에 이 애플리케이션을 재사용하여 Agnes-2.5-Flash를 다른 모델과 비교했다. 이러한 재사용은 단일 스크린샷보다 더 의미 있다. 출력 결과의 기능성이 이후 평가 과정의 일부로 사용될 만큼 충분했기 때문이다.

여전히 주의할 점

자동 생성된 평가 시스템은 단지 숫자와 차트를 생성한다는 이유만으로 객관적인 기준으로 간주되어서는 안 된다.

실제 사용 시 개발자는 다음을 확인해야 한다:

• 각 평가 차원이 명확하게 정의되었는지
• 런타임 오류가 평가에 어떤 영향을 미치는지
• 자연어 평가가 결정론적인지
• 신뢰할 수 없는 코드가 진정으로 격리되었는지
• 외부 리소스가 샌드박스를 탈출할 수 있는지
• 도구가 반복 실행에서 동일한 순위를 보여주는지

이 테스트는 종단 간 구현 능력을 보여주지만, 아레나의 판정 방법의 품질을 독립적으로 검증하지는 않는다.

테스트 3: 파일 간 변경을 조정할 수 있는가?

마지막 테스트는 Clumsy Bird로 돌아가지만, 이번에는 더 큰 폭의 수정이 포함된다.

이 저장소는 여러 JavaScript 모듈, 데이터 리소스, HTML, CSS, 설정 파일, 빌드 관련 파일을 포함한다. 특정 인터페이스를 업데이트하면서 이를 호출하는 코드를 함께 수정하지 않으면 파일 간 변경이 쉽게 실패할 수 있다.

요청은 2인 레이싱 모드를 추가하는 것이었다:

화면을 상하 두 개의 절반 영역으로 나눈다. 위쪽 영역에는 W 키로 제어하는 빨간 새를 배치하고, 아래쪽 영역에는 위쪽 화살표 키로 제어하는 파란 새를 배치한다. 각 플레이어에게 독립적인 파이프와 점수를 제공한다. 먼저 파이프에 부딪힌 새가 지고, 다른 플레이어가 자동으로 승리하며, 경기 기록의 승리 횟수 카운터를 유지해야 한다.

이 작업은 게임 상태, 제어, 렌더링, 충돌 처리, 독립적인 점수, 승리 로직, 재시작 동작, 인터페이스 레이아웃의 수정을 포함한다.

보고서에 따르면 실행 시간은 약 10분에서 20분 사이였다. 최종 버전은 두 개의 게임 영역, 독립적인 새, 독립적인 장애물, 키보드 명령, 그리고 전체 승리 횟수를 표시한다.

세 번째 테스트가 중요한 이유

많은 코딩 데모가 단일 파일 내에서만 완료된다. 하지만 진정한 소프트웨어 엔지니어링은 이렇게 제한적인 경우가 거의 없다.

저장소 수준의 수정은 에이전트가 다음을 포함하는 모델을 유지해야 함을 요구한다:

• 파일의 역할
• 모듈 간 의존성
• 공유 상태
• 이벤트 흐름
• 기존 규칙
• 빌드 및 런타임 동작
• 요구 사항 변경과 관련 없는 코드 사이의 경계

결과에 따르면, Agnes-2.5-Flash는 소규모 레거시 프로젝트에서 의미 있는 다중 파일 수정을 처리할 수 있다. 그러나 이것이 수백만 줄의 코드, 엄격한 테스트 스위트, 또는 복잡한 배포 인프라를 갖춘 엔터프라이즈급 코드 저장소에서 동등한 신뢰성을 보여준다는 것을 증명하지는 않는다.

실제 프로덕션 환경에서는 유사한 에이전트가 계획을 제시하고, 테스트를 실행하고, 수정된 파일을 보고하며, 검토 가능한 패치를 제공하도록 요구해야 한다.

세 가지 테스트에서 얻은 결론

종합적으로 볼 때, 이 테스트들은 더 명확한 능력의 윤곽을 그려준다.

과제 유형	관찰 결과	실제 의미
숨겨진 버그 진단	증상을 기반으로 수동으로 삽입된 중력 오류를 찾아냄	익숙하지 않은 코드를 디버깅하는 데 유용함
완전한 애플리케이션 생성	실행 가능한 단일 파일 비교 시나리오를 구축함	여러 UI 및 로직 모듈에 걸친 계획 능력을 보여줌
다중 파일 리팩토링	기존 게임 프로젝트에 2인 모드를 추가함	코드베이스 맥락에 대한 이해와 조정된 편집 능력을 보여줌

이 모델은 많은 일반적인 개발 작업에 적합해 보인다:

• 특정 범위 내의 버그 진단
• 소규모 애플리케이션 구현
• 내부 개발자 도구 구축
• 기존 프론트엔드 프로젝트 편집
• 중간 규모의 다중 파일 수정 조정
• 데스크톱 클라이언트를 통한 반복적인 에이전트 워크플로우 실행

현재 증거만으로는 이를 범용성 면에서 가장 강력한 유료 프로그래밍 모델과 동급이라고 부르기에는 부족하다.

하지만 무료 액세스를 주목할 만하게 만들기에는 충분하다.

Agnes-2.5-Pro, 더 무거운 엔지니어링 작업을 겨냥하다

Agnes AI는 Agnes-2.5-Pro를 준비하고 있다. 이는 전문적인 소프트웨어 엔지니어링 워크로드를 위한 고성능 모델이다.

예상되는 역할 구분은 명확하다:

Flash는 일상적인 코딩과 에이전트 작업에 사용되는 일반적인 모델입니다.

• Pro는 심층 추론, 대규모 코드베이스, 아키텍처 이해, 확장된 디버깅 및 광범위한 시스템 변경을 처리하도록 설계되었습니다.

회사 내부 차트에 따르면, Pro는 SWE-bench Verified에서 82.7점, SWE-bench Multilingual에서 78.7점을 포함한 7가지 모든 테스트에서 더 높은 점수를 기록했습니다.

원본 기사는 또한 공식 데모를 언급했으며, 그 내용은 다음과 같습니다.

• 여러 전체 화면 비디오를 포함한 고역동 웹 경험
• 간단한 분위기 설명으로 생성된 플레이 가능한 3D 게임
• 300개의 입자, 5가지 색상 모드, 조절 가능한 중력 소스 및 다양한 상호작용 방식을 갖춘 입자-중력 시뮬레이터. 모두 21.7KB의 HTML 파일로 구현

이러한 데모는 제품 방향을 보여주지만, 데모 품질이 반복 가능한 엔지니어링 신뢰성과 동일한 것은 아닙니다. 본 보고서 작성 시점 기준으로 Agnes-2.5-Pro는 아직 공식 출시되지 않았으며, 가격 및 생산 제한 사항도 공개되지 않았습니다.

Agnes Code: 단순한 코딩 클라이언트를 넘어서

강력한 모델이더라도 파일을 확인하고, 도구를 호출하며, 장기 실행 작업을 관리할 수 있는 실용적인 환경이 여전히 필요합니다.

Agnes Code는 macOS 및 Windows용 네이티브 데스크톱 워크스페이스입니다. 더 광범위한 공식 AgnesCode 프로젝트는 로컬 에이전트 워크플로를 위한 데스크톱 애플리케이션, CLI(명령줄 인터페이스) 및 API(애플리케이션 프로그래밍 인터페이스)를 설명합니다.

인터페이스는 프롬프트 상자를 로컬 프로젝트 컨텍스트, 모델, 스킬, 애플리케이션 및 생성된 출력과 결합합니다.

순수 코딩 도구와 달리 Agnes Code는 더 넓은 활동 범위를 위해 설계되었습니다.

• 코드 생성 및 코드베이스 편집
• 연구 및 글쓰기
• 이미지 및 비디오
• 프레젠테이션 및 오피스 문서
• 로컬 파일 처리
• 자동화 및 예약 작업
• 도구 및 애플리케이션 연결

이러한 광범위한 적용 범위는 코딩이 작업의 일부일 뿐인 워크플로에 중요합니다. 예를 들어, 제품 출시에는 페이지 구현, 시각 자료 제작, 문서 초안 작성, 슬라이드 준비 및 후속 분석 일정 수립이 포함될 수 있습니다.

사용자 정의 모델 제공자

데스크톱 애플리케이션은 Agnes 모델을 포함하며, OpenAI, Anthropic 및 Ollama 호환 구성을 통해 사용자 정의 제공자를 사용할 수 있도록 지원합니다.

원본 테스트 인터페이스는 또한 타사 최첨단 모델을 보여주었습니다. 제공자 가용성 및 구독 호환성은 변경될 수 있으므로, 사용자는 출시 시점의 스크린샷에 의존하지 말고 현재 애플리케이션을 확인해야 합니다.

모델의 이식성은 공급업체 종속 위험을 줄여줍니다. 또한, 주변 워크플로를 재구축하지 않고도 여러 제공자에 걸쳐 동일한 프로젝트와 작업을 테스트할 수 있으므로 평가가 더 쉬워집니다.

예약 작업

Agnes Code는 지속적인 감독 없이 실행될 수 있는 주기적인 작업을 대기열에 추가할 수 있습니다.

예시는 다음과 같습니다.

• 매일 실패한 CI 실행 요약
• 매주 금요일 풀 리퀘스트 검토 노트 준비
• 정해진 일정에 따라 보고서 재구축
• 저장소에서 반복적인 유지 관리 문제 확인

이는 루프 기반 엔지니어링 워크플로와 유사하며, 반복적인 운영 작업을 매번 수동으로 트리거할 필요 없이 에이전트가 처리하도록 합니다.

예약된 자동 실행에는 보호 장치가 수반되어야 합니다. 안전한 주기적 작업은 권한 제한, 명확한 출력, 실패 알림, 비용 모니터링 및 파괴적 작업 실행 전 승인이 필요합니다.

장시간 작업 중 시스템 절전 방지

데스크톱 설정에는 Agnes Code가 작업을 실행하는 동안 컴퓨터가 깨어 있도록 유지하는 옵션이 포함되어 있습니다.

작은 기능이지만 로컬 에이전트 작업에서 흔한 문제를 해결합니다. 긴 빌드, 저장소 스캔 또는 생성 작업이 운영 체제가 기계를 일시 중단시키는 것만으로 실패할 수 있습니다.

다른 AI에서 기억 가져오기

Agnes Code는 또한 다른 어시스턴트에서 이미 기억된 선호 사항 및 프로젝트 컨텍스트를 가져오는 워크플로를 포함합니다.

[이미지]
이 인터페이스는 다른 어시스턴트가 구조화된 정보를 내보내도록 요청하는 안내를 제공합니다. 예를 들어:

• 지속 명령어
• 작업 컨텍스트
• 프로젝트 설명
• 도구 선호도
• 작성 스타일 선호도
• 관련 개인 설정

내보낸 텍스트는 검토 후 Agnes에 붙여넣을 수 있습니다.
이는 마이그레이션 부담을 줄여주지만, 사용자는 내보낸 내용을 신중히 확인해야 합니다. 메모리에는 다른 서비스로 전송되어서는 안 되는 개인 정보, 오래된 가정, 내부 프로젝트명 또는 민감한 데이터가 포함될 수 있습니다.

무료 액세스: 중요하지만 무제한은 아님

용량 및 성능

Agnes AI는 공개적으로 ‘모든 사람이 세계적 수준의 AI를 사용할 수 있게 하겠다’는 사명을 표방하며, 텍스트, 이미지, 비디오 서비스에 대한 무료 액세스를 핵심 제품 전략으로 삼고 있습니다.

Agnes-2.5-Flash의 경우, 출시 발표에서 해당 모델이 제한된 평가판 이후 유료로 전환되지 않고 계속 무료로 제공될 것이라고 명시했습니다.

이 주장에는 실제로 한 가지 명확한 설명이 필요합니다: 무료 액세스가 반드시 무제한 처리량을 의미하지는 않습니다.

공개된 Agnes 문서에는 요금제별 요청 제한, 속도 제한 및 할당량이 명시되어 있습니다. 이 값은 변경될 수 있으며, 준비 기간 동안 공개된 모델 카탈로그에는 여전히 이전 텍스트 모델만 기록되어 있고 Agnes-2.5-Flash는 포함되어 있지 않습니다.

개발자는 다음 사항을 확인해야 합니다:

• 계정에 Agnes-2.5-Flash가 활성화되어 있는지
• 정확한 모델 식별자
• 분당 요청 수
• 컨텍스트 및 출력 제한
• 동시 요청 제한
• 주간 또는 일일 할당량
• 상업적 이용 약관
• 데이터 보존 및 개인정보 보호 설정
• 무료 액세스가 API, 데스크톱 앱 또는 둘 다에 적용되는지 여부

무료 액세스는 실험 과정을 크게 단순화할 수 있습니다. 그러나 프로덕션 환경의 안정성은 여전히 공개된 제한 사항, 서비스 가용성, 지원 및 안정적인 문서에 달려 있습니다.

Agnes AI API 사용하기

Agnes AI는 OpenAI 호환 게이트웨이를 다음 주소에서 제공합니다:

https://apihub.agnes-ai.com/v1  

공식 문서는 API 키를 환경 변수에 저장하고 표준 Bearer Token 형식을 사용할 것을 권장합니다.

다음 예제는 통합 패턴을 보여줍니다. 모델 이름은 아직 자리 표시자로, 작성 시점에 참조한 공식 문서에서는 2.5 모델 식별자가 아직 확인되지 않았기 때문입니다.

import os
from openai import OpenAI

api_key = os.environ.get("AGNES_API_KEY")
if not api_key:
    raise RuntimeError("AGNES_API_KEY 환경 변수를 먼저 설정하세요.")

client = OpenAI(
    api_key=api_key,
    base_url="https://apihub.agnes-ai.com/v1",
)

response = client.chat.completions.create(
    model="현재 AGNES_2_5_FLASH_MODEL_ID를 확인하세요",
    messages=[
        {
            "role": "user",
            "content": "이 오류 보고서를 확인하고 최소한의 테스트 가능한 수정 방안을 제안해 주세요.",
        }
    ],
)

print(response.choices[0].message.content)

프로덕션에 배포하기 전에:

1. Agnes 플랫폼에서 현재 모델 ID를 확인하세요.
2. 브라우저 측 코드에 API 키를 절대 노출하지 마세요.
3. 요청 타임아웃 및 지수 백오프 메커니즘을 추가하세요.
4. 계정 할당량에 따라 토큰 또는 요청 사용량을 기록하세요.
5. 실행 전에 도구 호출을 검증하세요.
6. 파일 삭제나 배포 등 파괴적 작업은 사람의 승인을 받도록 하세요.
7. 플랫폼에서 날짜가 포함된 별칭이나 안정적인 모델 별칭을 제공할 경우 버전을 고정하세요.

자주 묻는 질문

Agnes-2.5-Flash란 무엇인가요?

Agnes-2.5-Flash는 Agnes AI가 출시한 텍스트 모델로, 코딩, 에이전트 워크플로, 추론 및 일상적인 개발 작업에 최적화되었습니다. 이는 Agnes-2.0-Flash의 후속 모델이며, Agnes 코딩 시리즈에서 주력 모델로 자리 잡고 있습니다.

Agnes-2.5-Flash는 무료인가요?

Agnes AI는 Flash가 일시적인 프로모션이 아닌 계속 무료로 제공될 것이라고 발표했습니다. 실제 사용 시에는 여전히 요청 할당량, 속도 제한, 계정 요금제, 지역별 가용성 및 합리적 사용 규정이 적용될 수 있습니다.

Agnes-2.5-Flash를 API로 사용할 수 있나요?

출시 보고서에 따르면, 데스크톱 버전이 출시된 주에 더 넓은 API 액세스가 제공될 예정입니다. 이 글을 작성하는 시점에서 공식 문서에는 새로운 모델 ID가 아직 확인되지 않았으므로, 개발자는 통합 전에 공식 플랫폼을 확인해야 합니다.

Agnes-2.5-Flash와 Agnes-2.0-Flash의 차이점은 무엇인가요?

Agnes AI의 내부 평가에 따르면, 2.5 Flash는 공개된 7개 프로그래밍 테스트 항목 모두에서 더 높은 점수를 기록했습니다. 특히 SWE Atlas 코드베이스 질의응답, 리팩토링 및 테스트 작성 부문에서 가장 큰 개선을 보였습니다.

Agnes-2.5-Flash가 기존 코드베이스를 수정할 수 있나요?

실무 테스트 결과, 숨겨진 오류를 진단하고 소규모 기존 코드베이스에서 다중 파일 2인용 게임 모드가 포함된 기능을 구현할 수 있는 것으로 나타났습니다. 그러나 대규모 프로덕션 코드베이스에서는 여전히 테스트 수행, 패치 검토, 권한 관리 및 사람의 감독이 필요합니다.

Agnes Code란 무엇인가요?

Agnes Code는 로컬 프로젝트 및 광범위한 생산성 작업을 위한 데스크톱 에이전트 작업 공간입니다. 프로젝트 컨텍스트, 모델 제공자, 예약 작업, 사용자 정의 통합 및 소스 코드 외부의 출력 콘텐츠를 지원합니다.

Agnes Code에서 다른 제공자의 모델을 사용할 수 있나요?

평가된 데스크톱 인터페이스는 OpenAI, Anthropic 및 Ollama와 호환되는 사용자 정의 제공자를 지원합니다. 내장 제공자 및 구독 옵션의 전체 목록은 최신 애플리케이션에서 확인해야 합니다.

Agnes 벤치마크 점수는 독립적으로 검증되었나요?

이 문서에서 논의된 벤치마크 차트는 Agnes AI의 내부 평가 결과로 표시되어 있습니다. 독립 리더보드 테스트는 다른 에이전트, 프레임워크, 프롬프트, 계산 예산 및 검증 프로세스를 사용할 수 있으므로 직접적인 비교는 주의가 필요합니다.

관련 도구

• Agnes AI: Agnes 모델, 창작 서비스 및 제품 액세스를 위한 공식 웹사이트
• Agnes Code: Agnes 데스크톱 작업 공간의 공식 제품 페이지
• AgnesCode 문서: 데스크톱 앱, CLI, API, 확장, 스킬, MCP 및 ACP 지원 문서
• Agnes AI 플랫폼: 계정, API 키, 요금제 및 모델 액세스를 위한 공식 콘솔
• Agnes AI 모델 카탈로그: OpenAI 호환 공식 게이트웨이 예제 및 공개 모델 문서 저장소
• Clumsy Bird: 버그 수정 및 다중 파일 수정 테스트용 보관된 오픈소스 게임

관련 링크

• Agnes AI API 개요: API 호환성, 인증, 기능 및 보안에 대한 공식 정보
• Agnes AI GitHub 조직: Agnes AI Labs의 공식 저장소 및 개발자 리소스
• SWE-bench Verified: 실제 GitHub 이슈 해결 능력을 평가하기 위해 수동 선별된 SWE-bench 하위 집합

Terminal-Bench: 에이전트가 터미널 환경에서 실제 작업을 완료하는 공식 벤치마크입니다.

• SWE Atlas 논문: SWE Atlas에 관한 학술 논문입니다.

08366): 이 벤치마크 제품군은 코드베이스 질의응답, 테스트 작성 및 코드 리팩터링을 포함합니다.

• SWE Atlas GitHub: Scale AI에서 제공하는 공식 벤치마크 코드 및 리소스입니다.

요약

Agnes-2.5-Flash는 더 강력한 코딩 모델과 로컬 프로젝트, 반복 작업 흐름, 멀티모달 생산성을 위해 설계된 데스크톱 에이전트를 결합합니다. 실제 실무 테스트에서 수동으로 삽입된 취약점을 진단하고, 실행 가능한 단일 파일 비교 애플리케이션을 구축했으며, 협업 방식의 다중 파일 게임 수정을 완료했습니다.

회사 내부 벤치마크 결과에 따르면, Agnes-2.0-Flash 대비 7개 코딩 평가 항목에서 개선되었으며, 특히 SWE Atlas 트랙에서 두드러진 향상을 보였습니다. 다만, 이러한 결과는 여전히 내부 결과로 간주되어야 하며, 보편적으로 적용 가능하거나 독립적으로 재현 가능한 순위는 아닙니다.

무료 사용 약속은 이 제품의 가장 두드러진 장점이지만, 개발자는 무료 가격 정책과 무제한 용량을 구분해야 합니다. 모델 가용성, 속도 제한, 할당량 및 정확한 2.5 버전 API 식별자는 공식 플랫폼에서 확인해야 합니다.

Agnes-2.5-Flash의 매력은 유료 최첨단 모델이 불필요하다는 것을 증명하는 것이 아니라, 가격 장벽 없이 일상적인 코딩 작업의 대부분을 커버할 수 있다는 점에 있습니다.