Agnes-2.5-Flash レビュー：無料AIコーディングモデルによるバグ修正、アプリ構築、マルチファイルリファクタリングの実測

はじめに

AIプログラミングにおける最大の問題は、もはや能力の高いモデルの不足ではない。多くの開発者にとって、問題はアクセスのしやすさである。

高性能なプログラミングアシスタントはますます高額になり、地域制限によって既存のワークフローが中断される可能性があり、APIに依存したエージェントタスクは予算を急速に消費する。これにより、日常的なエンジニアリング業務に十分対応でき、安定して継続的に使用でき、コストを気にせずに使えるほど安価なモデルへの需要が高まっている。

Agnes AI は Agnes-2.5-Flash でこのギャップを埋めようとしている。これは、プログラミング、エージェントワークフロー、日常的な開発に最適化された新しいテキストモデルである。同社は、Flashモデルの無料利用を短期間のリリースプロモーションではなく、継続的に提供すると述べている。

今回のリリースには、Agnes Code というデスクトップエージェントも含まれている。これは、ローカルプロジェクトを開き、ファイルを編集し、ツールを実行し、反復作業をスケジュールし、複数のモデルプロバイダーに接続し、ドキュメント、画像、動画、プレゼンテーションなどのプログラミング以外のタスクも処理できる。

本記事では、実際のハンズオンテストの順序に従い、まずベンチマークデータ、次に隠されたバグの修正、ゼロからの完全なWebアプリ構築、マルチファイルゲーム改変、近日公開予定のProモデル、そして最も注目すべきAgnes Codeのデスクトップ機能について紹介する。

Agnes-2.5-Flash 日常的な開発向け

Agnes AI はFlashを、最大限の計算能力を追求するフラッグシップ製品ではなく、開発者の日常業務のための主力モデルと位置づけている。

Agnes-2.0-Flashと比較して、新バージョンでは以下の点が向上していると同社は述べている：

• コード理解能力
• リポジトリレベルの問題診断
• エンジニアリング修正タスク
• マルチステップタスクの実行
• 複雑な推論
• エージェント型開発ワークフロー

元記事は視覚的な比較から始まる。Agnes-2.0-FlashとAgnes-2.5-Flashに、HTML Canvasのみを使用して雨の夜のサイバーパンク都市を描画するよう要求したところ、旧モデルは複数の核となる要素を欠いていたのに対し、新バージョンは認識可能なスカイライン、斜めの雨、ネオンサイン、ホログラム看板を生成した。

このテストは定性的だが、期待される変化を示している。モデルは、構文的に有効なコードを生成するだけでなく、より長い仕様書をより完全に遵守すべきである。

内部プログラミングベンチマーク結果

Agnes AI は7つのプログラミングベンチマークの内部比較を公開している。これらの数値は同社が報告した結果であり、独立して再現されたリーダーボード提出データではないため、方向性を示す証拠として捉えるべきであり、最終的な証明ではない。

ベンチマーク	Agnes-2.0-Flash	Agnes-2.5-Flash	Agnes-2.5-Pro
Terminal-Bench 2.1	52.5	62.3	77.3
SWE-bench Verified	72.4	75.6	82.7
SWE-bench Pro	49.6	50.4	61.8
SWE-bench Multilingual	67.3	69.1	78.7
SWE Atlas — Q&A	15.8	36.5	40.8
SWE Atlas — リファクタリング	11.4	29.5	42.4
SWE Atlas — テスト作成	13.8	27.5	38.9

最も顕著なFlashの改善はSWE Atlasに見られる。このスイートは、一般的な問題解決を超えた専門的なソフトウェアエンジニアリングワークフロー（コードベースQ&A、リファクタリング、テスト作成など）を評価する。

このグラフは、ベンチマークの文脈の重要性も示している。Agnes-2.5-Flashはリストされたすべてのテストで向上しているが、すべての競合他社に対して自動的にリードするわけではない。その主なセールスポイントは、実用的なエンジニアリング能力と無料アクセスの組み合わせにあり、すべてのカテゴリーで最強のモデルであると主張することではない。

3つの実用的コーディングテスト

ベンチマークは有用だが、開発者は通常、より直接的な問題に関心を持つ。モデルは、実際に納品すべきコーディング作業を完了できるのか？

元のレビュアーは、難易度が増す3つのテストを実施した：

1. 手動で挿入されたバグを発見し修正する。
2. 単一の仕様書から完全なアプリケーションを構築する。
3. 複数の依存ファイルにわたって、馴染みのないプロジェクトを修正する。

テスト1：隠れたバグを発見できるか？

最初のテストでは、Clumsy Bird を使用した。これはFlappy Birdに影響を受けた、アーカイブされたオープンソースのMelonJS実装である。

レビュアーはまずゲームが正常に動作することを確認し、その後、移動ロジック内で重力値を 0.2 から 0 に手動で変更した。

この変更により異常な不具合が発生した。アプリケーションはクラッシュせず、プレイヤーがクリックすると鳥は上に移動するものの、落下しなくなり、ゲームが正常にプレイできなくなった。

完全なリポジトリがAgnes Codeで開かれた。プロンプトは、目に見える異常な動作のみを説明し、変更された行については明かさなかった。

テスト報告によると、Agnes-2.5-Flashはプロジェクトを調査し診断を生成するのに約3分を要した。修正の適用許可を得ると、約12秒で編集を完了した。修正後、ゲームは再び鳥を落下させ、パイプとの衝突を検出し、スコアを正しく更新するようになった。

このテストが実際に明らかにしたこと

重要なのは数値の修正ではない。問題の箇所を特定できれば、修正自体は取るに足らない。

モデルには以下が必要となる：

1. 馴染みのないプロジェクトを調査する。
2. 実行時の挙動をモバイルシステムと関連付ける。
3. 該当する実装コードを特定する。
4. 無効な物理パラメータを認識する。
5. 編集前に診断結果を説明する。
6. 無関係な動作を壊さずに最小限の修正を行う。

この手作業で仕込まれたバグは、プロジェクトの公開Issueリストやプルリクエスト履歴にも存在しておらず、モデルがこの特定のシナリオに対する記憶された修正を再現している可能性は低い。

これはあくまでレビュアーによるテストであり、管理されたベンチマークではないが、症状指向型のリポジトリ診断の有益な例である。

テスト2：アプリケーションをゼロから構築できるか？

2つ目のタスクは修正作業に留まらない。

レビュアーはAgnes-2.5-Flashに対し、単一のHTMLファイルでAIフロントエンドアリーナを構築するよう指示した。このアプリには以下の機能が必要とされる：

• 共有プロンプトを受け付ける
• 3つの独立したコード入力パネルを提供する
• 各隔離プレビュー内で送信されたコードを実行する
• 3つの実行結果を横並びで表示する
• 視覚的な品質、創造性、コードの完全性、指示への追従度、実行時の安定性を評価する
• レーダーチャートを生成して比較する
• 合計スコアでランキングする
• 一言評価を生成する
• HTMLファイルをダブルクリックするだけで開く

これは単なるランディングページではない。エディターインターフェース、サンドボックスレンダリング、評価ロジック、グラフ描画、状態管理、結果表示などを統合している。

生成されたツールは、3種類の異なるコードでハート型を描画する実装をテストするために使用された。ファイルは読み込まれ、並列にレンダリングされ、同一画面内で比較できる。

レビュアーは後にこのアプリを再利用し、Agnes-2.5-Flashを他のモデルと比較した。この再利用は単一のスクリーンショットよりも意味がある。出力結果は、その後の評価プロセスの一部として使用できるほど機能的だったのである。

なお注意すべき点

自動生成された採点システムは、数値やグラフを生成するという理由だけで客観的なベンチマークと見なすべきではない。

実際に使用する際、開発者は以下を確認すべきである：

• 各評価軸が明確に定義されているか
• 実行時エラーがスコアにどのように影響するか
• 自然言語による評価が決定論的であるか
• 信頼できないコードが本当に隔離されているか
• 外部リソースがサンドボックスをエスケープできないか
• ツールが繰り返し実行しても同じランキングを出すか

このテストはエンドツーエンドの実装能力を示すが、アリーナの評価手法の品質を独立して検証するものではない。

テスト3：ファイルをまたいだ変更を調整できるか？

最後のテストは再びClumsy Birdに戻るが、今回はより大規模な修正が求められる。

このリポジトリには、複数のJavaScriptモジュール、データリソース、HTML、CSS、設定ファイル、ビルド関連ファイルが含まれている。あるインターフェースを更新しても、それを呼び出すコードを同期して変更しなければ、ファイルをまたいだ変更は容易に失敗する。

依頼は、2人プレイ用のレースモードを追加することだった：

画面を上下2つの半分に分割する。上半分にはWキーで操作する赤い鳥を、下半分には上矢印キーで操作する青い鳥を配置する。各プレイヤーに独立したパイプとスコアを用意する。先にパイプに衝突した鳥が負けとなり、もう一方のプレイヤーが自動的に勝利する。同時に、対戦履歴の勝利数を保持するカウンターを残すこと。

このタスクは、ゲームの状態、操作、レンダリング、衝突処理、独立したスコアリング、勝利ロジック、リスタート動作、インターフェースレイアウトの修正を伴う。

報告によると、実行時間は約10分から20分だった。最終バージョンでは、2つのゲームエリア、独立した鳥、独立した障害物、キーボード操作、および対戦履歴の勝利総数が表示されている。

なぜ3つ目のテストが重要なのか

多くのコーディングデモは単一ファイル内で完結する。しかし、実際のソフトウェアエンジニアリングはそうであることは稀だ。

コードベースレベルの修正は、エージェントが以下を含むモデルを維持することを要求する：

• ファイルの責務
• モジュール間の依存関係
• 共有状態
• イベントフロー
• 既存の規約
• ビルドおよび実行時の動作
• 要件変更と無関係なコードの境界

結果は、Agnes-2.5-Flashが小規模なレガシープロジェクト内で意味のある複数ファイルの修正を処理できることを示している。しかし、これは数百万行のコード、厳格なテストスイート、複雑なデプロイインフラを備えたエンタープライズ級のコードベースにおいて同様の信頼性を発揮することを証明するものではない。

実際のプロダクション環境では、同様のエージェントは計画を示し、テストを実行し、修正したファイルを報告し、レビュー可能なパッチを提供することが求められるべきだ。

3つのテストからの結論

総合的に見ると、これらのテストはより明確な能力の輪郭を描き出す。

タスクタイプ	観察結果	実用的意義
隠れたバグの診断	症状に基づき手動で仕込まれた重力バグを特定	馴染みのないコードの調査に有用
完全なアプリケーション生成	動作可能な単一ファイルの比較シナリオを構築	複数のUIとロジックモジュールにまたがる計画能力を示す
複数ファイルのリファクタリング	既存のゲームプロジェクトに2人プレイモードを追加	コードベースの文脈把握と協調編集能力を示す

このモデルは、多くの一般的な開発タスクに適しているように見える：

• 特定範囲内のバグ診断
• 小規模アプリケーションの実装
• 内部開発者ツールの構築
• 既存のフロントエンドプロジェクトの編集
• 中規模の複数ファイル修正の調整
• デスクトップクライアントを介した反復的なエージェントワークフローの実行

現時点の証拠では、汎用性において最も強力な有料プログラミングモデルと同等であるとは言い難い。

無料でアクセスできることを注目に値するものにするには十分である。

Agnes-2.5-Proはより重量級のエンジニアリングタスクを目指す

Agnes AIは現在、Agnes-2.5-Proを準備している。これはプロフェッショナルなソフトウェアエンジニアリングワークロード向けの高性能モデルである。

期待される役割分担は明確だ：

Flash は日常的なコーディングやエージェントタスクに適した汎用モデルです。

• Pro は、より深い推論、大規模なコードベース、アーキテクチャの理解、拡張デバッグ、広範なシステム変更を処理するために設計されています。

同社の社内グラフによると、Pro は SWE-bench Verified の 82.7 点、SWE-bench Multilingual の 78.7 点を含む、全7項目のテストでより高いスコアを記録しています。

また、元の記事では公式デモについても言及されており、その内容は以下の通りです。

• 複数の全画面動画を含む高ダイナミックなWeb体験
• 短い雰囲気の説明から生成されるプレイ可能な3Dゲーム
• 300個のパーティクル、5つのカラーモード、調整可能な重力源、複数のインタラクション方法を備えたパーティクル・重力シミュレーター（わずか21.7 KBのHTMLファイル）

これらのデモは製品の方向性を示していますが、デモの品質が再現可能なエンジニアリングの信頼性と同等であるとは限りません。本レポート執筆時点では、Agnes-2.5-Pro はまだ正式にリリースされておらず、価格やプロダクションの制限も公開されていません。

Agnes Code：単なるコーディングクライアントではない

強力なモデルには、ファイルの確認、ツールの呼び出し、長時間のタスク管理を行うための実用的な環境が依然として必要です。

Agnes Code は、macOS と Windows 向けのネイティブデスクトップワークスペースです。より広範な公式 AgnesCode プロジェクトでは、ローカルエージェントワークフローのためのデスクトップアプリ、コマンドラインインターフェース（CLI）、アプリケーションプログラミングインターフェース（API）についても説明されています。

このインターフェースは、プロンプトボックスと、ローカルプロジェクトコンテキスト、モデル、スキル、アプリケーション、そして生成された出力を統合します。

純粋なコーディングツールとは異なり、Agnes Code はより幅広いアクティビティ向けに位置づけられています。

• コード生成とコードベース編集
• 調査と文書作成
• 画像と動画
• プレゼンテーションとオフィス文書
• ローカルファイル処理
• 自動化と定期タスク
• ツールとアプリケーションの連携

この幅広い適用範囲は、コーディングがタスクの一部に過ぎないワークフローにとって重要です。例えば、製品リリースには、ページの実装、ビジュアル素材の作成、ドキュメントの起草、スライドの準備、フォローアップ分析のスケジュール設定などが含まれる可能性があります。

カスタムモデルプロバイダー

このデスクトップアプリは Agnes モデルを含み、OpenAI互換、Anthropic互換、Ollama互換の設定を通じてカスタムプロバイダーの使用をサポートしています。

元のテストインターフェースは、サードパーティの最先端モデルも示していました。ベンダーの利用可能性やサブスクリプションの互換性は変更される可能性があるため、ユーザーは公開時のスクリーンショットではなく、現在のアプリケーションを確認する必要があります。

モデルのポータビリティは、ベンダーロックインのリスクを低減します。また、周辺のワークフローを再構築することなく、複数のベンダーで同じプロジェクトやタスクをテストできるため、評価も容易になります。

定期タスク

Agnes Code は、継続的な監視なしで実行できる定期タスクをキューイングできます。

例としては以下が含まれます。

• 失敗したCI実行を毎日要約する
• 毎週金曜日にプルリクエストのレビューノートを準備する
• 固定スケジュールでレポートを再構築する
• リポジトリに反復的なメンテナンス問題がないか確認する

これは、ループベースのエンジニアリングワークフローに似ており、反復的な運用作業を毎回手動でトリガーすることなくエージェントに任せます。

定期的な自律実行には、保護措置を併用する必要があります。安全な定期タスクには、権限制限、明確な出力、失敗通知、コスト監視、および破壊的な操作を実行する前の承認が必要です。

長時間タスク中のシステムスリープ防止

デスクトップ設定には、Agnes Code がタスクを実行している間、コンピューターを起動したままにするオプションが含まれています。

これは小さな機能ですが、ローカルエージェントワークにおける一般的な問題を解決します。長時間のビルド、リポジトリスキャン、または生成タスクは、単にオペレーティングシステムがマシンをサスペンドしたために失敗する可能性があります。

他のAIからのメモリーインポート

Agnes Code には、他のアシスタントから既に記憶された好みやプロジェクトコンテキストをインポートするワークフローも含まれています。

png)

このインターフェースは、他のアシスタントが構造化情報をエクスポートするためのプロンプトを提供します。例えば：

• 永続的な指示
• 作業コンテキスト
• プロジェクトの説明
• ツールの好み
• 作成の好み
• 関連する個人設定

エクスポートされたテキストは確認後、Agnes に貼り付けることができます。

これにより移行の負担が軽減されますが、エクスポートされた内容はユーザーが注意深く確認する必要があります。記憶には、他のサービスに転送すべきでない個人情報、古い前提、内部プロジェクト名、または機密データが含まれている可能性があります。

無料アクセス：重要だが、無制限ではない

容量能力

Agnes AI は、世界クラスの人工知能をすべての人が利用できるようにするという使命を公に掲げています。同社は、テキスト、画像、動画サービスの無料アクセスを中核的な製品戦略としています。

Agnes-2.5-Flash については、発表声明において、このモデルは無料トライアル後に有料化されるのではなく、無料で使い続けられると述べられています。

この主張には、実際的な説明が必要です。無料アクセスは必ずしも無制限のスループットを意味するわけではありません。

公開されている Agnes のドキュメントには、プランレベルのリクエスト制限、レート制限、クォータが記載されています。これらの数値は変更される可能性があり、準備期間中に公開されたモデルカタログには、Agnes-2.5-Flash ではなく、以前のテキストモデルが記録されたままです。

開発者は以下を確認する必要があります：

• アカウントで Agnes-2.5-Flash が有効になっているか
• 正確なモデル識別子
• 1分あたりのリクエスト数
• コンテキストと出力の制限
• 同時リクエスト制限
• 週次または日次のクォータ
• 商用利用条件
• データ保持とプライバシー設定
• 無料アクセスが API、デスクトップアプリケーション、またはその両方に適用されるか

無料アクセスにより、実験プロセスは大幅に簡素化されます。本番環境の信頼性は、公開された制限、サービスの可用性、サポート、安定したドキュメントに引き続き依存します。

Agnes AI API の使用

Agnes AI は、以下のアドレスで OpenAI 互換のゲートウェイを提供しています：

https://apihub.agnes-ai.com/v1

公開ドキュメントでは、API キーを環境変数に保存し、標準の Bearer Token 形式を使用することを推奨しています。

以下の例は、統合パターンを示しています。モデル名は、執筆時点で参照した公式ドキュメントで公開されている 2.5 モデル識別子が確認されていないため、依然としてプレースホルダーです。

import os
from openai import OpenAI

api_key = os.environ.get("AGNES_API_KEY")
if not api_key:
    raise RuntimeError("AGNES_API_KEY 環境変数を設定してください。")

client = OpenAI(
    api_key=api_key,
    base_url="https://apihub.agnes-ai.com/v1",
)

response = client.chat.completions.create(
    model="現在の AGNES_2_5_FLASH_MODEL_ID を確認してください",
    messages=[
        {
            "role": "user",
            "content": "このエラーレポートを確認し、最小限のテスト可能な修正案を提案してください。",
        }
    ],
)

print(response.choices[0].message.content)

本番環境で使用する前に：

1. Agnes プラットフォームで現在のモデル ID を確認してください。
2. ブラウザ側のコードで API キーを絶対に公開しないでください。
3. リクエストタイムアウトと指数バックオフメカニズムを追加してください。
4. アカウントのクォータに基づいて、トークンまたはリクエストの使用量を記録してください。
5. 実行前にツール呼び出しを検証してください。
6. 破壊的なファイル操作やデプロイ操作には人間の承認を要求してください。
7. プラットフォームが日付付きまたは安定したモデルエイリアスを提供する場合は、バージョンを固定してください。

よくある質問

Agnes-2.5-Flash とは何ですか？

Agnes-2.5-Flash は、Agnes AI が開発したテキストモデルで、コーディング、エージェントワークフロー、推論、日常的な開発タスクに最適化されています。Agnes-2.0-Flash の後継であり、Agnes コーディングシリーズの汎用モデルとして位置づけられています。

Agnes-2.5-Flash は無料ですか？

Agnes AI は、Flash が一時的なプロモーションに限定されることなく、無料であり続けると発表しました。実際の使用は、リクエストクォータ、レート制限、アカウントプラン、地域の可用性、公正使用ルールの対象となる場合があります。

Agnes-2.5-Flash は API で使用できますか？

リリースレポートによると、デスクトップ版のリリースから1週間以内に、より広範な API アクセスが利用可能になる見込みです。執筆時点では、公開ドキュメントで新しいモデル ID が確認されていないため、開発者は統合前に公式プラットフォームを確認する必要があります。

Agnes-2.5-Flash は Agnes-2.0-Flash と比較してどうですか？

Agnes AI の内部評価によると、2.5 Flash は公開された7つのプログラミングテストすべてでより高いスコアを達成しました。特に SWE Atlas コードベースの質問応答、リファクタリング、テスト作成のトラックで顕著な改善が見られました。

Agnes-2.5-Flash は既存のコードベースを編集できますか？

実践的なテストでは、隠れたエラーを診断し、小規模な既存コードベースでマルチファイルの2人用ゲームモードを含む機能を実装できることが示されています。ただし、大規模な本番コードベースでは、テスト、パッチレビュー、権限管理、人間による監督が依然として必要です。

Agnes Code とは何ですか？

Agnes Code は、ローカルプロジェクトと幅広い生産性タスクのためのデスクトップエージェントワークスペースです。プロジェクトコンテキスト、モデルプロバイダー、スケジュールタスク、カスタム統合、ソースコードを超えた出力コンテンツをサポートしています。

Agnes Code は他のプロバイダーのモデルを使用できますか？

評価されたデスクトップインターフェースは、OpenAI、Anthropic、Ollama との互換性を持つカスタムプロバイダーをサポートしています。組み込みのプロバイダーとサブスクリプションオプションの完全なリストは、最新のアプリケーションで確認する必要があります。

Agnes のベンチマークスコアは独立して検証されていますか？

この記事で言及されているベンチマークグラフは、Agnes AI の内部評価結果としてラベル付けされています。独立したランキングテストでは、異なるエージェント、フレームワーク、プロンプト、計算予算、検証プロセスが使用される可能性があるため、直接の比較には注意が必要です。

関連ツール

• Agnes AI：Agnes モデル、クリエイティブサービス、製品へのアクセスに関する公式ウェブサイト。
• Agnes Code：Agnes デスクトップワークスペースの公式製品ページ。
• AgnesCode ドキュメント：デスクトップアプリ、CLI、API、拡張機能、スキル、MCP、ACP サポートに関するドキュメント。
• Agnes AI プラットフォーム：アカウント、API キー、プラン、モデルアクセスの公式コンソール。
• Agnes AI モデルカタログ：OpenAI 互換の公式ゲートウェイの例と公開モデルドキュメントのリポジトリ。
• Clumsy Bird：バグ修正とマルチファイル変更のテストに使用されるアーカイブされたオープンソースゲーム。

関連リンク

• Agnes AI API 概要：API の互換性、認証、機能、セキュリティに関する公式情報。
• Agnes AI GitHub 組織：Agnes AI Labs の公式リポジトリと開発者リソース。
• SWE-bench Verified：実際の GitHub 問題解決能力を評価するために人間が選別した SWE-bench のサブセット。

Terminal-Bench：エージェントが端末環境で実際のタスクを遂行するための公式ベンチマークです。

• SWE Atlas 論文：SWE Atlas に関する学術論文。

08366)：このベンチマークスイートは、コードベースのQA、テスト作成、コードリファクタリングをカバーしています。

• SWE Atlas GitHub：Scale AI が提供する公式ベンチマークのコードとリソース。

まとめ

Agnes-2.5-Flash は、より強力なコーディングモデルと、ローカルプロジェクト、反復的なワークフロー、マルチモーダルな生産性に特化したデスクトップエージェントを統合しています。自社による実タスクテストでは、手動で埋め込まれた脆弱性の診断、実行可能な単一ファイル比較アプリの構築、協調的な多ファイルゲーム改修を完了しました。

社内ベンチマーク結果によると、7つのコーディング評価項目において Agnes-2.0-Flash からの改善が見られ、特に SWE Atlas トラックで顕著な向上を示しました。ただし、これらの成績は社内結果として扱うべきであり、普遍的に適用可能で独立して再現可能なランキングではありません。

無料利用の約束は本製品の最も顕著な強みですが、開発者は無料の価格設定と無制限の容量を区別する必要があります。モデルの利用可能性、レート制限、クォータ、および正確な 2.5 バージョンの API 識別子については、公式プラットフォームで確認する必要があります。

Agnes-2.5-Flash の魅力は、有料の最先端モデルが不要であることを証明することではなく、価格の壁を設けずに日常のコーディング作業の多くの場面をカバーできる点にあります。