← 返回首页

Fable 5がKernelBench-MegaでCUDAメガカーネルを生成：2.5時間で18.7倍の高速化を達成

本稿では、Fable 5が報告したKernelBench-Megaの結果が単なるベンチマーク勝利以上の意味を持つ理由を解説します。重要なのはシングルローンチのCUDAメガカーネル、すなわち、複数カーネル方式に比べて起動オーバーヘッドを大幅に削減し、複雑なデコード処理を実行する融合パスです。また、この結果は、AI開発そのものを支えるパフォーマンスエンジニアリングタスクにおいて、AIシステムがより優れた成果を上げつつあることを示しています。高速なカーネルは推論や学習の効率を向上させ、注目すべきフィードバックループを生み出します。同時に、AIが生成した低レベルコードをデフォルトで本番環境に適用すべきではありません。正確性、プロファイリング、ハードウェア動作の理解、リグレッションテストは依然として重要です。 **真の要点：Fable 5のメガカーネルは、AI支援によるGPUパフォーマンスエンジニアリングがデモの領域から本格的な基盤整備へと移行しつつあることを示す強力なシグナルです。**

发布于 2026年7月9日•general•GEO 评分: 0•5 次阅读
Fable 5 CUDAメガカーネルKernelBench-MegaGPUカーネルベンチマークAI生成CUDAコードCUDAカーネル最適化RTX PRO 6000 BlackwellKimi Linearデコード再帰的自己改善AIPyTorchプロファイラAIコーディングベンチマーク

选择语言

العربيةDeutschEnglishEspañolFrançaisItaliano日本語한국어PortuguêsРусский中文
技術記事のイメージ画像で、タイトルとパフォーマンス成果を中央に配置。暗色の技術的背景の左側に、白とオレンジの強調フォントで「Fable 5 CUDA Megakernel」と表示され、その下に小さな文字で「KernelBench-Mega · 18.7x Speedup in 2.5 Hours」と記載。画面右側には、オレンジ色に発光するコア演算エフェクトを伴う動作中のGPUチップが配置され、チップの右上にはKernelBench-Megaベンチマークの18.7倍高速化データと上昇傾向を示すグラフが表示。全体的にシンプルで強調されたデザインで、Fable 5がKernelBench-Megaで2.5時間で18.7倍の高速化を実現したCUDAメガカーネル開発の核心的内容に対応している。

Fable 5、KernelBench-Mega上でCUDAメガカーネルを作成：2.5時間で18.7倍の高速化

はじめに

Fable 5は、KernelBench-Megaに提出された初の本格的なCUDAメガカーネルを作成したと報告され、新たなAIエンジニアリングの議論の中心となっている。その結果は驚くべきもので、RTX PRO 6000 Blackwell環境において、約2.5時間の自律セッション内で18.71倍のデコード高速化を達成した。

見出しとなるのは、AIシステムが高速な低レベルコードを書いたという事実だけではない。より重要なのは、その解決策の形状である。Fable 5は、複数の小さなGPUカーネルをつなぎ合わせる代わりに、デコード処理をトークンあたり1つの協調カーネル起動に融合したのだ。この点が、研究者やエンジニアの注目を集めた理由である。

画像は、帽子をかぶった男性のアバターが表示されたElliot Arledge氏のツイート。「Claude Fable 5 [max] wrote the first genuine (and fastest) megakernel ever submitted to KernelBench-Mega.」という内容とその中国語訳が記載。右上には「Subscribe」ボタンと三点リーダーのアイコンがある。この画像は、Fable 5がKernelBench-Megaに初の本格的な（最速の）メガカーネルを提出したという成果の公式発表に関連するもの。

本稿では、元の構造と技術的な意味を維持しつつ、より明確な英語で書き直して公開する。KernelBench-Megaが何をテストしているのか、この結果がなぜ重要なのか、メガカーネルが通常のGPUカーネル生成とどう異なるのか、そして一部の研究者がこれを再帰的自己改善の概念と結びつける理由について解説する。

Fable 5、18.7倍を達成しGPT-5.5を大きくリード

ベンチマーク結果はKernelBench-Megaに基づく。これは、個別の演算子最適化ではなく、フルブロックのメガカーネル生成に焦点を当てたベンチマークである。今回の実行では、Fable 5は4ビット重みとbf16活性化を使用するKimi-Linear W4A16ハイブリッドデコードタスクである02_kimi_linear_decodeを対象とした。

報告された設定は厳格だった：1回の自律セッション、3時間のウォールクロック上限、実ベンチマークハーネス。この制限内で、Fable 5は最適化されたPyTorchリファレンスに対して18.71倍のデコード高速化を達成した。

画像は、Fable 5のCUDAマイクロカーネル生成に関する性能テストの過程を示す。横軸は累積出力トークン数、縦軸はデコード速度向上倍率。緑色の折れ線でFable 5の性能変化を表示し、brf64 SIMD int4 dequeue、RLA softmax + Transpose workなどの複数の重要なステップを注釈。参考デコード速度1秒、異なる時点のウォールクロックなども記載。この図は、Kimi-Linearデコードタスクにおける18.71倍のデコード速度向上を視覚的に示す補助資料。

比較表により、結果がより理解しやすくなる：

モデル 報告された高速化倍率 備考
Fable 5 18.71倍 CUDAメガカーネル、単一融合起動パス
Claude Opus 4.8 14.40倍 強力な結果だが、同一の単一CUDAメガカーネルパターンではない
GPT-5.5 4.34倍 本タスクでは大幅に低い高速化
Claude Sonnet 5 4.03倍 このリーダーボード上ではGPT-5.5と同程度

画像はKernelBench-Megaベンチマーク結果を表示。RTX PRO 6000上で、各モデルのCUDAメガカーネルにおけるデコード速度倍率を比較。Claude-fable-5が18.71倍でトップ、Claude-opus-4-8が14.40倍、GPT-5.5が4.34倍、Claude-sonnet-5が4.03倍。表には各モデルの正確性、スループット、実行時間、フレームワーク、メガカーネル数などの情報も記載。各モデルの本タスクにおける性能を直感的に示す。

oss-cn-beijing.aliyuncs.com/cms-assets/image/2026/07/ce6c9cad-7360-4ac5-854b-279a01ab49ee-04-4d685459-6d03-4b22-840d-4e6787d38b10.png)

コンテキスト長ごとの性能内訳も重要です。表示されているリーダーボードによると、Fable 5はコンテキストが長くなるにつれて強いパフォーマンスを維持しました。

  • 2Kコンテキスト：約17.8倍
  • 8Kコンテキスト：約18.9倍
  • 16Kコンテキスト：約19.5倍

これは一見すると直感に反します。通常、コンテキストが長くなるとアテンションとKVキャッシュ処理のコストが増加し、多くのシステムではパフォーマンスが低下し始めます。Fable 5の結果は、統合設計によって起動オーバーヘッドが十分に削減され、ワークロードが重くなるほど相対的な優位性が大きくなったことを示唆しています。

この画像は、KernelBench-MegaベンチマークにおけるFable 5の具体的な実行データを示しています。テストに使用されたGPUはRTX PRO 6000 Blackwell、モデルはclaude-fable-5で、テストは正常に完了しました。中心に強調表示されているのは、速度が18.71倍向上したこと、さらに異なるコンテキスト長での向上値が示されています：2kコンテキストで17.8倍、8kコンテキストで18.9倍、16kコンテキストで19.5倍。加えて、このテストの推論レートは3226tok/s、実実行時間は2時間33分、使用フレームワークはcudaであり、これらのデータは本タスクにおけるFable 5の性能を視覚的に示しています。

KernelBench-Megaが通常のカーネルベンチマークより難しい理由

KernelBench-Megaは、モデルに単一の小さなオペレーターを磨き上げるよう求めるだけではありません。エージェントに、より大きなモデルブロックをブロック全体のメガカーネルへと融合するよう要求します。これは重要です。なぜなら、難しい部分は単に構文的に正しいCUDAやTritonのコードを書くことではなく、効率的な一つのパスの中で、相互作用する多数の計算ステージを管理することにあるからです。

02_kimi_linear_decodeタスクには、Kimi-Linear W4A16向けのハイブリッドデコードワークロードが含まれています。実際には、モデルは量子化された重み、bf16アクティベーション、アテンション関連の状態、ルーティング、正規化、キャッシュ動作を処理する必要があります。

これこそが、このベンチマークがAI生成の低レベルパフォーマンスコードにとって意味のあるストレステストとなる理由です。孤立した小さなオペレーターの単純な高速化も有用ですが、フルブロックのメガカーネルは、実際の推論システムに影響を与えうる最適化の作業に近いものです。

初めての真の「メガカーネル」

最も重要な技術的主張は、Fable 5がKernelBench-Megaの歴史において初めての真のメガカーネルを生成したということです。

メガカーネルは、より大きな推論パスを一つのカーネルに圧縮します。複数の個別カーネルを起動して制御を行き来させる代わりに、一つの協調された実行フロー内に処理を留めます。これは、カーネルが正しさを維持しながら多くのフェーズを調整しなければならないため、難しいことです。

今回の場合、レポートによると、torch.profiler は、デコードされたトークンごとに正確に一つの協調カーネル起動を示しました。この単一の起動で、通常は複数のステージに分割されるであろう処理を処理しました。その中には以下が含まれます。

  • int4逆量子化
  • 畳み込み
  • SiLU活性化関数
  • KDAゲート付きデルタ状態
  • MLA潜在アテンション処理
  • MoEルーティングとトップ8エキスパート選択
  • RMSNorm関連操作
  • KVキャッシュへの書き込み

![この画像は、Fableが初めて真のGPUメガカーネルを生成したモデルであり、その実行速度はリファレンス実装より18.7倍高速であるという内容のツイートです。ツイートはFableの創業者Fabien Mikolの言葉を引用し、「メガカーネルはGPUプログラミングにおいて最も難しい成果物の一つであり、それを書けるのは世界中でごく一部の人々だけである」と述べています。画像の下には「この翻訳を評価する」オプションがあり、さらにRTX 4090 GPU上での様々なモデルの実行データが表示されており、Fableの実行速度は10.71倍と示されています。この画像は文脈と密接に関連し、GPUメガカーネルにおけるFableの優位性を視覚的に示しています。](https://we0-cms.oss-cn-beijing.aliyuncs.

com/cms-assets/image/2026/07/0284bb32-eef6-4fc5-93a4-b8b21ae807ea-06-8afeece2-a6c6-493a-ba7e-b089780ec8a1.png)

他の高スコアを獲得したエントリでは、作業を4～14個の個別のカーネル起動に分割していたと報告されています。Fable 5は、時間指定パスを1つの融合された協調起動に統合しました。これが、「高速な生成カーネルコード」と、はるかにアグレッシブなGPUプログラミング成果物の違いです。

1回のカーネル起動がパフォーマンスプロファイルをどう変えるか

カーネル起動にはコストが伴います。各起動にはオーバーヘッド、同期コスト、スケジューリングのギャップが発生します。デコードワークロードでは、トークンごとに作業が繰り返されるため、これらのコストが特に顕著になります。

Fable 5のアプローチは、デコードステップを1つの協調パスにまとめることで、その繰り返しのオーバーヘッドを削減します。元のレポートでは、このソリューションを、同じ起動内で計算を段階的に行うために14のグリッドバリアを使用するものと説明しています。

これこそが、結果が巧妙な数学に留まらない理由です。それはシステムレベルのGPU実行に関するものです。他のソリューションがカーネルに出入りを繰り返すと、その受け渡しに時間をロスします。Fable 5はパイプラインを融合したままにすることで、そのコストの多くを回避します。

簡単に言えば、他社は複数回の処理で作業を完了するのに対し、Fable 5は1回で完了しようと試みるのです。

2.5時間と約55万トークン

この実行のもう1つの注目すべき点は、モデルが時間をどのように使ったかです。最終的なCUDAコードをすぐに吐き出し始めたわけではありません。トレースは、より慎重なワークフローを示唆しています。

セッションの大部分において、Fable 5はベースラインのベンチマーク、グリッドバリアコストの探索、メモリ帯域幅の検討を行いました。記事では、このフェーズにセッションの約64%を費やし、その後メインの実装に至ったと説明されています。

画像は、KernelBench-MegaタスクにおけるFable 5のCUDAコード生成のコードトレース情報を示しています。ユーザーとアシスタントの対話の中で、アシスタントはまず問題ファイルを読み込んで構築内容を理解し、次にベンチマークを開始して、目標はベースラインを測定し、並行してグリッドバリアコストを測定することであると伝えています。画像には、torchのバージョン、メモリ使用量などの情報、およびアシスタントがサブプロセスを開始するプロンプトも表示されています。この画像はコンテキストと密接に関連しており、タスク初期におけるFable 5のコード生成とテストプロセスを視覚的に示しています。

初期バージョンが作成された後、最初のベンチマークでは約14.4倍に達したと報告されています。その後、Fable 5は残りの時間を使って、バリアの削除、int4逆量子化の最適化、変更のテスト、そして測定結果が悪化した場合には1つの不適切な最適化をロールバックしました。

実行全体には約2.5時間かかり、約55万の出力トークンが使用されました。重要な詳細は規模だけではありません。その動作にあります。ベンチマーク、構築、測定、必要に応じてロールバック、そして確信ではなくデータに基づいた最適化です。

元の情報源はまた、Fable 5はAnthropic社内のMythosモデルの、より安全な、あるいは縮小版として説明されていることにも言及しています。この主張は、製品の公式発表としてではなく、情報源の記述の一部として読まれるべきです。

この画像は、ユーザーsckchuiからの9時間前のコメントで、英語とそれに対応する中国語の翻訳文を含み、FableがAnthropic社内モデルMythosの弱体化バージョンであり、Mythos自体はおそらくAnthropicの最新の社内最適モデルではないことを説明しており、文書で言及されている「Fable 5はAnthropic社内のMythosモデルの、より安全な、あるいは縮小版である」という関連表現と呼応しています。

「AI自己改善ループが始動した」

より広範な議論は、Jack ClarkのImport AIニュースレターから来ています。その中で、

issueとして、ClarkはGPUカーネルの成果を、AIシステムがAI研究開発そのものの自動化において向上していることの兆候として位置づけた。

画像はJack ClarkによるImport AI 464号のタイトルで、「FableがGPUカーネルを記述；AIの自動化；シミュレーション計算」とある。下部には「これが新世界の始まりか？」とのキャプションがあり、発信者はJack Clark、日付は2026年7月6日。この画像は文書全体の文脈と密接に関連しており、文脈ではFable 5がKernelBench-MegaでCUDAカーネルを記述したことや、AIシステムがAI研究開発の自動化において進展を見せていることが述べられている。この画像のタイトルとキャプションはその内容を引用したものであり、AIシステムの自動化能力に関する考察を促すものである。

論理は直接的だ：

  1. より優れたAIシステムは、より優れた低レベルカーネルを記述できる。
  2. より優れたカーネルは、学習や推論を高速化・低コスト化できる。
  3. より高速で低コストなAIシステムは、次世代の構築に役立つ。
  4. その次世代は、さらにカーネル記述に優れるようになるかもしれない。

だからこそ、この議論において「再帰的自己改善」という言葉が登場する。これは、完全に自律的な暴走ループがすでに発生したことを意味するわけではない。ループの一部——AIが、AIを構築するために使われるインフラを改善する——が、より可視化され、測定可能になりつつあることを意味する。

画像はRedditの投稿で、投稿者はr/singularity、9時間前に投稿。内容は、Fable 5がKernelBenchでトップに立ち、Jack Clarkがこれを「再帰的自己改善（RSI）サイクルの始まり」と呼んだというもの。下部には日本語訳がある。この画像は、文書内でFable 5がKernelBench-Megaで18.7倍の速度向上を達成したという議論に関連しており、AIシステムがAI研究開発の自動化において示した進歩、すなわち再帰的自己改善サイクルの現れを示している。

カーネル記述から遠隔労働へ

元の記事は、このカーネルに関する成果を、より広範な自動化ベンチマークと結びつけている。Import AIはリモート労働指数（Remote Labor Index）を取り上げており、これはAIエージェントが経済的に有用なオンラインプロジェクトにおいて評価されるものだ。

重要なのは、CUDAカーネルの記述とフリーランスのタスク自動化が同じものだと言っているわけではない点だ。両者は異なる。しかし、どちらも同じ方向を指している。すなわち、フロンティアAIシステムは、計画、ツール使用、検証、反復を必要とする、より長く構造化されたタスクにおいて改善しているということだ。

情報源中のあるコメントは、この懸念をよく捉えている。モデルがモデルを高速化するカーネルを記述できるようになれば、そのツールはもはやユーザーを支援するだけのものではない。それは自身の基盤の一部を改善しているのである。

画像はNoah Hirshonによる、AIシステムがGPUカーネルを記述したという成果へのコメント。コメントでは、GPUカーネルという点が最も注目に値し、モデルがモデルを高速化するカーネルを記述できるようになると、そのツールは自身の基盤を改善し始め、ループが重なると指摘。鍵となるのは検証であり、わずかな誤りやわずかに遅いカーネルは気づかれにくく、「正しく見える」ことと「実際に高速である」ことは異なると述べている。このコメントは文脈と密接に関連しており、文脈で述べられたAIシステムによるGPUカーネル記述の成果に対する補足説明として、検証の重要性を強調している。

ここで検証が極めて重要になる。正しく見えるカーネルが、必ずしも高速とは限らない。高速に見えるカーネルには、微妙な正確性の問題が潜んでいる可能性がある。低レベルのGPU作業では、レビューループは厳格に保たれなければならない。

急速な進歩、確かな警戒心

この話には二面性がある。一方では、その成果は刺激的である。かつては少数の熟練GPUプログラマーに限られていた低レベルのパフォーマンス成果物を、AIシステムが生み出すようになったのだ。

画像は、「Pristine-Today-9177」というユーザーが9時間前に投稿したコメントを示している。コメントは英語で、これは重要なエキスパートレベルのボトルネックであり、それが今や人間超のレベルで自動化されたことを称賛し、この時代に生きていることは素晴らしいと述べている。下部にはその日本語訳もある。この画像は「Fast Progress, Real Caution」の部分に位置し、上記のAIシステムによる低レベルパフォーマンスコード生成という現象に対するコメントであり、この技術進歩への驚嘆と感慨を表している。

一方で、これはまさに慎重な注目を集めるべき能力である。同じニュースレターの号では、汎用コンピューティングが非常に強力で危険になり、人々がそれを制限しようとする未来を想像している。そのフィクションの結末は予言ではないが、加速する技術システムに対する不安を反映している。

画像は、“Tech Tales: 科技寓言”シリーズの作品タイトルを示している。タイトルは“The Brass Gears of Civilization”（文明の黄銅歯車）で、その下に物語の背景となる“2050, after the fall”（2050年、大崩壊後）が中英で記されている。この画像は、文書内の「Fast Progress, Real Caution」セクションの後に位置し、加速する技術システムへの不安を反映したシリーズ作品についての記述と密接に関連している。画像のタイトルは、2050年の文明崩壊後の状況を物語が描くことを示唆している。

当初のKernelBenchの研究でAI生成カーネルの難しさが示されてから1年余りで、この結果は大きな飛躍を示唆している。Fable 5は、単に利用可能なカーネルを生成しただけではない。限られたセッションの中で、困難なベンチマークのトップに到達する融合メガカーネルパスを生成したのである。

AIインフラにとって、これは重大なシグナルである。

出典ノート

  • 原典：BAAI Hub記事
  • 元記事は、Import AI 464、KernelBench-Mega、Elliot Arledge氏のX投稿、Redditの議論からの報道や議論を引用している。
  • 元記事には、いくつかのブランディング区切り線、装飾ロゴ、エンゲージメント用グラフィック、人物写真が含まれている。これらは技術的な読書の流れに不要であるため、意図的に除外した。
  • ソース内に独立したコードブロックは存在しなかった。02_kimi_linear_decode や torch.profiler といったインラインの技術識別子はそのまま保持した。

よくある質問

KernelBench-Megaとは何ですか？

KernelBench-Megaは、ブロック全体のメガカーネル生成に焦点を当てたベンチマークです。モデルに単一の孤立した演算子の最適化を求めるのではなく、より大きなワークロードを効率的なカーネルパスに融合させ、実際のパフォーマンスを測定するよう求めます。

Fable 5はKernelBench-Megaで何を達成しましたか？

Fable 5は、02_kimi_linear_decodeタスクにおいて、最適化されたPyTorchのリファレンスと比較して、18.71倍のデコード高速化を達成したと報告されています。この結果は、3時間という制限時間内で、単一の自律セッションの中で生成されました。

CUDAメガカーネルが難しい理由は何ですか？

メガカーネルは、1回のカーネル起動内で計算の多くの段階を調整しなければなりません。つまり、実装は、作業をより安全な小さなカーネルに分割することなく、データ移動、同期、数値的正確性、メモリ帯域幅、実行順序を管理する必要があります。

単一のカーネル起動が重要な理由は何ですか？

GPUカーネルの起動には、毎回オーバーヘッドが発生します。トークン単位のデコードでは、繰り返しの起動が急速に積み重なります。単一の融合起動により、同期とスケジューリングのオーバーヘッドを削減できるため、これが重要です。

Fable 5のアプローチは技術的に意味のあるものです。

これは再帰的な自己改善の証明ですか？

完全な自律的な自己改善ループの証明ではありません。AIシステムがカーネル設計や推論最適化など、AIインフラを改善できるタスクの自動化を始めているという具体的な兆候として捉えるのが適切です。

この種のAI生成CUDAコードは本番環境で使用できますか？

注意深いレビューなしに直接使用することはできません。パフォーマンスコードには、厳密な正しさのチェック、プロファイリング、回帰テスト、ハードウェア固有の検証が必要です。高速なベンチマーク結果は有望ですが、本番環境へのデプロイには、はるかに多くの検証が必要です。

この結果を研究するのに役立つツールは何ですか？

KernelBench-Megaはリーダーボードと実行成果物を提供します。PyTorchプロファイラ、CUDAツール、Hugging Faceトレースデータセット、GPUプロファイリングツールは、生成されたカーネルの動作を理解するのに役立ちます。

関連ツール

  • KernelBench-Mega: ブロック全体のメガカーネルの結果と実行成果物に関するベンチマークページ。
  • KernelBench GitHubリポジトリ: LLM生成GPUカーネルを評価するためのオリジナルのベンチマークフレームワーク。
  • NVIDIA CUDAツールキット: CUDAアプリケーションの記述、コンパイル、プロファイリングのためのコアツールキット。
  • PyTorchプロファイラ: PyTorchワークロードにおける実行時間、カーネル起動、ランタイム動作を検査するためのプロファイリングツール。
  • Hugging Faceデータセット: データセットとベンチマークトレースをホストするプラットフォーム。KernelBenchの実行成果物も含む。
  • Triton: AIパフォーマンスエンジニアリングでよく使われるカスタムGPUカーネルを記述するための言語とコンパイラ。

関連リンク

まとめ

この記事は、なぜFable 5の報告されたKernelBench-Megaの結果が単なるベンチマークでの勝利以上のものなのかを説明しています。重要な詳細は、

シングルローンチCUDAメガカーネル：複雑なデコードワークロードをマルチカーネル方式よりも格段に少ない起動オーバーヘッドで処理する融合パス。

この結果が重要なのは、AI開発そのものを支えるパフォーマンスエンジニアリングタスクにおいて、AIシステムがより優れた能力を発揮しつつあることを示しているからでもある。より高速なカーネルにより推論やトレーニングが効率化され、その好循環は注目に値する。

同時に、AIが生成した低レベルコードをデフォルトで本番環境に投入可能と見なすべきではない。正確性、プロファイリング、ハードウェアの挙動、回帰テストは依然として重要である。

真の教訓：Fable 5のメガカーネルは、AI支援によるGPUパフォーマンスエンジニアリングがデモ領域から本格的な基盤技術へと移行しつつあることを示す力強いシグナルである。