CloudflareがAIクローラーをSearch、Agent、Trainingに分類した後、We0 AIのウェブサイトはすべて開放すべきか？
**英語タイトル:** Should We0 AI Open Its Entire Website After Cloudflare Split AI Crawlers into Search, Agent, and Training?
CloudflareがAIクローラーをSearch・Agent・Trainingに分類した後、We0 AIのWebサイトはすべてを公開すべきか？
English Title: Should We0 AI Open Its Entire Website After Cloudflare Split AI Crawlers into Search, Agent, and Training?
Tags: Cloudflare, AI Crawler, Search, Agent, Training, SEO, GEO, We0 AI, AI 建站, 网站增长
SEO Title: CloudflareがAIクローラーをSearch / Agent / Trainingに分類した後、Webサイトはすべて公開すべきか？We0 AIの判断
SEO Description: CloudflareがAIクローラーをSearch、Agent、Trainingに細分化した今、Webサイト運営戦略はもはや「全面公開か全面拒否か」ではない。本記事ではWe0 AIの展示サイト成長ロジックを踏まえ、何を公開し、何を制限し、何をデフォルトでブロックすべきかを解説する。
SEO Keywords: Cloudflare AI crawler, Search Agent Training, Cloudflare AI bots, AIクローラー, AIへのWebサイト公開の是非, robots.txt, コンテンツ保護, SEO, GEO, We0 AI, 展示型サイト成長
SEO Slug: /blog/cloudflare-search-agent-training-we0-ai-open-or-not
SEO Cover Brief: 展示型サイトが画面中央に位置し、3種類の異なる色のAIトラフィック（Search：リファラル、Agent：リアルタイムアクセス、Training：コンテンツ吸収）に向き合っているイメージ。中心的なビジュアルは「全面公開ではなく、階層的な公開」。
問題は「全面公開すべきか」ではない。
本当の問題は、あなたのWebサイトがどのAIトラフィックに公開されるべきか、です。
Cloudflareは最近、AIクローラーをSearch、Agent、Trainingの3つに明確に分類しました。この動きは一見すると製品分類のように見えますが、実際にはWebサイト運営者の意思決定ロジックに影響を与えます。
これまで、AIクローラーに関する議論は「許可する」か「拒否する」かの2択でした。
しかし、今は違います。
Searchトラフィックは露出とリファラルをもたらす可能性があります。Agentはユーザーに代わってタスクを完了する可能性があります。Trainingはあなたのコンテンツを奪い、モデルに取り込む可能性があります。 これら3つは、価値もリスクもまったく異なります。
したがって、問題が次のようなものであれば：
Cloudflareがすでに分類したのだから、We0 AIのWebサイトはすべて公開すべきか？
私の判断は明確です。すべて公開すべきではありません。
しかし、すべて一律にブロックすべきでもありません。
より合理的な答えは次のとおりです。ページの種類、ビジネス目標、コンテンツの価値、コンバージョンパスに応じて、階層的に公開する。
なぜこの問題が今重要になっているのか？
それは、AIトラフィックがもはや単一の言葉ではないからです。
Cloudflareが2026年7月1日に公開したアップデートによると、Webサイトが直面するAIアクセスは3つの主要な用途に分類されています：
| カテゴリ | 何をしているか | サイト運営者にとっての典型的な価値 | サイト運営者にとっての典型的なリスク |
|---|---|---|---|
| Search | コンテンツを収集・インデックスし、後で質問応答や検索表示に使用 | 発見、言及、リファラルを得る機会 | 「引用はあるがクリックは少ない」可能性 |
| Agent | ユーザーに代わってリアルタイムにページにアクセスし、タスクを完了 | 行動、トライアル、注文、フォーム入力に直接つながる可能性 | リソースを消費し、本来のマーケティング経路を迂回する可能性 |
| Training | コンテンツをスクレイピングしてモデルのトレーニングや微調整に使用 | 短期的な直接リターンはほぼ皆無 | コンテンツが吸収され、コントロール権が低下 |
これら3つに、同じ戦略を適用すべきではありません。
これは、コーポレートサイト、コンテンツサイト、プロダクトサイトを運営するすべての人が、今後必ず学ばなければならない教訓です。
特にWe0 AIのようなWebサイトは、静的な名刺ページではなく、継続的に以下のサイクルを回す必要があります：
Build → Showcase → Grow → Leads
つまり：
構築し、明確に展示し、トラフィックを獲得し、リードを生成する。
Webサイト自体が成長資産であり、単なるページ資産ではない以上、AIクローラーに対する戦略は「スクレイピングされるかどうか」だけでなく、以下も考慮する必要があります：
- 露出につながるかどうか
- コンバージョンに影響するかどうか
- コンテンツの価値を損なうかどうか
- 本来の顧客獲得経路を壊すかどうか
結論から言うと：We0 AIは「すべて公開」すべきではない
ひとことで判断を下すなら、次のようになります：
We0 AIのWebサイトは、Searchには優先的に公開し、Agentには慎重に公開し、Trainingはデフォルトで制限すべきです。
これは保守的だからではありません。
ビジネスの現実により即しているからです。
We0 AIのコア目標は、コンテンツを無限に外部に提供することではなく、Webサイトを持続的に以下のような資産にすることです：
見られる、理解される、連絡が取れる、コンバージョンにつながる顧客獲得資産。
そして、これら3種類のクローラーがこの目標に貢献する度合いは、大きく異なります。
Search：公開すべき。そして「リファラルをもたらす」タイプには積極的に公開する
まず、最も誤ってブロックしてはいけないのがSearchです。
Cloudflare自身も新しいルールで非常に重要な判断を表明しています。Searchは、依然としてアクセスをWebサイトに戻す可能性が高い行動に近いということです。だからこそ、新しいデフォルト戦略ではSearchは比較的許可されやすく、Training / Agentは一部のシナリオでより厳しく扱われる傾向があります。
We0 AIにとって、Searchの価値は特に大きいです。
なぜなら、We0 AIは展示型サイトの成長を対象としており、単なるサイト構築ではないからです。必要なのは以下のような状態です：
- ブランドキーワードで検索される
- 質問キーワードで検索される
- 比較キーワードで検索される
- シナリオキーワードで検索される
- AI検索 / AI回答システムに引用される
非常に現実的な例を挙げます。
ユーザーが以下のような検索をした場合を考えてみてください。
- AIサイト構築ツールの選び方
- SaaS公式サイトのSEO対策
- 展示型サイトでの問い合わせ獲得方法
- 個人開発者のプロダクト発表ページ
このようなSearchでの露出は、We0 AIにとってビジネス上の価値があります。なぜなら、ユーザーは単に見ているだけではなく、おそらくすでに解決策を探しているからです。
したがって、以下のようなコンテンツは通常、Searchに優先的に開放すべきです。
- ブログ記事
- 製品機能の説明ページ
- シナリオページ / ユースケースページ
- 価格に関する公開可能な説明ページ
- 事例ページ
- FAQページ
- ユーザーの理解を助ける比較コンテンツ
ただし、注意点として「Searchはすべて同じ」ではありません。
もし一部のクローラーがSearchとTrainingを同時に行い、それらが明確に分離されていない場合、リスクは変わります。Cloudflareの今回のアップデートでも、多目的クローラーの問題が特に強調されていました。1つのbotがSearchとTrainingを同時に担当する場合、より厳しいルールの影響を受けることになります。
この背後にあるのは、結局のところ一言です。
相手が「検索用です」と言うのを鵜呑みにせず、あなたのコンテンツを実際に何に使うのかを確認すべきです。
Agent：開けてはいけないわけではなく、「それが直接あなたのコンバージョンパスに干渉するかどうか」を見極める必要がある
多くの人がAgentに対して最初に抱く印象は「新しい」ということです。
しかし、サイト運営者はまず次のように問うべきです。「このAgentは、私の成約を助けるために来ているのか、それともユーザーが私が設計した経路を迂回するのを助けるために来ているのか？」
CloudflareはAgentについて明確に定義しています。それはユーザーに代わってリアルタイムでタスクを実行するものです。例えば、ページ情報の取得、ブラウザの操作、コンテンツの読み取り、特定のタスクの実行などです。
このようなトラフィックとSearchの最大の違いは以下の通りです。
Searchは「まずあなたを知る」ようなものですが、Agentは「直接あなたを代わりに操作する」ようなものです。
つまり、Agentを解放できるかどうかは、ページの種類によって決まります。
We0 AIにとって、以下のページは比較的慎重に試験的に開放できます。
- ドキュメントページ
- 公開知識ページ
- 公開デモページ
- 特定のツール紹介ページ
- 標準化されたFAQページ
しかし、以下のページはデフォルトで全面開放するのは適切ではありません。
- ログインページ
- コンソール関連ページ
- リード獲得ページ
- 見積もり / 予約 / 問い合わせフォームページ
- 個別パス誘導を含むランディングページ
- 高価値事例の原文ページ
理由は簡単です。
Agentが単に読み取りに来るだけなら、それは新しい入り口になる可能性があります。
しかし、Agentがユーザーに代わって「選別、要約、意思決定の先取り」を直接行ってしまうなら、あなたのサイトは呼び出されるだけで、実際に訪問されない状態になるかもしれません。
これは、サイト内での教育とコンバージョン設計に依存している多くのサイトにとって、損失となります。
Training：We0 AIのようなサイトでは、デフォルトでさらに制限を強化すべき
Trainingは「将来のチャンス」として語られることが最も多いタイプの一つです。
しかし、サイト運営者の視点に立つと、そのリターンの仕組みが実際には最も弱いことがわかります。
なぜなら、Trainingの本質は、あなたのサイトにアクセスすることではなく、あなたのコンテンツを吸収することだからです。
一度吸収されてしまうと、将来的には要約、知識、スタイル、能力の一部として、他の製品に現れる可能性があります。追跡は困難であり、安定したリターンを要求することも難しいでしょう。
We0 AIのように、長期的にSEO、GEO、コンテンツ蓄積、事例対応、ブランド認知に取り組むサイトにとって、多くのコンテンツはそれ自体が資産です。
例えば、
- 整理された業界分析
- シナリオベースのソリューションページ
- 高品質な比較記事
- コンバージョンにつながる事例表現
- 長期的な検索価値を持つナレッジコンテンツ
これらのコンテンツがTraining側に長期間吸収され、明確な対価、明確な帰属、明確なリターンが得られないのであれば、それは単なる「影響力の拡大」ではありません。
それは、あなたが他人のモデルの能力を補助しているようなものです。
したがって、私は次のように提案します。
We0 AIは、特定のページに明確なブランド拡散の目標があり、そのコンテンツが広く再利用されることを許容できる場合を除き、デフォルトではTrainingに全面開放すべきではありません。
これはAIに反対しているのではありません。
これは、「発見されること」と「汲み尽くされること」は別物だと区別しているのです。
We0 AIに適した開放戦略：bot単位ではなく、ページとビジネス価値に基づいて開放する
多くのチームがこの種の問題に直面すると、次のように尋ねます。
- ChatGPTに開放すべきか？
- Claudeに開放すべきか？
- 特定のAI botに開放すべきか？
しかし、より成熟した戦略は、単にbotのリストでオンオフを決めることではありません。
まずページの価値で階層化し、その後でどのタイプのAIトラフィックにどのような権限を与えるかを決定することです。
より実用的な階層化フレームワーク
| ページタイプ | Search | Agent | Training | 推奨 |
|---|---|---|---|---|
| ブログ記事 / SEOコンテンツページ | 開放 | 一部開放 | 慎重に制限 | 露出を争取するが、コンテンツのトレーニング価値をデフォルトで全て提供しない |
| 製品機能ページ | 開放 | 条件付き開放 | 制限 | 発見されるようにするが、コンテンツが無償で吸収されるのを避ける |
| シナリオページ / 業界ソリューションページ | 開放 | 条件付き開放 | 制限 | これらのページは認知とコンバージョンの両方の価値を持つ |
| FAQ / ドキュメント基本説明ページ | 開放 | 開放可 | 状況に応じて制限 | AIによる引用を受け入れられるが、詳細な操作情報を露出しすぎない |
| 事例ページ | 開放 | 慎重に開放 | 制限 | 事例は高価値資産であり、気軽にトレーニングに提供すべきではない |
| ログイン / コンソール / 高コンバージョンフォームページ | 不要 | 厳格に制限 | 厳格に制限 | ここでの核心はセキュリティとコンバージョンパス |
この表の背後にある核心は技術ではなく、ビジネスです。
サイトを開放する必要があるかどうかは、「AIを受け入れているかどうか」に依存しません。
依存するのは以下の点です。
この種のアクセスが、最終的にあなたの成長を助けるのか、それとも成長を弱めるのか。
We0 AIが「全サイト全面解放」という考え方を採用すべきでない理由
なぜなら、We0 AIが販売しているのは決して「単なるページ生成」ではないからです。
もしそれが単なるワンクリックでランディングページを生成する小さなツールであれば、多少コンテンツが持ち去られても大きな問題にはならないかもしれません。
しかし、We0 AIのポジショニングはむしろ以下のようなものです。
展示型サイトの成長プラットフォーム + サイト構築能力 + コンテンツ能力 + SEO / GEO能力 + 継続的な最適化とリード獲得パス。
これは、サイト上の多くのページが単なる情報ページではなく、成長チェーン上のノードであることを意味します。
例えば、
- あるブログ記事は検索トラフィックを担当
- ある機能ページは製品理解を構築
- ある事例ページは意思決定コストを低減
- あるCTAページは興味を問い合わせに変換
これらのページすべてに同じ鍵を渡してすべてのAIクローラーに開放した場合、問題が発生します。
1. 「引用される」は守れても、「クリックされる」を失う可能性がある
これはすでに多くのコンテンツサイトが抱える最も現実的な不安です。
AIがあなたを引用しても、トラフィックを返してくれるとは限りません。
言及されることと、アクセスされることはイコールではありません。
アクセスされることと、コンバージョンすることもイコールではありません。
そして、We0 AIが必要としているのは虚ろな露出数ではなく、ビジネスに繋がるリードや登録です。
2. 高価値コンテンツが「公共の原材料」になる可能性がある
良い事例ページ、良い比較ページ、良い業界分析ページは、本来長期間にわたってブランド力を蓄積できるものです。
しかし、それが絶えずクロールされ、要約され、再表現され続けると、最終的にあなたのサイトに残る差別性はますます弱まっていきます。
3. 「AIがアクセス可能」を「AIフレンドリーな成長」と誤解する可能性がある
この2つは同義語ではありません。
本当にAIフレンドリーなサイトとは、無批判に開放するサイトではなく、以下のようなサイトです。
コンテンツ構造が明確
- ページのセマンティクスが明確
- 公開情報の境界が明確
- 引用されるべきものと訓練されるべきでないものの境界が明確
明確であることは、配布よりも重要です。
では、We0 AIはどうすべきか？より現実的な実行提案
もし私がWe0 AIの成長とコンテンツ運営の立場に立つなら、以下のように配分します。
第一層：Searchを優先的に開放
目標は明確です。
まず、ブランド、製品、ユースケース、知識コンテンツが検索やAIディスカバリーシステムに発見されるようにすること。
重点的に含めるべきもの：
- 公開ブログ
- 製品紹介ページ
- ユースケースページ
- コアFAQ
- 引用可能な知識解説コンテンツ
同時に、追跡すべき指標は一つです。
「クロールされたかどうか」ではなく、「観測可能なリターンとブランド検索の向上をもたらしたか」です。
第二層：Agentに対してホワイトリストまたは条件付き開放
Agentは最もテストに値しますが、最も境界が必要なものでもあります。
推奨する優先開放対象：
- 公開知識コンテンツ
- ドキュメント解説型ページ
- 標準クエリ型ページ
推奨する制限対象：
- ログイン後のコンテンツ
- ページパス誘導に強く依存するコンバージョンページ
- リソースを消費するインタラクティブページ
- 機密性の高い業務フローページ
一言で言えば：
Agentには見せるべきものだけを見せ、ファネル全体を代行させないこと。
第三層：Trainingはデフォルトで制限
ブランド拡散を明確に意図していない限り、サイト全体のコンテンツをTrainingにデフォルトで開放することは推奨しません。
特に以下のもの：
- オリジナルの深掘り記事
- 体系化されたソリューションページ
- 高品質なケーススタディ
- 長期的な競争優位を構成するコンテンツ資産
これらのページは、より細かく保護されるべきです。
この件から得られる他のウェブサイトへの示唆：今後のウェブサイト戦略はSEO onlyではなく、SEO + GEO + AIアクセスデザインへ
Cloudflareの今回の分類が真に気づかせてくれたことは一つです。
ウェブサイト運営は、今後SEOだけでなく、AIアクセスデザインも行う必要がある。
つまり、三つの問いに答えなければなりません。
- どのコンテンツを発見されるべきか？
- どのコンテンツをリアルタイムで呼び出されるべきか？
- どのコンテンツを無制限に訓練で吸収されるべきでないか？
多くのチームは、まだ「サイトを作り上げる」段階に留まっています。
しかし、今後本当に差がつくのは、「サイトを制御可能な成長システムにすること」です。
これは、We0 AIがより理解されるべき点でもあります。
単に公式サイトを立ち上げる手助けをするだけではありません。
より重要なのは、公式サイトを長期的な成長資産に変える手助けをすることです。
- ページをどう構成するか
- コンテンツをどう配置するか
- 検索エントリをどう獲得するか
- AIからの可視性をどう処理するか
- どのコンテンツを開放し、どのコンテンツを制限するか
- トラフィックを最終的に問い合わせ、登録、顧客にどう導くか
これこそが、今ウェブサイトを作る上での本当の難しさです。
サイト構築が難しくなったのではありません。
サイトが公開された後、どう成長を続けるかが難しくなったのです。
重要な結論
CloudflareがAIクローラーをSearch、Agent、Trainingに分類した以上、ウェブサイトの戦略はもはや「全面開放か全面ブロックか」ではありえません。
We0 AIのような展示型サイト成長プラットフォームにとって、より合理的な道筋は、Searchを開放し、Agentは慎重に開放し、Trainingはデフォルトで制限することです。
本当に最適化すべきは、個々のボットのオンオフではなく、ウェブサイト全体のAIアクセス境界と成長経路です。
FAQ
1. CloudflareがAIクローラーをSearch、Agent、Trainingに分類したことで、最大の変化は何ですか？
最大の変化は、サイト運営者が全てのAIトラフィックを同一視する必要がなくなったことです。Searchは発見とリターンをもたらし、Agentはリアルタイムタスクアクセスをもたらし、Trainingはよりコンテンツ吸収に偏ります。戦略を階層化できるようになりました。
2. すべてのウェブサイトがSearchを開放すべきですか？
必ずしもそうではありませんが、露出と発見に依存するほとんどのウェブサイトは、通常Searchの開放を優先的に検討すべきです。ただし、検索やAIディスカバリーシステムに発見されることを望む場合に限ります。
3. Agentは常にTrainingより開放する価値がありますか？
大抵の場合はそうです。ただし、ページの種類にもよります。Agentは新しいエントリポイントをもたらす可能性がある一方で、コンバージョンパスを迂回させる可能性もあるため、ページと業務フローに基づいて条件付き開放を行うべきです。
4. なぜTrainingはより慎重に扱うべきなのですか？
直接的なリターンが最も弱い一方で、コンテンツの吸収は最も深いからです。オリジナルコンテンツ、ケーススタディ、ナレッジの蓄積に依存するウェブサイトにとって、Trainingの機会費用は高くなります。
5. We0 AIのようなウェブサイトに最適な戦略は何ですか？
「全面開放」ではなく「階層的開放」が適しています。公開コンテンツはSearchに優先的に与え、検証可能な公開情報の一部はAgentに与え、Trainingはデフォルトで制限します。
関連ツール
ソース
- 「Your site, your rules: new AI traffic options for all customers」
- 「Easily manage AI crawlers with our new bot categories」
結論
では、最初の問いに戻ります。
CloudflareがAIクローラーをSearch、Agent、Trainingに分類した後、We0 AIのウェブサイトは全てを開放すべきでしょうか？
私の答えは変わりません。
全てを開放すべきではありません。
しかし、重要なのは防御ではありません。
重要なのは、ウェブサイトが「受動的にクロールされる」状態から「能動的にルールを設定する」状態へと移行できることです。
これは、短期的にはボット管理のように見えます。
長期的には、それはウェブサイト成長戦略の一部です。
そして、今後本当に強いウェブサイトは、最も開放的なウェブサイトではありません。
誰に対して、なぜ、どの程度開放するのかを最も明確に理解しているウェブサイトです。