Cloudflare、AIクローラー課金を「クロール単位」から「引用単位」へ転換、9月15日に既定ブロックも開始

Cloudflare、AIクローラー課金を「クロール単位」から「引用単位」へ転換、9月15日に既定ブロックも開始

要点: Cloudflareは2026年7月1日、2025年に開始した「Pay Per Crawl（クロールごと課金）」を「不十分だった」と総括し、コンテンツが実際にAIの回答に使われた時にだけパブリッシャーへ支払う「Pay Per Use」プログラムへ移行すると発表した。初期パートナーはCeramic.aiとYou.comの2社。あわせて2026年9月15日から、新規ドメインを対象にAIボットを「Search（検索）」「Agent（エージェント）」「Training（学習）」の3分類で扱い、広告表示ページではTrainingとAgentを既定でブロックしSearchのみ許可する新しいデフォルト設定を導入する。

最終更新日: 2026年7月4日

---

何が起きたのか

Cloudflareは2026年7月1日、自社ブログ記事「Making AI search smarter」および「Your site, your rules: new AI traffic options for all customers」で、AIクローラーに対する課金・アクセス制御の枠組みを大きく更新すると発表した。この発表は、Cloudflareが2025年7月1日に「Content Independence Day」と称して打ち出した一連の施策のちょうど1年後にあたる。

発表の柱は大きく2つある。

1つ目は、2025年から提供してきた「Pay Per Crawl」（AIクローラーがページを取得するたびに課金する仕組み）を土台としつつ、課金の起点を「クロール」から「実際の利用（Use）」へ移す「Pay Per Use」プログラムの開始だ。初期パートナーとしてAI検索企業のCeramic.aiと、検索エンジンのYou.comが名を連ねている。パブリッシャーがオプトインすると、自社コンテンツが実際にAIの回答や検索結果に使われた時点で報酬を受け取れるようになる。

2つ目は、AIボットのアクセス制御に関する新しいデフォルト設定の導入だ。Cloudflareは今回、AIクローラーの用途を「Search（検索インデックス作成）」「Agent（ユーザー指示によるリアルタイムの自動行動）」「Training（モデルの学習・ファインチューニング）」の3分類に整理し、2026年9月15日から、広告を表示するページにおいてTrainingとAgentのクローラーを既定でブロックし、Searchのみ許可を継続する新しいデフォルトを適用すると発表した。対象はまず新規にCloudflareへ登録するドメイン、既存顧客が新たに追加するサイト、そして無料プランの顧客である。

Cloudflareの最高戦略責任者Stephanie Cohen氏は、大規模メディアはAI企業と個別に直接交渉できる一方、大多数の顧客は広告収入とサブスクリプションに依存しており、検索経由の発見可能性を維持しながら、コンテンツを無償で提供し続けることを望んでいないと説明している。

背景と経緯

Cloudflareのこの一連の施策は、2025年7月1日の「Content Independence Day」まで遡る。当時Cloudflareは、AI企業のクローラーがパブリッシャーのコンテンツを無償で収集し続けている状況を問題視し、「補償なきAIクロールをデフォルトでブロックする」姿勢を打ち出すとともに、ベータ版として「Pay Per Crawl」を導入した。Pay Per CrawlはHTTP 402（Payment Required）ステータスコードを応用した仕組みで、パブリッシャーが自サイト全体または個別クローラーに対して「許可」「課金」「ブロック」のいずれかを選択できるというものだった。料金はパブリッシャー側が設定し、クローラー側がその金額を支払う意思を示せばコンテンツにアクセスできる。

続いて2025年9月24日には、robots.txtを拡張する「Content Signals Policy」を発表した。これはrobots.txtにsearch（検索インデックスへの利用）、ai-input（生成AI検索など実時間でのAIモデルへの入力利用）、ai-train（AIモデルの学習・ファインチューニング利用）という3つのシグナルを追加し、それぞれをyes/noで意思表示できるようにするものだ。このポリシーは、EU著作権指令（2019/790）第4条に基づく権利留保の明示という法的な位置づけも与えられていたが、あくまで技術的な強制力を持たない「意思表示」であり、AI企業側が無視する余地は残っていた。

この1年間で明らかになったのは、Pay Per Crawlのような「クロール回数ベース」の課金モデルには構造的な限界があるという点だ。Cloudflareが指摘するように、正規のボットによるクロール トラフィックの50%以上は、前回訪問時から内容が変わっていないページを無駄に再取得しているにすぎない。しかも、1つのページが一度クロールされただけで数千件のAI生成回答に引用され続けることもあれば、繰り返しクロールされても一度も引用されないこともある。つまり「クロールされた回数」と「そのコンテンツが実際に生み出した価値」は必ずしも一致しない。この矛盾を解消するために編み出されたのが、今回のPay Per Useという発想だ。

発表内容の詳細

AIトラフィックの新しい3分類とデフォルト設定

Cloudflareは今回、AIクローラーの用途をより明確に3つに分類し直した。既存のContent Signals（search / ai-input / ai-train）を土台にしつつ、実務でわかりやすい呼称に整理した形だ。

「広告を表示するページ」という条件は、Cohen氏の説明によれば「サイト運営者が人間の訪問を想定して設計した箇所であることを示すシグナル」として位置づけられている。厳密な技術的定義（広告タグの有無で判定するのか等)は公式発表内で詳細には明示されておらず、今後のヘルプドキュメントでの補足が待たれる。

新デフォルトの適用対象は次の3者である。

• 新規にCloudflareへ登録するドメイン
• 既存の有料顧客がアカウント内で新たに追加するサイト
• 無料プランの全顧客

一方、既存の有料契約においてすでに稼働しているサイトについては、この新デフォルトが自動的に強制されるわけではなく、ダッシュボードの設定から任意に切り替える形になる。用途を宣言しない「混合用途（mixed-use）」のクローラー、つまり検索・学習・エージェント機能を一括りにして使っているボットは、これらの分類のいずれにも該当しないため、広告表示ページからは締め出される扱いになる。

Pay Per Use：Ceramic.aiとYou.comの仕組み

Pay Per Useの初期パートナーは以下の2社。

• Ceramic.ai: 創業者兼CEOのAnna Patterson氏が主導する「ペイ・パー・クエリ」モデル。パブリッシャーがオプトインすると、自社コンテンツがCeramicの検索結果に表示されるたびに報酬が発生する。参加パブリッシャーには、クエリレベルのレポーティング（どのクエリで、どの順位で、どのスニペットとして表示されたか）へのアクセスも提供される。
• You.com: AIエージェントが処理の途中で特定のプレミアムコンテンツを必要とした瞬間に、オンデマンドで支払いを行う仕組み。事前にパブリッシャーとAI企業側で契約を結んでおく必要がなく、必要が生じた時点で都度支払いが発生する点が特徴だ。

Cloudflareは、これら複数の支払いモデル（クエリ単位・結果単位・オンデマンド単位など）を自社のインフラ上で統合的にサポートし、今後さらに多くのAI企業をパートナーとして迎える方針を示している。

robots.txtまわりの追加機能

今回の発表にあわせて、robots.txt・クローラー識別まわりの技術要素も拡張された。

• content-use拡張: 既存のContent Signals（search / ai-input / ai-train）に加え、コンテンツへのアクセス後にクローラー側が何を保持・再利用してよいかを示すuseフィールド（immediate / reference / full）をテスト導入。
• Managed robots.txtへの自動追記: すでにCloudflareの管理下でrobots.txtを自動生成している顧客には、use=referenceの設定が追加で挿入される。
• BotBase: すべての検証済みボット（Verified Bots）を検索可能な形で一覧できる新しいデータベース。Enterpriseプラン向けの機能で、ボットの分類や検出状況をダッシュボードで確認できる。
• Web Bot Auth / Forwardedヘッダー: RFC 7239に準拠したForwardedヘッダーを用いて、どのオペレーターがどの目的（immediate/reference/full）でコンテンツにアクセスしているかを識別する仕組み。検証済みボットがこの宣言を無視したり、コンテンツを丸ごと複製・再配布したりした場合は、Verifiedステータスを失う可能性があるとされている。
• Monetization Gateway: Cloudflareの背後にあるあらゆるリソースに対して課金できるようにする基盤。ステーブルコイン決済に対応するオープンプロトコル「x402」を採用予定と報じられている。

国内外の反応・論点

海外メディアの報道は総じて「方向性は妥当だが、実効性には温度差がある」という論調が目立つ。

支持的な論点としては、パブリッシャー側が個別にAI企業と契約交渉をしなくても、Cloudflareのインフラを介して自動的に補償を受けられる仕組みが整う点、そしてクロール トラフィックの50%以上が無駄な再取得であるという実態を踏まえれば、課金の起点を「利用実績」に寄せることが理にかなっている点が挙げられている。

一方で懸念点も複数報じられている。

• 小規模・ニッチサイトへの実利は限定的という指摘がある。月間ページビューが数十万〜100万規模で、そのうちAIクローラーからのアクセスが1〜2%程度しかない中小規模サイトの場合、1ページあたり0.1セント〜1セント程度の単価では、月間の受取額が数十ドル〜数百ドル程度にとどまるとの試算が複数の業界メディアで紹介されている。恩恵を大きく受けるのは、そもそもボットトラフィックの絶対量が多い大手メディアが中心になるとみられる。
• 単一の仲介者への依存が強まるリスク。Cloudflareがボットの識別、アクセス許可の判定、利用量の計測、支払いの決済までを一手に担う構造になるため、パブリッシャーはAI企業に対する交渉力を得る代わりに、Cloudflareというインフラ事業者への依存度を高めることになる。
• 帰属（アトリビューション）の曖昧さ。AIの回答が複数のソースを組み合わせて生成される場合や、要約・言い換えによって出典が明示されない場合に、どのコンテンツにどれだけの対価を割り当てるべきかという設計は、Ceramic.aiやYou.comとの提携でもまだ発展途上の段階にある。
• 資金力による格差。大手AI企業はライセンス費用を吸収できる一方、資金力に乏しいスタートアップや研究機関にとっては、クロールコストの上昇が参入障壁になりかねないとの見方も示されている。

なお、Forbesの報道では、パブリッシャー各社がこの1年でAI経由の紹介トラフィックについて20〜90%の減少を経験したとする調査や、Anthropicのクローラーは紹介1件あたり1万1122ページをクロールしているという分析、AIチャットボット経由の紹介は従来型検索と比べて96%少ないという指摘、AIの回答内で引用されたリンクがクリックされる率はおよそ1%にとどまるという数字が紹介されている。あわせて、パブリッシャーの70%が今後3年以内にAIライセンス契約から何らかの収益を得られると見込んでいるという調査結果も引用されている。これらはCloudflare自身が発表した数値ではなく、報道各社が業界動向として引用しているデータである点には留意したい。

日本国内のSEO・LLMO業界でのまとまった反応はまだ限定的だが、Cloudflareを利用する国内サイトは相当数にのぼるため、9月15日のデフォルト変更が実際に適用され始めた段階で、AI引用への影響を巡る議論が国内でも本格化する可能性が高い。

サイト運営者・マーケターへの実務インパクト

大手メディア・パブリッシャー

すでにAI企業と個別のライセンス契約を交渉できる体力のある大手メディアにとっては、Pay Per Useは既存の収益源に上乗せできる追加のチャネルという位置づけになる。Ceramic.aiやYou.comとの提携がどの程度の実収益をもたらすかは今後の実績次第だが、少なくとも「クロールされるだけで対価ゼロ」という状況からは前進する。

中小規模のオウンドメディア・ブログ運営者

月間PVが数万〜数十万規模のサイトでは、Pay Per Use単体で得られる収益は限定的である可能性が高い。それよりも重要なのは、9月15日以降の新デフォルトによって「Searchボットは許可、Training/Agentはブロック」という設定が既定になる場合に、自社サイトのAI引用（ChatGPT検索、Perplexity、Google AI Overviewなど）への露出が意図せず変わらないかを確認することだ。Search用途のクローラーを誤ってブロックしてしまうと、AI経由の流入・引用機会そのものを失うリスクがある。

ECサイト・製品比較サイト

商品ページや比較記事がAIエージェントによってリアルタイムに参照・購入検討に利用されるケースが増えている業種では、「Agent」カテゴリのブロックが既定になることの影響を特に注意深く見る必要がある。将来的にAIエージェント経由の購買導線を重視するのであれば、Agentクローラーを個別に許可する設定へ切り替える判断も選択肢になる。

代理店・LLMO/SEOコンサルタント

クライアントサイトがCloudflare経由でホスティング・CDN配信されている場合、9月15日の変更がクライアントの意図と一致しているかを事前に確認する業務が新たに発生する。特にCMSごとCloudflareの管理下にあるWordPressサイトなどは、robots.txtの内容が自動的に書き換えられている可能性があるため、代理店側での定期的な確認体制の整備が求められる。

今すぐできる対応手順

1. 現状のContent Signals設定を確認する。ブラウザまたはコマンドラインで自サイトのrobots.txtを確認し、Content-Signal:から始まる行が存在するかを見る。

   curl -s https://example.com/robots.txt | grep -i "content-signal"
   

   search=yes, ai-train=noのような表記であれば、検索用途は許可、学習用途は拒否という意思表示がすでになされている状態だ。
2. Cloudflareダッシュボードで管理状況を確認する。dash.cloudflare.comにログインし、対象アカウント・対象ドメインを選択したうえで、Security（セキュリティ）設定内の「AI Crawl Control」（旧称AI Audit）を開く。「Directives」タブでrobots.txtの管理状況（Cloudflareによる自動管理がオンかオフか）と、現在のAIボットごとの許可/ブロック状況を確認する。
3. Search用途の許可を明示的に維持する。AI Overview・Perplexity・ChatGPT検索などへの引用露出を維持したい場合は、search=yesの設定を必ず残す。Managed robots.txtが有効な場合は自動的に付与されるが、独自のrobots.txtを運用している場合は手動での追記が必要になる。
4. Training/Agentの扱いを自社方針として決める。AIモデルの学習利用を許容しない方針であればai-train=noを維持しつつ、Agent（AIエージェント経由の購買導線など）を将来活用したい業種は、個別クローラーの許可設定を検討する。
5. robots.txt違反クローラーを監視する。AI Crawl Controlの「Robots.txt違反」テーブルで、宣言した方針に反してアクセスしてくるクローラーがいないかを定期的に確認する。
6. Pay Per Use / Monetization Gatewayへの参加可否を検討する。現時点ではCeramic.aiとYou.comの2社限定のプログラムであるため、日本国内の大半のサイトはすぐに収益化できる段階にはない。ただし今後パートナーが拡大する可能性があるため、Cloudflareダッシュボード上の関連機能の告知をウォッチしておく価値はある。
7. AI引用状況を定点観測する。自社の主要キーワードについて、Google AI Overview・Perplexity・ChatGPT検索での引用状況を月次で記録し、9月15日前後で自社サイトの引用件数に変化がないかを比較できる状態を整えておく。
8. 9月15日までに社内・代理店間で設定方針を文書化する。特に複数サイトを運用している企業や代理店は、どのドメインがCloudflareの新規登録扱いになるか（＝自動的に新デフォルトが適用されるか）を事前に洗い出しておく。

今後の見通し

確定している事実は、2026年9月15日から新規ドメイン・新規サイト・無料プラン顧客を対象にTraining/Agentの既定ブロックが始まるという点だ。既存の有料契約サイトについては、この時点で自動的に切り替わるわけではなく、当面はパブリッシャー側の任意設定にとどまる見込みである。

その先の展開は不確定な要素が多い。Pay Per Useのパートナーが現時点でCeramic.aiとYou.comの2社にとどまっていることから、より大規模なAI検索プレイヤー（OpenAI、Google、Anthropicなど）が同様の仕組みに参加するかどうかは未確定だ。参加が広がれば、パブリッシャー側の収益機会も比例して拡大するとみられるが、逆に大手AI企業が独自のライセンス交渉を優先し、Cloudflareの仕組みへの参加を見送る可能性も残る。

また、他の大手CDN・ホスティング事業者（Fastly、Akamaiなど）が同様の分類・課金モデルを追随するかどうかも今後の焦点になる。仮に業界標準として広がれば、サイト運営者にとっての設定作業はより一元化されるが、現時点ではあくまでCloudflare単独の取り組みであり、標準化されるかどうかは推測の域を出ない。

日本国内においては、CloudflareのCDN・DNSサービスを利用するサイトが非常に多いことから、9月15日の変更が実際に発効した段階で、AI引用モニタリングの数値にどの程度の影響が出るかを検証する動きが国内のLLMO・SEO関係者の間でも広がると予想される。ただし、この影響の大小は各サイトの現在の設定状況やAI経由トラフィックの比率によって大きく異なるため、一律の結論を今の時点で出すことはできない。

よくある質問

Q1. Pay Per CrawlとPay Per Useは何が違うのか?

課金の起点が「クロールされた回数」から「AIの回答に実際に使われたかどうか」に変わった点が違う。

Pay Per Crawl（2025年開始）は、AIクローラーがページを取得するたびに、パブリッシャーが設定した料金を課金する仕組みだった。しかしCloudflareが指摘するように、クロールされてもAIの回答に一度も引用されないコンテンツもあれば、逆に一度クロールされただけで数千件の回答に引用され続けるコンテンツもある。Pay Per Useは、この「クロール量」と「実際の価値」のズレを是正するため、Ceramic.aiの検索結果への表示やYou.comのプレミアムコンテンツ利用など、実際に使われた事実をトリガーに支払いを発生させる仕組みへと転換したものだ。

Q2. 9月15日から自分のサイトは自動的にAIクローラーをブロックされるのか?

新規登録ドメインと無料プラン顧客が対象で、既存の有料契約サイトは自動適用されない。

具体的には、新規にCloudflareへ登録するドメイン、既存の有料顧客がアカウント内で新たに追加するサイト、そして無料プランの全顧客が、9月15日以降の新デフォルト（広告表示ページでTraining/Agentをブロック、Searchのみ許可）の対象となる。すでに稼働している有料契約サイトについては、この新デフォルトが自動的に強制されるわけではなく、必要であればダッシュボードから任意に切り替える形になる。自社のサイトがどちらに該当するかは、Cloudflareダッシュボードの案内やヘルプセンターの更新情報を確認するのが確実だ。

Q3. Search用途をブロックしてしまうとAI Overviewへの引用にどう影響するか?

Search用途をブロックすると、AI Overviewやチャット検索での引用機会そのものを失う可能性が高い。

Google AI Overview、Perplexity、ChatGPT検索などの多くは、検索インデックス作成や検索結果生成のために稼働するクローラー(Search分類)を経由してコンテンツを取得し、それを回答生成に利用している。robots.txtやCloudflareの設定でSearch用途のクローラーを誤ってブロックしてしまうと、これらのAIプラットフォームからの引用そのものが発生しなくなるおそれがある。AI経由の露出を維持したいサイトは、Content Signalsのsearch=yes設定を必ず維持する必要がある。

Q4. robots.txtのContent-Signalは法的な強制力があるのか?

法的な意思表示としての位置づけはあるが、技術的にクローラーの動作を強制するものではない。

Content Signals PolicyはEU著作権指令(2019/790)第4条に基づく権利留保の明示という法的な文脈が与えられているものの、あくまでrobots.txt上の「宣言」であり、素直に従うかどうかはクローラー側の実装次第という側面がある。一方で、CloudflareのVerified Bots制度と組み合わせることで、宣言を無視したりコンテンツを丸ごと複製したりした検証済みボットはVerifiedステータスを失う可能性があるとされており、完全に無力な仕組みではない。また、Cloudflareの実際のボット検出・ブロック機能は、robots.txtとは別にネットワーク層でのアクセス遮断も行うため、両者を組み合わせて理解する必要がある。

Q5. 小規模サイトでもPay Per Useで収益が見込めるのか?

現時点では見込みにくく、恩恵は主に大手メディアに偏るとみられている。

複数の海外メディアの試算では、月間ページビューが数十万〜100万規模で、AIクローラーからのアクセス比率が1〜2%程度の中小規模サイトの場合、想定される受取額は月あたり数十ドル〜数百ドル程度にとどまるとされている。加えてPay Per Useの対象は現時点でCeramic.aiとYou.comの2社限定であり、日本の中小規模サイトがすぐに恩恵を受けられる段階にはない。将来的にパートナーが拡大した場合の展開を注視する必要がある。

Q6. Ceramic.aiとYou.com以外のAI企業は今後参加するのか?

現時点では未発表で、拡大するかどうかは不確定だ。

Cloudflareは今後もパートナーを拡大する方針を示しているが、具体的にどのAI企業がいつ参加するかは発表されていない。OpenAIやGoogle、Anthropicなど大手AI検索プレイヤーが参加するかどうかは、各社が独自のライセンス交渉戦略を優先するかどうかにも左右されるため、現時点では推測の域を出ない。

Q7. 自社サイトのCloudflare設定を確認するにはどこを見ればよいか?

Cloudflareダッシュボードの「Security」内にある「AI Crawl Control」から確認できる。

dash.cloudflare.comにログインし、対象アカウントと対象ドメインを選択したうえで、Security設定内の「AI Crawl Control」(旧称AI Audit)を開く。「Directives」タブでrobots.txtの管理状況、AIボットごとの許可/ブロック設定、robots.txt違反クローラーの一覧を確認できる。ここでSearch/Agent/Trainingそれぞれの扱いを個別に調整することも可能だ。

Q8. WordPressなど別のCDN・キャッシュサービスを使っているサイトにも関係あるのか?

Cloudflareを経由していないサイトには今回の変更は直接適用されない。

今回の発表はCloudflareのネットワークを経由するサイトに関するものであり、他のCDNやレンタルサーバーのみを利用しているサイトには技術的には直接影響しない。ただし、robots.txtによるContent Signalsの考え方自体は事業者を問わず採用が広がりつつある概念であるため、他のCDN事業者が同様の仕組みを導入する可能性は今後の注目点になる。

Q9. すでにPay Per Crawlを有効にしている場合、追加の対応は必要か?

新しいPay Per Useへの参加は別途の対応が必要で、自動的には切り替わらない。

Pay Per Crawlはクロール回数ベースの既存プログラムであり、Pay Per Useはそれとは別枠でCeramic.aiやYou.comとの連携によって提供される新しいプログラムだ。既にPay Per Crawlを有効にしているサイト運営者も、Pay Per Useの対象になるには別途オプトインの手続きや対象パートナーとの連携状況を確認する必要がある。

Q10. AI引用が増えることと、通常の検索流入が減ることはトレードオフになるのか?

トレードオフになり得るが、Search許可を維持すること自体が引用機会の前提条件になる。

Search用途のクローラーをブロックすればAI経由の引用機会自体を失うため、まずはSearch許可を維持したうえで、AI引用によるトラフィックの質(コンバージョン率など)と、従来型のオーガニック流入の量とを別々の指標として管理する視点が必要になる。今回の発表はアクセス制御の話であり、引用された結果としてクリックが増えるか減るかは、各AIプラットフォームの回答生成の仕様に依存する別の論点である。

関連用語

• クローラー
• robots.txt
• LLMO
• AI Overview
• GSC(Google Search Console)

関連記事

• LLMOとは？AI検索対策の5要素と30日プラン【2026年完全ガイド】
• robots.txtでAIトレーニングと検索ボットを分離する戦略【2026年版】
• OAI-SearchBot・Claude-SearchBot を許可しつつ学習ボットを遮断する robots.txt 設計
• AIクローラー ログ解析完全ガイド｜GPTBot・ClaudeBot 検出からGEO可視化まで【2026年版】
• LLMモニタリングツール おすすめ比較2026｜AI回答引用を自動計測するツール完全ガイド
• AI回答の引用を無料でチェック・モニタリングする方法とおすすめツール
• AIエージェント トラフィックをGA4で可視化・識別する分離計測ガイド【2026年版】
• ゼロクリック ディスプレイスメント率とは？AI検索時代の新指標と計測方法
• CNNがPerplexityを著作権侵害で提訴、NYTはOpenAIに証拠隠しで制裁申立て — 著作権訴訟が新局面へ
• Search Console 生成AIオプトアウト設定とは｜AI Overviews 除外の判断基準と手順
• AIエージェント決済プロトコルx402にEC事業者はどう備えるか
• Felo AI検索に引用される対策【2026年】日本発AI検索エンジンで出典に選ばれる方法