CloudflareのAIクローラー設定が「検索・学習・エージェント」の3つに分かれた。26サイトをAPIで一括確認した

2026年9月16日、Cloudflare から「Updates to managing AI crawlers on your account」というメールが届きました。 AI のクローラーを止める設定が、1つのスイッチから「検索」「学習」「エージェント」の3つに分かれるという知らせです。

私は Cloudflare で26のドメインを管理しています。 管理画面を26回開く代わりに、API で全ドメインの設定を一括で読み出しました。 この記事では、何が変わったのか、どう確かめたのか、そして AI の回答に引用されたいサイトはどう設定すべきかを書きます。

何が変わったのか

メールに書かれていた変更は次の3点です。

• 学習用のクローラーに対する推奨の設定が、「Block（ブロック）」から「Disallow AI Training（学習には使わないよう指示する）」に変わった
• 以前に「Block AI Bots」か「Managed Robots.txt」を有効にしていたサイトは、新しい3区分の設定へ自動で移される
• 一度も設定を触っていないサイトは「Allow（許可）」のままで、何も変わらない

「Disallow AI Training」は、Applebot・Googlebot・Bingbot のような検索のクローラーには検索結果のための巡回を許しつつ、学習には使わないよう指示する設定だと説明されています。

自動で移された場合の設定は次のとおりです。

• Search（検索）：Allow
• Training（学習）：Disallow AI Training
• Agent（エージェント）：広告のあるページだけ Block

移行が終わると、管理画面から「Block AI Bots」のスイッチが消えるそうです。

API で設定を読み出す

設定はゾーンごとに GET /zones/{zone_id}/bot_management で読めます。 全ゾーンの一覧を取り、1つずつ設定を読んで、AI に関わる項目だけを表示しました。

#!/bin/bash
# CF_API_TOKEN には「Bot Management Read」の権限が要る
AUTH="Authorization: Bearer $CF_API_TOKEN"

curl -s -H "$AUTH" "https://api.cloudflare.com/client/v4/zones?per_page=100" \
  | jq -r '.result[] | "\(.id) \(.name)"' \
  | while read -r id name; do
      curl -s -H "$AUTH" "https://api.cloudflare.com/client/v4/zones/$id/bot_management" \
        | jq -c --arg name "$name" '{name: $name} + (.result | {
            ai_bots_protection, ai_search, ai_training, ai_user,
            is_robots_txt_managed, cf_robots_variant, crawler_protection
          })'
    done

最初は、DNS の操作に使っている API トークンで試しました。 返ってきたのは Authentication error（code 10000）でした。 公式の API リファレンスによると、この設定を読むには「Bot Management Read」か「Bot Management Write」の権限が要ります。 DNS 用のトークンをそのまま流用している人は、同じところで止まるはずです。

読み出した項目の意味

API リファレンスの説明をまとめると、次のようになります。

新しい3区分（ai_search・ai_training・ai_user）は、リファレンス上は「robots.txt の方針」と説明されています。 disallow という値があるのは ai_training だけです。

ここで押さえておきたいのが、robots.txt は「お願い」でしかないという点です。 Cloudflare のドキュメントにも、robots.txt に従うかどうかはクローラー次第で、技術的に止める仕組みではないと書かれています。 確実に止めたいなら AI Crawl Control などの規則で止める、という整理です。

26サイトの結果

結果は、26サイトすべてで同じでした。

• ai_bots_protection：disabled
• ai_search・ai_training・ai_user：すべて disabled
• is_robots_txt_managed：false
• crawler_protection：disabled

つまり、どのサイトも AI のクローラーを止めていませんでした。 メールにあった「一度も設定を触っていないサイトは何も変わらない」に当たります。 自動の移行の対象ではないので、今回の変更による影響はありません。

ひとつだけ、サイトによって値が違う項目がありました。 cf_robots_variant が、26サイトのうち10サイトで policy_only、残りの16サイトで off になっていました。 リファレンスには「Robots Access Control License の種類」としか書かれておらず、私はこの値を設定した覚えがありません。

実際に policy_only のサイトの robots.txt を取得してみましたが、Cloudflare が書き足した行はありませんでした。 is_robots_txt_managed が false なので、Cloudflare は robots.txt に手を入れていない、ということだと見ています。 この値が何を意味するのかは、まだ確かめられていません。

AI のクローラーは自分の robots.txt で明示的に許可している

私のサイトは、Cloudflare に任せず、robots.txt を自分で書いています。 AI のクローラーは、名前を挙げて明示的に許可しています（抜粋）。

User-Agent: *
Allow: /

# AI系クローラー: 全面許可
User-Agent: GPTBot
User-Agent: ChatGPT-User
User-Agent: OAI-SearchBot
User-Agent: ClaudeBot
User-Agent: Claude-SearchBot
User-Agent: Claude-User
User-Agent: Google-Extended
User-Agent: PerplexityBot
User-Agent: Applebot-Extended
Allow: /

理由は単純で、小さなサイトほど、AI の回答に名前が出ることの価値が大きいからです。 「おすすめは？」と聞かれたときに引用の候補に入るには、まず読んでもらえる状態にしておく必要があります。

AI の回答に引用されたいサイトの設定

ここまでを踏まえると、AI の回答（ChatGPT の検索や Perplexity など）に引用されたいサイトは、次のように考えるのがよいと思います。

Search と Agent は止めない

AI 検索のボットを止めると、AI の検索結果に出る機会そのものを失います。 ユーザーの指示でページを読みに来るエージェント（ChatGPT-User など）も、止めてしまえば、そのページの内容を回答に使ってもらえません。

Training は方針で決める

学習に使われることと、検索の回答に引用されることは別です。 学習には使われたくないなら、Training だけを Disallow AI Training にして、Search と Agent は許可しておく、という組み合わせが取れます。 今回の変更は、まさにこの使い分けを設定画面で選べるようにしたものです。

自動で移されたサイトは、Agent の設定を見ておく

以前に Block AI Bots を有効にしていたサイトは、Agent が「広告のあるページだけ Block」に移されます。 広告を出しているページを AI のエージェントに読ませたいなら、移行後の設定を一度確かめておく必要があります。

robots.txt 以外で止めていないかも確かめる

Cloudflare の設定がすべて disabled でも、WAF のカスタムルールやレート制限で AI のクローラーを弾いていることがあります。 robots.txt で許可していても、手前で止めていれば読まれません。

まとめ

• Cloudflare の AI クローラーの設定は、「検索」「学習」「エージェント」の3区分になった
• 以前にブロックしていたサイトだけが自動で移され、触っていないサイトは何も変わらない
• 設定は API の bot_management で読め、全ゾーンを一括で確かめられる。権限は Bot Management Read が要る
• 新しい3区分は robots.txt の方針で、強制力はない
• AI の回答に引用されたいなら、Search と Agent は止めず、Training だけを方針で決める