「AIボットは全部禁止」か「全部許可」の二択しかなかったこれまでの設定を、Cloudflareは7月1日、無料プランを含む全顧客向けに三分類へと分解した。ボットを「Search(検索インデックス化)」「Agent(人の代理でリアルタイムに動く自動操作)」「Training(モデルの学習・fine-tuning用)」に分け、それぞれ個別に許可・ブロックできるようにする機能だ。

9月からのデフォルト変更

2026年9月15日以降、Cloudflareに新規登録するドメインでは、広告が表示されるページに限り、TrainingとAgent分類のボットがデフォルトでブロックされ、Searchのみ許可される仕様に変わる。あわせてEnterprise向けには、既知のボットを検索できる「BotBase」と、クローラーごとの価値を可視化する「Attribution Business Insights」も新設された。

robots.txtとの棲み分け

これまでもrobots.txtでクローラーを制御する手段はあったが、多くのAIクローラーはこれを守らない、あるいは検索とAI学習を同じUser-Agentで一括りにしてしまうという実効性の課題があった。今回のContent Signals拡張(use=reference等)への対応も含め、Cloudflareはネットワーク層で強制力を持たせることで、この「紳士協定止まり」だった仕組みを一歩実効性のある方向へ進めようとしている。

サイト運営者への影響

検索とAI学習クローラーを同一の仕組みで動かしている事業者にとっては、クローラーを機能ごとに分離しないと不利になる設計であり、業界の慣行そのものを変えようとする狙いが透けて見える。Web全体の2割以上がCloudflare経由とされることを踏まえると、9月のデフォルト変更で実際にどれだけのサイトの挙動が変わるかは、AIクローラー各社の対応を含めて注視する価値がある。詳細はCloudflare Blogの発表(https://blog.cloudflare.com/content-independence-day-ai-options/)を参照するとよい。