重要ポイント
- ボットを「Search(検索用インデックス化)」「Agent(人の代理でリアルタイムに動く自動操作)」「Training(モデルの学習・fine-tuning用)」の3種類に分けて個別管理できるようになりました。
- 2026年9月15日以降、Cloudflareに新規登録するドメインでは、広告表示ページに限りTrainingとAgentがデフォルトでブロックされ、Searchのみ許可される仕様に変わります。
- Enterprise向けには、既知のボットを検索できる「BotBase」と、クローラーごとの価値を可視化する「Attribution Business Insights」も新設されました。
初心者向け補足
自分のサイトやブログを運営している人にとって、検索エンジンのクローラーとAIチャットボットのクローラーは、これまで同じ「ボット」として一括りに扱われがちでした。今回のアップデートは、「検索には来てほしいけど、AIの学習データにされるのは嫌だ」というような細かい希望を、設定画面で選べるようにするものです。Cloudflareを使っていないサイトには直接関係しませんが、Web全体の2割以上がCloudflare経由と言われており、影響範囲は広いです。
自分のコメント
「AIか否か」で線を引くのではなく「そのボットが何をするか」という振る舞いベースの分類に切り替えた点が興味深いところです。検索とAI学習を同じクローラーで行う事業者にとっては、クローラーを分離しないと不利になる設計になっており、業界の慣行そのものを変えようとする狙いが見えます。9月のデフォルト変更で実際にどれだけのサイトが挙動を変えるか、今後の反応を注視したいです。