この記事でわかること
Cloudflareを利用している企業サイトでは、 デフォルトのBot管理設定がGPTBot・ClaudeBot・Google-Extendedなどの AIクローラを意図せずブロックしているケースがあります。
本記事では、ブロック状態の確認方法・Cloudflareでの許可設定手順・ robots.txtとの役割分担を解説します。
課題：AIクローラが「403エラー」で弾かれている
生成AI検索（ChatGPT・Claude・Gemini等）が自社サイトの情報を引用するには、 AIクローラがサイトに正常にアクセスできることが絶対条件です。
しかし、多くの企業サイトでは、Cloudflareのセキュリティ設定によって AIクローラが「403 Forbidden（アクセス拒否）」で弾かれている状況が起きています。
Hyakrypsが2026年6月に実施した自社AIO診断PoCでは、 Cloudflareのデフォルト設定がGPTBot・ClaudeBotを403エラーで拒否していることを確認しました。 Cloudflareの設定を修正して許可した後、 GPTBot・ClaudeBot・Google-Extendedのすべてが200（正常応答）を返すようになりました。
AIO施策を講じる前に、この「そもそもクローラが入れない」状態を 最初に確認・解消することが最優先です。
なぜCloudflareがAIクローラをブロックするのか
Cloudflareには「Bot Fight Mode」「Super Bot Fight Mode」「AI Scrapers and Crawlers」 などのBot管理機能があります。
2023年以降、Cloudflareは「AIスクレイパー対策」機能を強化しており、 デフォルト設定ではGPTBot・ClaudeBot・CCBot（Common Crawl）などを 「悪意のあるBot」に近い扱いでブロックする設定が有効になっているケースがあります。
これは著作権保護の観点からユーザーが選択できる機能ですが、 AIOの文脈では意図せず自社サイトをAI検索から遮断することになります。
【追記・2026年7月】新規ドメイン追加時の「初期設定」にも罠がある
上記は「すでに運用中のサイト」を監査するケースですが、 新しいドメインをCloudflareに追加する初回ウィザード（Connect your domain）の段階でも、 AIクローラを遮断する設定がデフォルトで提案されるようになっています。
Hyakrypsが2026年7月に自社の新ドメインをCloudflareへ追加した際、 セットアップ画面で以下の初期選択肢が提示されました。
| ウィザードの設問 | デフォルト提案 | AIOサイトでの正解 |
|---|---|---|
| Manage AI bot access | Block AI crawlers on all pages（全ページでAIクローラを遮断） | ❌ 選ばない。許可（Allow）側にする |
| Set your preference to block training in robots.txt | 学習用クロールを robots.txt でブロック | ❌ オフのまま進める |
つまり、案内どおりに「Recommended（推奨）」を押し続けると、 AIに引用されたいサイトほど、公開初日からAIクローラを自ら締め出すという 本末転倒な状態が完成してしまいます。
なぜ「学習ブロック」もオフにするのか
AIO（AIの回答に引用される・モデルに認知される）を目的とするなら、 検索用クローラだけでなく学習用クローラも通してAIへの露出面を最大化するのが定石です。 ここを絞ると、モデル側にコンテンツが取り込まれる機会を自分で減らすことになります。
コンテンツ保護（無断学習を避けたい）とAI露出はトレードオフです。 「AIに見つけてもらう」ことが目的のサイトでは、ブロックしないことが前提条件になります。
対処
- ドメイン追加ウィザードで Manage AI bot access はブロックを選ばない
- block training in robots.txt のチェックは外す
- UIの都合でブロック状態のまま進んでしまった場合は、追加完了後に 「Security」→「Bots」からAIクローラ許可（Allow）に戻す（後述のSTEP 2〜3）
AIクローラのUser-Agentリスト（主要）
| クローラ名 | 運営会社 | User-Agent |
|---|---|---|
| GPTBot | OpenAI | GPTBot |
| ClaudeBot | Anthropic | ClaudeBot |
| Google-Extended | Google-Extended | |
| PerplexityBot | Perplexity AI | PerplexityBot |
| CCBot | Common Crawl | CCBot |
| Amazonbot | Amazon | Amazonbot |
これらのクローラが正常にアクセスできているかを確認することが、 AIO対策の起点になります。
確認手順
STEP 1: robots.txt を確認する
まず https://yourdomain.com/robots.txt にアクセスし、
AIクローラを Disallow で禁止していないかを確認します。
問題のあるケース（例）：
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /この記述があれば、AIクローラはサイト全体へのアクセスを拒否されます。 許可する場合は当該ブロックを削除するか、以下のように明示的に許可します。
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Google-Extended
Allow: /STEP 2: Cloudflare管理画面でBot設定を確認する
Cloudflare管理画面（dash.cloudflare.com）にログインし、
対象サイトの「Security」→「Bots」または「Bot Fight Mode」を開きます。
確認すべき項目：
-
Bot Fight Mode：有効になっている場合、AIクローラを含む「自動化されたBot」が チャレンジ（CAPTCHA等）または403でブロックされることがあります。
-
Super Bot Fight Mode（Proプラン以上）： 「Definitely Automated（自動化確実）」に分類されたBotを ブロック・チャレンジに設定している場合、AIクローラが含まれることがあります。
-
Firewall Rules / Custom Rules： User-Agentに
GPTBot・ClaudeBotを含むリクエストをブロックする カスタムルールが設定されていないかを確認します。
STEP 3: Cloudflare「AI Scrapers and Crawlers」設定を確認する
2024年以降のCloudflareでは「AI Scrapers and Crawlers」という設定が 追加されています。これが「Block」になっている場合、 OpenAI・Anthropicを含む主要なAIクローラがブロックされます。
設定場所：「Security」→「Bots」→「AI Scrapers and Crawlers」
御社のAIO方針に応じて、以下から選択します：
- Allow：すべてのAIクローラにアクセスを許可する（AIO推進の場合）
- Block：すべてのAIクローラをブロックする（コンテンツ保護を優先する場合）
AIO施策を進める場合は「Allow」に設定します。
STEP 4: 動作確認（curlコマンドまたはツール利用）
設定変更後、AIクローラのUser-Agentでのアクセスが200を返すかを確認します。 以下はcurlを使った確認例です（サーバー環境で実行）。
curl -A "GPTBot" -I https://yourdomain.com
curl -A "ClaudeBot" -I https://yourdomain.com
curl -A "Google-Extended" -I https://yourdomain.comHTTP/2 200 が返れば正常にアクセスできています。
HTTP/2 403 や HTTP/2 503 が返る場合は、まだブロックされています。
よくある落とし穴
| 状況 | 原因 | 対処 |
|---|---|---|
| robots.txtは問題ないのに403になる | Cloudflare Firewall Rulesでブロック | カスタムルールを確認・削除 |
| 設定を変更したのに反映されない | Cloudflareキャッシュ | キャッシュパージ後に再確認 |
| 一部クローラは入れるが一部は入れない | クローラ別のルール設定 | 各User-Agentのルールを個別確認 |
| Bot Fight Modeを無効にしたくない | セキュリティとの両立 | Custom RulesでAIクローラを例外扱い |
Hyakryps実証：Cloudflare設定修正後の変化
Hyakrypsの自社AIO診断PoC（2026年6月）での実施内容と結果：
- 実施前：Cloudflareのデフォルト設定でGPTBot・ClaudeBotが403エラー
- 実施内容：「AI Scrapers and Crawlers」をBlockからAllowに変更、 Firewall Rulesの不要なBot制限を削除
- 実施後：GPTBot・ClaudeBot・Google-Extendedがすべて200を返すことを確認
この変化により、AIクローラが定期的に自社サイトを巡回できる状態になりました。 クローラのアクセスが許可されたことで、サイトコンテンツや構造化データが ChatGPT等のAIモデルに取り込まれる前提条件が整いました。
クローラ許可はAIO施策の「前提条件」であり、これなしに 構造化データ・コンテンツ改善の効果は発揮されません。
入口を開けた次に問われるのは、「入ってきたAIクローラに、何をどの順で読ませるか」です。 サイト内の重要ページと会社情報をAI向けに案内する仕組みとしては、 llms.txtでAIクローラに会社情報を正しく伝える設計が Cloudflare設定とセットで効いてきます。
FAQ
Q. AIクローラを全部許可すると、コンテンツが無断で学習データに使われませんか？
A. 法的リスクについては各社の判断が必要です。 ただし、AIO施策（AIに引用されること）を目的とする場合、 AIクローラへのアクセス許可は前提条件です。 コンテンツ保護を優先するか・AI検索での露出を優先するかをトレードオフとして判断してください。
Q. GPTBotだけ許可して、CCBot（Common Crawl）はブロックできますか？
A. 可能です。Cloudflare Custom Rulesで、 特定のUser-Agentだけを許可・ブロックする設定ができます。 GPTBot・ClaudeBot・Google-Extendedを個別に許可し、 他のBotはBotFight Modeで管理する、という構成にできます。
Q. robots.txtを変えずにCloudflareだけで管理できますか？
A. CloudflareのFirewall RulesはHTTPレイヤーで動作するため、
robots.txtより先に実行されます。
つまり、robots.txtで Allow: / と書いていても、
Cloudflareが403を返せばクローラはサイトに到達できません。
両方を整合させて設定することが必要です。
Q. Cloudflareを使っていない場合はどうすればいいですか？
A. Cloudflareを使っていない場合、主な確認先は robots.txt と
Webサーバー（Nginx・Apache等）のアクセス制御設定です。
Nginxの deny ルール・Apacheの .htaccess でUser-Agentが
ブロックされていないかを確認してください。
まとめ
- CloudflareのBot管理設定がGPTBot・ClaudeBotを意図せずブロックしているケースがある。
- 「AI Scrapers and Crawlers」設定・Firewall Rules・robots.txtの3か所を確認する。
- AIクローラの許可はAIO施策のすべての前提条件であり、最初に解消すべき欠陥。
関連記事
次のステップ
御社のAIクローラ許可状態と、構造化データ・コンテンツの整備状況を まとめて確認したい方は、無料の「AIに出てこない会社チェック」（アペアル）をお試しください。