AIクローラーの巡回を禁止する方法

自社サイトのコンテンツをAIの学習に使われたくない、AIクローラーのアクセスでサーバーに負荷をかけられたくない、という相談が増えています。この記事では、AIクローラーの巡回を禁止する方法と、その際に知っておくべきトレードオフを解説します。

この記事の目次

robots.txtでAIクローラーを拒否する

基本はrobots.txtにAIクローラーのUser-agentを指定してDisallowを書くことです。サイトのルート直下（https://ドメイン/robots.txt）に設置します。

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

主要なAI関連クローラーは以下の通りです。目的が「学習」か「AI検索の応答」かで分かれる点に注意してください。

User-agent	運営元	主な目的
GPTBot	OpenAI	モデル学習用のクロール
OAI-SearchBot / ChatGPT-User	OpenAI	ChatGPTの検索・ユーザー操作時のアクセス
ClaudeBot	Anthropic	モデル学習用のクロール
Google-Extended	Google	Geminiなどの学習利用の可否を制御するトークン
CCBot	Common Crawl	公開データセットの収集（多くのAIが学習に利用）
PerplexityBot	Perplexity	AI検索
Bytespider	ByteDance	学習用クロール
meta-externalagent	Meta	学習用クロール

なおGoogle-Extendedは通常の検索クローラー（Googlebot）とは別の制御名です。Google-Extendedを拒否しても検索順位には影響しないとGoogleは明言しています。逆に、Googlebot自体を拒否すると検索結果から消えるので、絶対に混同しないでください。

robots.txtはあくまで「お願い」であり、従うかどうかはクローラー側の実装次第です。大手（OpenAI・Anthropic・Google）は遵守を表明していますが、無視するボットも存在します。

確実に止めたい場合は、サーバー側でUser-agentを見て拒否します。Apacheの.htaccessの例です。

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (GPTBot|ClaudeBot|CCBot|Bytespider) [NC]
RewriteRule .* - [F,L]
</IfModule>

CDNにCloudflareを使っているサイトであれば、管理画面からAIクローラーをまとめてブロックする機能が提供されているので、そちらを使うのが簡単で確実です。

EC-CUBE4系の場合、公開ディレクトリ（通常はhtmlディレクトリ、ドキュメントルート直下）にrobots.txtを静的ファイルとして設置します。

WordPressの場合、物理的なrobots.txtが無ければWordPressが仮想的に生成しています。ルートに静的なrobots.txtを置けばそちらが優先されるほか、SEO系プラグインの編集機能からも追記できます。

設置後は、ブラウザで https://ドメイン/robots.txt を開いて意図した内容が表示されるかを必ず確認してください。

AIクローラーを全て拒否すると、ChatGPTやPerplexityなどのAI検索経由の流入も失います。実際、検索クエリには「〜する具体的な方法は？」のような質問文形式が増えており、AI経由でサイトに到達する読者は今後も増える見込みです。

「学習には使わせたくないが、AI検索には引用されたい」という場合は、学習用（GPTBot・ClaudeBot・CCBot等）だけを拒否し、検索用（OAI-SearchBot等）は許可する、という切り分けも可能です。AI検索に引用されるための考え方は、次の記事で解説しています。

EC-CUBEゴールドパートナー EC-CUBEは株式会社イーシーキューブの商標です

[重要]現在公式にセキュリティサポートが切れていないPHPは8.1以上、MySQLは8.0以上で、対応しているEC-CUBEバージョンは4.2以上です。古いEC-CUBEを使っている方は適切なタイミングでバージョンアップをご検討ください。