robots.txt ジェネレーター
robots.txt ジェネレーター|AI検索は許可し、学習は止める設定を3分で作成
プリセットを選ぶか、ボットを個別に選ぶだけで、RFC 9309 に沿った robots.txt を生成します。検索エンジンとAI検索は残し、学習クローラーだけを止める——2026年の標準的な設定を初期値にしています。
プリセットをクリックすると下のボット選択に反映されます。そこから個別に調整できます。
GrokBot と xAI-SearchBot の2つだけを個別に制御します。xAIはどちらも公式には文書化していないため、確実に止めたい場合はファイアウォール側のルールも併用してください。
オプション
User-agent: * Allow: /
プリセットの違い
| プリセット | ブロックされる対象 | 残るもの | 向いているサイト |
|---|---|---|---|
| AI検索を許可・学習をブロック | 学習目的のボット(GPTBot・ClaudeBot・Google-Extended・Applebot-Extended・Meta-ExternalAgent・CCBot など) | 検索エンジン、AI検索、ユーザー起点取得 | 2026年の大部分のサイト(推奨) |
| すべて許可 | なし | すべて | AI経由の流入を最大化したいサイト |
| AIボットをブロック | AI学習+AI検索を含む全AI系 | 検索エンジン、SEOツール | AI経由の引用を望まないサイト |
| スクレイパーをブロック | CCBot・Bytespider・Diffbot など収集系 | AIボット、検索エンジン | サーバー負荷を下げたいサイト |
| AI+スクレイパー | AI系と収集系の両方 | 検索エンジン、SEOツール | コンテンツ保護を優先するサイト |
| SEO最適化 | AI系、収集系、攻撃的なSEOクローラー | 検索エンジンのみ | 従来型SEOに集中するサイト |
| すべてブロック | すべて | なし | ステージング環境のみ |
なぜ「学習」と「検索」を分けるのか
AIによるクロールの大半は学習目的で、学習はアクセスを生みません。Cloudflareが2025年7月分として公表した内訳では、学習79%・検索17%・ユーザー起点3.2%でした(2024年7月は学習72%・検索26%・ユーザー操作2%)。つまり「AIを全部止める」と、引用される機会まで一緒に失います。
逆に、学習だけを止めても検索経由の引用は維持できます。2026年1月のHostinger調査(500万サイト・667億リクエスト)では、GPTBotの到達率が84%から12%へ下がる一方、OAI-SearchBotは55.67%まで上昇しています。サイト運営者の判断が「学習は止める・検索は残す」に移っていることが分かります。
| クローラー | 到達率(2026年1月) | 用途 |
|---|---|---|
| Googlebot | 72% | 検索 |
| AhrefsBot | 60% | SEOツール |
| Bingbot | 57.67% | 検索 |
| Meta-ExternalAgent | 57.33% | AI学習 |
| OAI-SearchBot | 55.67% | AI検索 |
| SemrushBot | 25% | SEOツール |
| Applebot | 24.33% | 検索 |
| GPTBot | 12%(旧84%) | AI学習 |
出典:Hostinger「66.7B bot requests across 5M+ sites」2026年1月20日/Cloudflare「The crawl-to-click gap」2025年8月29日。
Content-Signal とは(任意の1行)
オプションの「Content-Signal 行を追加」をONにすると、Content-Signal: search=yes, ai-train=no が先頭に入ります。取得後の利用目的を宣言する行で、Cloudflareが2025年に導入し2026年7月に拡張しました。
限界:Content-Signal は RFC 9309 の一部ではなく、Googleは読まないと明言しています。User-agent グループの代わりにはならず、あくまで「読むクローラーへの意思表示」です。遮断の実効性を求めるならファイアウォール側の設定が必要です。
設置と検証の手順
- 各ホストのルートに置く —
example.com/robots.txtとblog.example.com/robots.txtは別ファイルです。サブドメインごとに設置します。 - 200 と text/plain で返す — 5xx を返すと一部のクローラーは巡回自体を停止します。
- 最大24時間待つ — RFC 9309 ではクローラー側のキャッシュ更新に最大24時間かかるとされています。
- 検証する — 生成した内容をrobots.txt バリデーターに貼り付け、ボット別の許可・拒否を確認します。公開後はクローラー原因診断で実際の遮断レイヤーを確認してください。
- CDN側も確認 — CloudflareのAI学習ブロックは robots.txt と無関係に Googlebot まで止めることがあります。
よくある質問
AI検索を許可して学習だけブロックするには?
「AI検索を許可・学習をブロック」プリセットを選んでください。GPTBot・ClaudeBot・Google-Extended・Applebot-Extended・Meta-ExternalAgent などの学習系だけを停止し、検索エンジン・AI検索・ユーザー起点取得は許可します。
Content-Signal は入れるべきですか?
任意です。RFC 9309 の外にある拡張で、Googleは読まないとしています。User-agent グループを主たる制御にし、Content-Signal は補足として扱ってください。
AIボットを止めるとSEO順位は下がりますか?
学習クローラー(GPTBot・ClaudeBot等)の遮断はGoogle・Bingの順位に影響しません。ただし Googlebot・Bingbot・OAI-SearchBot・Claude-SearchBot などの検索系を止めると、検索結果やAI回答から消えます。生成ツールは検索系をブロックしたときに警告を表示します。
AIボットとスクレイパーの違いは?
AIボットは学習用データセットの収集、スクレイパーは汎用的なデータ収集・転載が主目的です。どちらもSEOへの直接影響なしにブロックできますが、CCBotを止めるとCommon Crawl経由の引用機会も失います。
WordPressでの設置方法は?
Yoast SEO・Rank Math などの「robots.txt を編集」機能に生成内容を貼り付けるのが簡単です。プラグインを使わない場合は、サイト直下に robots.txt をアップロードしてください。
Grok(xAI)だけ止めることはできますか?
できます。Grokプリセットの「Grokのみブロック」を選ぶと GrokBot と xAI-SearchBot の2グループだけが出力されます。ただし両トークンはxAIが公式文書化していないため、実効性を求めるならファイアウォールでの遮断も併用してください。
関連ツール
作った robots.txt、本当に効いていますか?
robots.txt は最初の1層にすぎません。CDNやWAFがAIボットを403で返していると、ファイルが正しくてもAIには届きません。
遮断レイヤーを診断する