robots.txt ジェネレーター

robots.txt ジェネレーター|AI検索は許可し、学習は止める設定を3分で作成

プリセットを選ぶか、ボットを個別に選ぶだけで、RFC 9309 に沿った robots.txt を生成します。検索エンジンとAI検索は残し、学習クローラーだけを止める——2026年の標準的な設定を初期値にしています。

7つのプリセット50種以上のボットContent-Signal 対応コピー・ダウンロード

プリセットをクリックすると下のボット選択に反映されます。そこから個別に調整できます。

GrokBot と xAI-SearchBot の2つだけを個別に制御します。xAIはどちらも公式には文書化していないため、確実に止めたい場合はファイアウォール側のルールも併用してください。

オプション

0 種をブロック
User-agent: *
Allow: /
2 行 / 24 バイト
バリデーターで検証

プリセットの違い

プリセットブロックされる対象残るもの向いているサイト
AI検索を許可・学習をブロック学習目的のボット(GPTBot・ClaudeBot・Google-Extended・Applebot-Extended・Meta-ExternalAgent・CCBot など)検索エンジン、AI検索、ユーザー起点取得2026年の大部分のサイト(推奨)
すべて許可なしすべてAI経由の流入を最大化したいサイト
AIボットをブロックAI学習+AI検索を含む全AI系検索エンジン、SEOツールAI経由の引用を望まないサイト
スクレイパーをブロックCCBot・Bytespider・Diffbot など収集系AIボット、検索エンジンサーバー負荷を下げたいサイト
AI+スクレイパーAI系と収集系の両方検索エンジン、SEOツールコンテンツ保護を優先するサイト
SEO最適化AI系、収集系、攻撃的なSEOクローラー検索エンジンのみ従来型SEOに集中するサイト
すべてブロックすべてなしステージング環境のみ

なぜ「学習」と「検索」を分けるのか

AIによるクロールの大半は学習目的で、学習はアクセスを生みません。Cloudflareが2025年7月分として公表した内訳では、学習79%・検索17%・ユーザー起点3.2%でした(2024年7月は学習72%・検索26%・ユーザー操作2%)。つまり「AIを全部止める」と、引用される機会まで一緒に失います。

逆に、学習だけを止めても検索経由の引用は維持できます。2026年1月のHostinger調査(500万サイト・667億リクエスト)では、GPTBotの到達率が84%から12%へ下がる一方、OAI-SearchBotは55.67%まで上昇しています。サイト運営者の判断が「学習は止める・検索は残す」に移っていることが分かります。

クローラー到達率(2026年1月)用途
Googlebot72%検索
AhrefsBot60%SEOツール
Bingbot57.67%検索
Meta-ExternalAgent57.33%AI学習
OAI-SearchBot55.67%AI検索
SemrushBot25%SEOツール
Applebot24.33%検索
GPTBot12%(旧84%)AI学習

出典:Hostinger「66.7B bot requests across 5M+ sites」2026年1月20日/Cloudflare「The crawl-to-click gap」2025年8月29日。

Content-Signal とは(任意の1行)

オプションの「Content-Signal 行を追加」をONにすると、Content-Signal: search=yes, ai-train=no が先頭に入ります。取得後の利用目的を宣言する行で、Cloudflareが2025年に導入し2026年7月に拡張しました。

限界:Content-Signal は RFC 9309 の一部ではなく、Googleは読まないと明言しています。User-agent グループの代わりにはならず、あくまで「読むクローラーへの意思表示」です。遮断の実効性を求めるならファイアウォール側の設定が必要です。

設置と検証の手順

  1. 各ホストのルートに置く — example.com/robots.txt と blog.example.com/robots.txt は別ファイルです。サブドメインごとに設置します。
  2. 200 と text/plain で返す — 5xx を返すと一部のクローラーは巡回自体を停止します。
  3. 最大24時間待つ — RFC 9309 ではクローラー側のキャッシュ更新に最大24時間かかるとされています。
  4. 検証する — 生成した内容をrobots.txt バリデーターに貼り付け、ボット別の許可・拒否を確認します。公開後はクローラー原因診断で実際の遮断レイヤーを確認してください。
  5. CDN側も確認 — CloudflareのAI学習ブロックは robots.txt と無関係に Googlebot まで止めることがあります。

よくある質問

AI検索を許可して学習だけブロックするには?

「AI検索を許可・学習をブロック」プリセットを選んでください。GPTBot・ClaudeBot・Google-Extended・Applebot-Extended・Meta-ExternalAgent などの学習系だけを停止し、検索エンジン・AI検索・ユーザー起点取得は許可します。

Content-Signal は入れるべきですか?

任意です。RFC 9309 の外にある拡張で、Googleは読まないとしています。User-agent グループを主たる制御にし、Content-Signal は補足として扱ってください。

AIボットを止めるとSEO順位は下がりますか?

学習クローラー(GPTBot・ClaudeBot等)の遮断はGoogle・Bingの順位に影響しません。ただし Googlebot・Bingbot・OAI-SearchBot・Claude-SearchBot などの検索系を止めると、検索結果やAI回答から消えます。生成ツールは検索系をブロックしたときに警告を表示します。

AIボットとスクレイパーの違いは?

AIボットは学習用データセットの収集、スクレイパーは汎用的なデータ収集・転載が主目的です。どちらもSEOへの直接影響なしにブロックできますが、CCBotを止めるとCommon Crawl経由の引用機会も失います。

WordPressでの設置方法は?

Yoast SEO・Rank Math などの「robots.txt を編集」機能に生成内容を貼り付けるのが簡単です。プラグインを使わない場合は、サイト直下に robots.txt をアップロードしてください。

Grok(xAI)だけ止めることはできますか?

できます。Grokプリセットの「Grokのみブロック」を選ぶと GrokBot と xAI-SearchBot の2グループだけが出力されます。ただし両トークンはxAIが公式文書化していないため、実効性を求めるならファイアウォールでの遮断も併用してください。

関連ツール

作った robots.txt、本当に効いていますか?

robots.txt は最初の1層にすぎません。CDNやWAFがAIボットを403で返していると、ファイルが正しくてもAIには届きません。

遮断レイヤーを診断する
週1回・無料

AEO診断・AIクローラー最新情報を、
週1回お届け

AI Botの仕様変更やAEO対策のノウハウ、よくあるトラブル事例を編集部が厳選しメール配信。いつでも配信停止可能です。

  • 新Bot・仕様変更AIクローラーに新しいBotが追加されたとき、判定仕様が変わったときの速報
  • 障害事例と対処AEO診断で多い障害事例と、その対処方法を実例で解説
  • AEO活用術Web制作会社・SEO担当者向けのAEO活用テクニック

登録により 利用規約に同意したとみなされます。確認メールのリンクを押すと登録が完了します。

My-Best.AI|AIツール比較・ランキング・おすすめ最新AI情報
Logo