AEO改善事例｜robots.txtでAIクローラーを全拒否していたサイトが13点→73点に回復した話

ある生活雑貨のD2Cブランド（T社・仮称）では、コンテンツの無断転載を防ぎたいという理由から、開設当初からrobots.txtでクローラーを全面的に拒否していました。Google検索のインデックス自体は別の設定で回っていたため違和感はありませんでしたが、2026年に入り「ChatGPTで弊社の商品カテゴリを聞いても自社が一切出てこない」という相談がきっかけでAEO診断を実施しました。

診断でわかったこと（Before）

対象：生活雑貨のD2Cブランド公式通販サイト（T社・仮称）

診断の結果は総合13点（対策必須）。AI Search Coverageは0%でした。原因はシンプルで、robots.txtに次の1行があったことです。この記述はGooglebotを含むすべてのクローラーに適用され、AI検索 Bot（GPTBot・ClaudeBot・PerplexityBotなど）もまとめてブロックされていました。

改善施策

施策1：robots.txtを「人間向けは守り、AI検索は許可」の設計に書き換える

無断転載対策の本体は著作権ポリシーページと利用規約で担い、robots.txtは「検索エンジンとAI検索には開く」という方針に刷新しました。まず主要AI検索Botを明示的に許可し、悪質なスクレイパーのみ個別に拒否します。

# 主要AI検索ボットは許可
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: AnthropicBot
Allow: /

User-agent: Applebot
Allow: /

# 悪質なスクレイパーのみ拒否
User-agent: bad-scrapers-example
Disallow: /

注意点として、User-agent: * に対する Disallow: / を先頭に残したまま個別許可を書いても、UA単位の指定が優先されるため意図どおりになりますが、読み手（そして診断ツール）が混乱しやすいため、グループごとに整理して書くことを推奨します。

施策2：拒否してもよいボットと拒否すべきでないボットを分類する

Botディレクトリ（254種）を利用し、学習用・検索引用用・エージェント・悪質スクレイパーに分けて方針を決めました。検索引用型（PerplexityBotなど）はAI検索の回答に引用される経路そのものなので最優先で許可。悪質スクレイパーはブロックしても減点にならない設計です（診断ツールのbotAccessはスクレイパーを常時10点として加点）。

改善後の診断結果（After）

再診断ではbotAccessが10点→70点、AI Search Coverageが0%→100%に回復し、総合13点→73点（良好）となりました。AIインフラ（llms.txt）と技術項目は未着手のため据え置きですが、robots.txtの書き換えだけでAI検索への入口が確実に開いた形です。公開から数週間でAI経由とみられる参照トラフィックが計測され始めたという報告もあります。

この事例のポイント

• Disallow: / の1行で、AI検索からの流入経路は完全に閉じる
• 無断転載対策はrobots.txt以外（利用規約・ライセンス表記）で担保する設計にする
• 悪質スクレイパーの拒否はスコア減点にならない。迷ったら先に「検索引用型」を許可する

関連リンク：AI Bot一覧（Botディレクトリ） / robots.txt バリデーター / AEO診断ツールで自分のサイトをチェック