AEO改善事例|GPTBotだけ拒否して損していたサイトの選択的許可(69.3点→91点)

best

UXリサーチャー/AIツール評価
GPTBotだけ拒否して損していたサイトの選択的許可事例|69.3点→91点

BtoB SaaS企業のオウンドメディア(M社・仮称)は、「コンテンツをモデル学習に使われたくない」という方針から、robots.txtでGPTBotのみを拒否していました。他のクローラーは許可しており、一見バランスのよい設定に見えます。

※本記事のスコアは、my-best.ai のAEO診断ツールの評価ロジック(botAccess 70点/AIインフラ 15点/技術 15点/合計100点)に基づく算出例です。掲載しているサイトは、よくある課題パターンをもとにした仮称の例です。

診断でわかったこと(Before)

対象:BtoB SaaS企業のオウンドメディア(M社・仮称)

ところがAEO診断では総合69.3点(要改善)。AI Search Coverageは83%で、拒否されていたのはGPTBot1種だけです。ポイントは、AI検索の回答エンジンの多くがGPTBot由来の情報も参照していることで、1種の拒否が「ChatGPTの回答に自社メディアが引用されない」という目に見えない損失につながっていたことです。スコア面でも主要6種40点のうち6.7点が取りこぼれ、botAccessは63.3点にとどまりました。

評価軸 点数 満点
botAccess(AIボットのアクセス状況) 63.3 70
AIインフラ(llms.txt) 0 15
技術(H1・canonical・alt・JSON-LD・lang) 6 15
総合スコア 69.3 100
評価ラベル 要改善
AI Search Coverage(主要6種の許可率) 83%

改善施策

施策1:学習対策と検索引用対策を分けて考える

「学習に使われたくない」と「検索結果に引用されたい」は両立できます。GPTBotを完全拒否するのではなく、OpenAIの検索クローラー(OAI-SearchBot)と学習用クローラーの役割の違いをBotディレクトリで確認し、方針を再設計。M社では「引用は許可する」方針に変更し、GPTBotのAllowを追加しました。

# 変更前
User-agent: GPTBot
Disallow: /

# 変更後
User-agent: GPTBot
Allow: /

施策2:llms.txt / llms-full.txt を追加してAIインフラ15点を獲得

技術面ではH1とlang属性は適切だったものの、AI向けの案内ファイルが一切ありませんでした。llms.txtジェネレーターでメディアの主要カテゴリ・代表記事をまとめたllms.txtを作成し、さらに主要記事の全文を集約したllms-full.txtを設置。AIインフラが0点→15点になりました。

改善後の診断結果(After)

評価軸 Before After 満点
botAccess(AIボットのアクセス状況) 63.3 70 70
AIインフラ(llms.txt) 0 15 15
技術(H1・canonical・alt・JSON-LD・lang) 6 6 15
総合スコア 要改善 91 100
AI Search Coverage 83% 100% −

再診断ではbotAccess 63.3点→70点、AIインフラ 0点→15点となり、総合69.3点→91点(最適)まで改善。AI Search Coverageは100%に回復しました。技術項目(残り9点分)は次フェーズの課題として整理しています。

この事例のポイント

  • GPTBotだけの拒否は「ChatGPTからの引用を自ら断っている」のと同じ
  • 学習対策と検索引用は別問題。拒否の範囲を目的ごとに設計する
  • llms.txt+llms-full.txtの2ファイルでAIインフラ15点(診断の配点どおり)

関連リンク:GPTBotの解説(Botディレクトリ) / llms.txt ジェネレーター / AEO基礎知識:学習と引用の違い

メールマガジン

最新のAI情報をメールで受け取る

新着のAIツール比較・ランキング・ニュースを、まとめてお届けします。

ご登録後、確認メールをお送りします。配信停止はいつでも可能です。

週1回・無料

新着ツール・比較・使い方を、
週1でまとめて受け取る

毎日更新している掲載データの中から、編集部が選んでメールでお届けします。いつでも配信停止できます。

  • 新着ツールその時に話題のツールと、最初に試すときの要点
  • 比較と料金の更新よく比べられる組み合わせと、料金が変わったツール
  • 使い方の解説記事実際に試して書いた記事から、読みごたえのあるものを厳選

登録により 利用規約に同意したとみなされます。確認メールのリンクを押すと登録が完了します。

My-Best.AI|AIツール比較・ランキング・おすすめ最新AI情報
Logo