Google-Extended

Google-Extendedとは、Google の生成AI（Gemini など）の学習や改善に、自サイトのコンテンツを使わせるかどうかを制御するための指定です。通常のGoogle検索の順位には影響しません。本記事では、その性質と使い方を整理します。

Google-Extendedとは（意味・定義）

Google-Extended は、通常のクローラーである Googlebot とは別に用意された制御用のトークンです。robots.txt の User-agent にこの名前を書くことで、生成AI向けの利用だけを拒否できます。

重要なのは、これが「巡回を止める」ものではないという点です。Googlebot による検索用のクロールは継続され、検索結果への掲載や順位には影響しません。生成AIの学習・改善という用途だけを切り離して制御する仕組みです。

「検索には出てほしいが、AIの学習素材には使ってほしくない」という要望に応えるために設計されたものだといえます。

主な特徴

表のとおり、検索とAI学習を分けて扱えるのが最大の特徴です。この点を誤解すると、不要なブロックや過剰な許可につながります。

書き方

生成AIへの利用を許可する場合は次のように書きます。

User-agent: Google-Extended
Allow: /

拒否する場合は Disallow: / に変えます。なお、robots.txt に記載がない場合は許可として扱われます。

ブロックするとどうなるか

ブロックしても、Google 検索からの流入は変わりません。一方で、Gemini などの回答に自社情報が引用される機会が減る可能性があります。

AI経由の流入を重視するか、学習利用の回避を優先するかは、サイトの目的によって判断が分かれます。両方を同時に得たい場合は、検索用の Googlebot は許可しつつ、AI学習だけを制御するという設計が可能です。

よくある誤解

誤解：Google-Extendedをブロックすると検索順位が下がる

実際は：検索順位には影響しません。Google も影響しないと明示しています。

誤解：Disallowに書けばクロールされなくなる

実際は：Google-Extended は学習利用の制御用であり、クロール自体を止めるものではありません。クロールを制御したい場合は Googlebot を指定します。

誤解：記載しなければAIに使われない

実際は：記載がない場合は利用を許可したものとして扱われます。

FAQ（よくある質問）

Q. Googlebotをブロックすれば同じ効果がありますか？

A. 異なります。Googlebot を止めると検索への掲載にも影響します。AI学習だけを制御したい場合は Google-Extended を使います。

Q. 反映までどのくらいかかりますか？

A. 数日から数週間かかることがあります。また、既に学習済みのモデルに対して遡って影響するものではありません。

Q. 他のAIサービスにも同じ書き方が使えますか？

A. 書き方の形式は共通ですが、指定する名前は各社で異なります。

関連用語

• AIクローラー — AIがページを収集するプログラム
• robots.txt — クロールの許可・拒否を伝えるファイル
• GPTBot — OpenAI の学習・インデックス用クローラー
• 学習データ — モデルの学習に使われるデータ

関連リンク

• AEOツールでサイトのAIクローラーアクセス状況を診断する — Google-Extended をはじめ主要6種のAIクローラーの許可状況を無料で確認できます