robots.txt

2026年10月16日
12:54 pm
最終更新: 2026年10月16日

my-best.ai 編集部

AIツール比較・レビュー編集チーム

robots.txtとは、ウェブサイトのルートに置くテキストファイルで、クローラーに対して「どのページを取得してよいか」を伝えるものです。本記事では、書き方、AIクローラーとの関係、誤解されやすい点を整理します。 robots.txtとは（意味・定義）サイトの https://example.com/robots.t

robots.txtとは、ウェブサイトのルートに置くテキストファイルで、クローラーに対して「どのページを取得してよいか」を伝えるものです。本記事では、書き方、AIクローラーとの関係、誤解されやすい点を整理します。

robots.txtとは（意味・定義）

サイトの https://example.com/robots.txt という場所に置くファイルで、クローラーの種類ごとに「許可」「拒否」を指示します。1990年代から使われている仕組みで、現在も主要な検索エンジンやAIサービスが参照しています。

重要なのは、これが要請であって強制ではないという点です。従うかどうかは各クローラーの運営者の判断に委ねられています。したがって、機密情報や会員専用ページを守る目的で使うべきものではありません。

アクセス制御そのものは、認証やサーバー側の設定で行うのが原則です。robots.txt はあくまで「巡回のマナーを伝える」ためのものです。

主な特徴

観点	内容
設置場所	サイトのルート（例: https://example.com/robots.txt）
主な指示	User-agent / Allow / Disallow / Sitemap
強制力	なし（自主的な遵守に依存）
AIとの関係	AIクローラーも同じ仕組みで制御する

表のとおり、役割は「意思表示」です。実際に守られているかどうかをログから確認することはできません。

基本的な書き方

すべてのクローラーにサイト全体を許可する場合は次のように書きます。

User-agent: *
Allow: /

管理画面だけを除外する場合は次のようにします。

User-agent: *
Disallow: /admin/
Allow: /

Sitemap: https://example.com/sitemap.xml

AIクローラーを個別に制御する場合は、名前を指定して記述します。GPTBot のように用途別に分かれているものもあるため、公式情報の確認が欠かせません。

AIクローラーとのかかわり

AIサービスごとに専用のUser-Agentが公開されています。ブロックすると、そのAIの回答に自社情報が引用されにくくなります。集客や認知を目的とする場合は、許可しておくほうが有利に働くことが一般的です。

一方、「学習利用だけは避けたい」という場合は、Google-Extended のように用途を限定して制御できるものもあります。目的に応じて組み合わせてください。

よくある誤解

誤解：Disallowに書けばページの中身は読まれない

実際は：robots.txtは巡回の要請です。守られない可能性があるため、秘匿したい情報の保護には使えません。

誤解：一度ブロックすると検索結果から消える

実際は：既にインデックスされた内容は、別途 noindex などを指定しない限り残ることがあります。

誤解：書かなければ何も起きない

実際は：記載がない場合は許可とみなされます。方針があるなら明示すべきです。

FAQ（よくある質問）

Q. 間違えて書いてしまった場合は？

A. ファイルを書き換えれば変更できます。ただし各サービスへの反映には数日から数週間かかることがあります。

Q. WordPressではどこから編集しますか？

A. RankMath や Yoast SEO などのプラグインに編集欄があります。ファイルを直接置く方法でも構いません。

Q. 自分のサイトがブロックされているか確認できますか？

A. できます。主要なAIクローラーの許可状況をまとめて確認できる無料の診断ツールがあります。