AIクローラー約2分で読めます公開：2026年8月18日更新：2026年10月19日
GPTBotは、OpenAIがモデル学習のためにWebページを取得するクローラーです。検索用のOAI-SearchBot、利用者起点のChatGPT-Userとは役割が分かれており、まとめて拒否すると検索経由の参照まで失います。
この記事の要点
- GPTBotはモデル学習専用のUA
- 検索用のOAI-SearchBotとは別管理
- 学習だけ拒否し、検索は許可できる
基本情報
| 項目 | 内容 |
|---|---|
| 運営 | OpenAI |
| User-Agent | GPTBot |
| 分類 | 学習用クローラー |
| 主な目的 | モデル改善のためのデータ収集 |
GPTBotの役割
- モデル改善のための継続的なデータ収集
- 検索用のOAI-SearchBotとは別のUA
- 拒否してもChatGPT検索の参照は維持できる
学習用クローラーは一度取得したデータをモデルに組み込むため、後から取り消すことはできません。方針は早めに決めておくことが重要です。
見分け方
UAは GPTBot。OpenAIは公式のIPレンジを公開しているため、UAとIPの両方で正規のアクセスかを確認できます。
robots.txtの書き方
User-agent: GPTBot Disallow: /
学習だけを止め、検索には出たい場合は、GPTBotのみを拒否し、OAI-SearchBotとChatGPT-Userは許可します。設定後はrobots.txtバリデーターで判定を確認してください。
まとめ
GPTBotは学習専用と割り切り、検索用UAとは別管理にするのが基本です。ボット全体の方針はAIクローラー図鑑で整理できます。
メールマガジン
最新のAI情報をメールで受け取る
新着のAIツール比較・ランキング・ニュースを、まとめてお届けします。
ご登録後、確認メールをお送りします。配信停止はいつでも可能です。