GPTBotとは？OpenAIの学習クローラーの役割

GPTBotは、OpenAIがモデル学習のためにWebページを取得するクローラーです。検索用のOAI-SearchBot、利用者起点のChatGPT-Userとは役割が分かれており、まとめて拒否すると検索経由の参照まで失います。

基本情報

GPTBotの役割

• モデル改善のための継続的なデータ収集
• 検索用のOAI-SearchBotとは別のUA
• 拒否してもChatGPT検索の参照は維持できる

学習用クローラーは一度取得したデータをモデルに組み込むため、後から取り消すことはできません。方針は早めに決めておくことが重要です。

見分け方

UAは GPTBot。OpenAIは公式のIPレンジを公開しているため、UAとIPの両方で正規のアクセスかを確認できます。

robots.txtの書き方

User-agent: GPTBot
Disallow: /

学習だけを止め、検索には出たい場合は、GPTBotのみを拒否し、OAI-SearchBotとChatGPT-Userは許可します。設定後はrobots.txtバリデーターで判定を確認してください。

まとめ

GPTBotは学習専用と割り切り、検索用UAとは別管理にするのが基本です。ボット全体の方針はAIクローラー図鑑で整理できます。