AIクローラー Bot ディレクトリ
254 種を収録
AI クローラー 254 種をカテゴリ・用途から引けるディレクトリです
GPTBot や ClaudeBot だけでなく、AzureAI-SearchBot や SBIntuitions-SearchBot など、 実際にアクセスしてくる 254 種のボットを 8 カテゴリに分類して掲載しています。 「学習用」「検索引用」「エージェント」のラベルで、robots.txt で許可すべきかの判断材料になります。
🔍ボットを探す
—
📖用途ラベルの意味
- 学習用モデルの学習データを収集するためにページを取得します。ブロックしても従来の検索順位には影響しませんが、その AI の回答に自社情報が反映されにくくなります。
- 検索引用AI 検索の回答にページを引用するために取得します。ブロックすると AI 経由の流入機会が減るため、基本的には許可が推奨されます。
- エージェントユーザーの指示を受けてページを開くタイプです。ユーザー単位のアクセスなので、通常のクローラーとは扱いが異なります。
ラベルは本ツールの分類です。 各社が公式に「このボットは学習用です」と明示しているわけではなく、公開情報とユーザーエージェント名にもとづく分類です。 正確な用途は各社のドキュメントをご確認ください。
⭐主要ボットの解説
- GPTBot学習用OpenAI がモデルの学習データ収集に使うクローラーです。ブロックしても ChatGPT の既存知識には影響しませんが、今後の学習に自社情報が含まれなくなります。
- OAI-SearchBot検索引用ChatGPT の検索機能でページを引用するために使われます。ブロックすると ChatGPT の回答に自社ページが引用されなくなります。
- ChatGPT-User検索引用ユーザーが ChatGPT から URL を開いたときにアクセスします。ブロックするとユーザーが内容を読めなくなります。
- ClaudeBot学習用Anthropic の学習用クローラーです。
- Google-Extended学習用Gemini などの学習・改善に使われる指定です。ブロックしても Google 検索の順位や AI Overviews の表示には影響しません。
- PerplexityBot検索引用Perplexity AI の回答にページを引用するために取得します。
- Applebot-Extended学習用Apple の AI 機能の学習に使われる指定です。Siri や Spotlight の検索結果とは別扱いです。
各ボットの詳細はリンクがある場合 AI用語辞典 で解説しています。