クラウドサービス一覧(3種)
クラウドサービス に分類される AI クローラー・ボットは 3 種です。User-Agent 文字列・運営元・用途(学習用 / 検索引用 / エージェント)を一覧で確認でき、robots.txtrobots.txtクローラーに取得を許可する範囲を伝える、サイトのルートに置くテキストファイル。AI用語辞典で詳しく見る → で許可するかブロックするかの判断に使えます。
クラウド事業者の AI / データ処理サービス由来のエージェントです。 全体像は AIクローラー Bot ディレクトリ(全 254 種)からご覧ください。
3 件のボットを収録(運営元 3 社)。下の表は User-Agent の文字列そのままです。robots.txt に貼るときは引用符を付けずに記述してください。
| User-Agent | 運営元 | 用途 | 説明 |
|---|---|---|---|
Amazonbot | Amazon | 学習用 | Amazon が学習データの収集のためにページを取得します。ブロックすると Amazon の AI 回答に自社情報が載りにくくなります。 |
Google-CloudVertexBot | ― | Google が運用するクローラー/ボットです。robots.txt での許可状況を確認できます。 | |
AliyunSecBot | Alibaba Cloud | ― | Alibaba Cloud が運用するクローラー/ボットです。robots.txt での許可状況を確認できます。 |
robots.txt の記述例
このカテゴリの代表的な User-Agent をブロックする場合の書き方です。許可する場合は該当ブロックごと削除してください。判定は各社の公式ドキュメントで最新情報をご確認ください。
User-agent: Amazonbot Disallow: / User-agent: Google-CloudVertexBot Disallow: / User-agent: AliyunSecBot Disallow: /
他のカテゴリ
免責事項:本ツールの診断結果は参考情報であり、AIサービスでのコンテンツ収録を保証するものではありません。判定は取得時点の robots.txt 記述・HTTP レスポンス・HTML にもとづく機械的な推定であり、実際の動作は各サービスの仕様変更、WAF やレート制限、CDN の設定により異なる場合があります。
