スクレイパー一覧（39種）
スクレイパー に分類される AI クローラー・ボットは 39 種です。User-Agent 文字列・運営元・用途（学習用 / 検索引用 / エージェント）を一覧で確認でき、robots.txtrobots.txtクローラーに取得を許可する範囲を伝える、サイトのルートに置くテキストファイル。AI用語辞典で詳しく見る → で許可するかブロックするかの判断に使えます。
スクレイピング / データ収集系のボットです。方針はサイト側の判断によります。 全体像は AIクローラー Bot ディレクトリ（全 254 種）からご覧ください。
39 件のボットを収録（運営元 31 社）。下の表は User-Agent の文字列そのままです。robots.txt に貼るときは引用符を付けずに記述してください。
| User-Agent | 運営元 | 用途 | 説明 |
|---|---|---|---|
Bytespider | ByteDance | 学習用 | ByteDance が学習データの収集のためにページを取得します。ブロックすると ByteDance の AI 回答に自社情報が載りにくくなります。 |
TikTokSpider | ByteDance | 学習用 | ByteDance が学習データの収集のためにページを取得します。ブロックすると ByteDance の AI 回答に自社情報が載りにくくなります。 |
CCBot | Common Crawl | 学習用 | Common Crawl が学習データの収集のためにページを取得します。ブロックすると Common Crawl の AI 回答に自社情報が載りにくくなります。 |
Crawl4AI | Unknown | 学習用 | Unknown が学習データの収集のためにページを取得します。ブロックすると Unknown の AI 回答に自社情報が載りにくくなります。 |
crawler4j | Unknown | 学習用 | Unknown が学習データの収集のためにページを取得します。ブロックすると Unknown の AI 回答に自社情報が載りにくくなります。 |
Crawlspace | Crawlspace | 学習用 | Crawlspace が学習データの収集のためにページを取得します。ブロックすると Crawlspace の AI 回答に自社情報が載りにくくなります。 |
Diffbot | Diffbot | 学習用 | Diffbot が学習データの収集のためにページを取得します。ブロックすると Diffbot の AI 回答に自社情報が載りにくくなります。 |
FriendlyCrawler | FriendlyCrawler | 学習用 | FriendlyCrawler が学習データの収集のためにページを取得します。ブロックすると FriendlyCrawler の AI 回答に自社情報が載りにくくなります。 |
ICC-Crawler | ICC | 学習用 | ICC が学習データの収集のためにページを取得します。ブロックすると ICC の AI 回答に自社情報が載りにくくなります。 |
ISSCyberRiskCrawler | ISS | 学習用 | ISS が学習データの収集のためにページを取得します。ブロックすると ISS の AI 回答に自社情報が載りにくくなります。 |
magpie-crawler | Brandwatch | 学習用 | Brandwatch が学習データの収集のためにページを取得します。ブロックすると Brandwatch の AI 回答に自社情報が載りにくくなります。 |
netEstate Imprint Crawler | netEstate | 学習用 | netEstate が学習データの収集のためにページを取得します。ブロックすると netEstate の AI 回答に自社情報が載りにくくなります。 |
VelenPublicWebCrawler | Velen | 学習用 | Velen が学習データの収集のためにページを取得します。ブロックすると Velen の AI 回答に自社情報が載りにくくなります。 |
Poseidon Research Crawler | Poseidon Research | 検索引用 | Poseidon Research が AI 検索の回答にページを引用するために取得します。ブロックすると AI 経由の流入機会が減ります。 |
Amazon Kendra | Amazon | ― | Amazon が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
ApifyBot | Apify | ― | Apify が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
Barkrowler | Babbar | ― | Babbar が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
BLEXBot | WebMeUp | ― | WebMeUp が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
Brightbot | Bright Data | ― | Bright Data が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
coccocbot-web | Unknown | ― | Unknown が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
Cotoyogi | ROIS-DS | ― | ROIS-DS が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
Echobot Bot | Dealfront | ― | Dealfront が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
EchoboxBot | Echobox | ― | Echobox が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
Factset_spyderbot | FactSet | ― | FactSet が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
ImagesiftBot | Hive | ― | Hive が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
imgproxy | Open Source | ― | Open Source が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
Kangaroo Bot | Kangaroo | ― | Kangaroo が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
MauiBot | MauiBot | ― | MauiBot が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
news-please | Open Source | ― | Open Source が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
omgili | Unknown | ― | Unknown が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
omgilibot | Unknown | ― | Unknown が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
Panscient | Panscient | ― | Panscient が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
QualifiedBot | Qualified | ― | Qualified が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
Scrapy | Unknown | ― | Unknown が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
SeekportBot | Seekport | ― | Seekport が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
Timpibot | Timpi | ― | Timpi が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
Webzio-Extended | Webz.io | ― | Webz.io が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
yacy | YaCy Community | ― | YaCy Community が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
yacybot | YaCy Community | ― | YaCy Community が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
robots.txt の記述例
このカテゴリの代表的な User-Agent をブロックする場合の書き方です。許可する場合は該当ブロックごと削除してください。判定は各社の公式ドキュメントで最新情報をご確認ください。
User-agent: Bytespider Disallow: / User-agent: TikTokSpider Disallow: / User-agent: CCBot Disallow: / User-agent: Crawl4AI Disallow: / User-agent: crawler4j Disallow: /
他のカテゴリ
免責事項：本ツールの診断結果は参考情報であり、AIサービスでのコンテンツ収録を保証するものではありません。判定は取得時点の robots.txt 記述・HTTP レスポンス・HTML にもとづく機械的な推定であり、実際の動作は各サービスの仕様変更、WAF やレート制限、CDN の設定により異なる場合があります。