SEOツール一覧（19種）
SEOツール に分類される AI クローラー・ボットは 19 種です。User-Agent 文字列・運営元・用途（学習用 / 検索引用 / エージェント）を一覧で確認でき、robots.txtrobots.txtクローラーに取得を許可する範囲を伝える、サイトのルートに置くテキストファイル。AI用語辞典で詳しく見る → で許可するかブロックするかの判断に使えます。
SEO ツールのクローラーです。順位計測や被リンク調査に使われます。 全体像は AIクローラー Bot ディレクトリ（全 254 種）からご覧ください。
19 件のボットを収録（運営元 12 社）。下の表は User-Agent の文字列そのままです。robots.txt に貼るときは引用符を付けずに記述してください。
| User-Agent | 運営元 | 用途 | 説明 |
|---|---|---|---|
Screaming Frog SEO Spider | Screaming Frog | 学習用 | Screaming Frog が学習データの収集のためにページを取得します。ブロックすると Screaming Frog の AI 回答に自社情報が載りにくくなります。 |
Sidetrade Indexer Bot | Sidetrade | 検索引用 | Sidetrade が AI 検索の回答にページを引用するために取得します。ブロックすると AI 経由の流入機会が減ります。 |
AhrefsBot | Ahrefs | ― | Ahrefs が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
AhrefsSiteAudit | Ahrefs | ― | Ahrefs が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
AwarioBot | Awario | ― | Awario が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
AwarioRssBot | Awario | ― | Awario が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
AwarioSmartBot | Awario | ― | Awario が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
Chrome-Lighthouse | ― | Google が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 | |
DataForSeoBot | DataForSEO | ― | DataForSEO が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
DotBot | Moz | ― | Moz が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
MJ12bot | Majestic | ― | Majestic が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
NeticleBot | Neticle | ― | Neticle が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
Netvibes | Dassault Systemes (Netvibes) | ― | Dassault Systemes (Netvibes) が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
Rogerbot | Moz | ― | Moz が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
SemrushBot | Semrush | ― | Semrush が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
SemrushBot-OCOB | Semrush | ― | Semrush が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
SemrushBot-SWA | Semrush | ― | Semrush が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
YandexMetrika | Yandex | ― | Yandex が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
YandexTracker | Yandex | ― | Yandex が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
robots.txt の記述例
このカテゴリの代表的な User-Agent をブロックする場合の書き方です。許可する場合は該当ブロックごと削除してください。判定は各社の公式ドキュメントで最新情報をご確認ください。
User-agent: Screaming Frog SEO Spider Disallow: / User-agent: Sidetrade Indexer Bot Disallow: / User-agent: AhrefsBot Disallow: / User-agent: AhrefsSiteAudit Disallow: / User-agent: AwarioBot Disallow: /
他のカテゴリ
免責事項：本ツールの診断結果は参考情報であり、AIサービスでのコンテンツ収録を保証するものではありません。判定は取得時点の robots.txt 記述・HTTP レスポンス・HTML にもとづく機械的な推定であり、実際の動作は各サービスの仕様変更、WAF やレート制限、CDN の設定により異なる場合があります。