Screaming Frog SEO Spider
基本情報
| User-Agent | Screaming Frog SEO Spider |
|---|---|
| カテゴリ | SEOツール |
| 運営事業者 | Screaming Frog |
| Safety | Caution 注意 |
| ブロック影響 | 低 |
| SEO影響スコア | 2 / 10 |
| 根拠 | 一次情報あり公開情報・仕様書で確認 |
| 最終確認日 | 2026-10-18 |
| 追加日 | — |
Screaming Frog SEO Spider とは
Screaming Frog の SEO ツールが、被リンク調査・サイト構造の分析のために巡回するクローラーです。順位には影響しませんが、アクセスログが増える原因になります。
robots.txt で指定するトークンは Screaming Frog SEO Spider です。マッチは大文字小文字を区別せず、サブドメインごとに robots.txt は個別に取得されます。
Screaming Frog SEO Spider をブロックするとどうなるか
robots.txt / サーバー設定のコード例
コピーボタンでそのまま貼り付けできます。robots.txt は自主的な取り決めのため、確実に止める場合はサーバー側の遮断を併用してください。
User-agent: Screaming Frog SEO Spider
Disallow: /User-agent: Screaming Frog SEO Spider
Allow: /User-agent: Screaming Frog SEO Spider
Disallow: /private/
Disallow: /api/
Disallow: /admin/
Allow: /# Nginx: Screaming Frog SEO Spider を遮断
if ($http_user_agent ~* "Screaming Frog SEO Spider") {
return 403 "Bot blocked";
}# Apache: Screaming Frog SEO Spider を遮断
SetEnvIfNoCase User-Agent "Screaming Frog SEO Spider" bad_bot
Order Allow,Deny
Allow from all
Deny from env=bad_bot<meta name="robots" content="noindex, nofollow">X-Robots-Tag: noindex, nofollowScreaming Frog SEO Spider は許可しても安全？
概ね安全ですが注意が必要です。Screaming Frog SEO Spider は Screaming Frog のボットで、一次情報（公式ドキュメント）での確認が十分ではありません。負荷や取得範囲をログで確認したうえで判断してください。
主な用途
- 被リンク・参照元の調査
- サイト構造・内部リンクの解析
- 競合サイトの計測
- アクセスログが増えるが順位への影響はない
よくある質問
Screaming Frog SEO Spider の公式 User-Agent は？
Screaming Frog SEO Spider の robots.txt で指定するトークンは「Screaming Frog SEO Spider」です。マッチは大文字小文字を区別しません。サブドメインごとに robots.txt は個別に取得されるため、対象ドメインのルートに設置してください。
Screaming Frog SEO Spider をブロックすると SEO に影響しますか？
ブロック影響は「低」です。順位には影響しません。被リンク調査などの計測データが欠けます。
Screaming Frog SEO Spider は許可しても安全ですか？
概ね安全ですが注意が必要です。Screaming Frog SEO Spider は Screaming Frog のボットで、一次情報（公式ドキュメント）での確認が十分ではありません。負荷や取得範囲をログで確認したうえで判断してください。
Screaming Frog SEO Spider を確実に止めるには robots.txt だけで十分ですか？
robots.txt は自主的な取り決め（RFC 9309）で、従わないボットには効きません。確実に止めるには、Nginx / Apache での User-Agent 遮断や WAF、IP 制限を併用してください。本ページのコード例をそのまま使えます。