Safe公式確認

FirecrawlAgent

基本情報

Firecrawl が運営する AI クローラーです。LLM の学習データ収集、または AI 検索での回答生成のためにページ本文を取得します。通常の検索順位には影響しないため、AI 学習からのオプトアウト目的でのみブロックするのが一般的です。

robots.txt で指定するトークンは FirecrawlAgent です。マッチは大文字小文字を区別せず、サブドメインごとに robots.txt は個別に取得されます。

ブロック影響：低（SEO影響スコア 2/10）通常の検索順位には影響しません。AI 回答での引用・参照が減ります。

コピーボタンでそのまま貼り付けできます。robots.txt は自主的な取り決めのため、確実に止める場合はサーバー側の遮断を併用してください。

完全にブロック（robots.txt）

User-agent: FirecrawlAgent
Disallow: /

すべて許可（robots.txt）

User-agent: FirecrawlAgent
Allow: /

一部だけ許可（robots.txt）

User-agent: FirecrawlAgent
Disallow: /private/
Disallow: /api/
Disallow: /admin/
Allow: /

Nginx で遮断

# Nginx: FirecrawlAgent を遮断
if ($http_user_agent ~* "FirecrawlAgent") {
    return 403 "Bot blocked";
}

Apache(.htaccess) で遮断

# Apache: FirecrawlAgent を遮断
SetEnvIfNoCase User-Agent "FirecrawlAgent" bad_bot
Order Allow,Deny
Allow from all
Deny from env=bad_bot

meta robots タグ

<meta name="robots" content="noindex, nofollow">

X-Robots-Tag ヘッダー

X-Robots-Tag: noindex, nofollow

はい。FirecrawlAgent は Firecrawl が運営する正規のボットで、robots.txt（RFC 9309）に従うことが確認されています。明確な理由（AI 学習からのオプトアウト等）がない限り、許可したままにすることをおすすめします。

FirecrawlAgent の公式 User-Agent は？

FirecrawlAgent の robots.txt で指定するトークンは「FirecrawlAgent」です。マッチは大文字小文字を区別しません。サブドメインごとに robots.txt は個別に取得されるため、対象ドメインのルートに設置してください。

FirecrawlAgent をブロックすると SEO に影響しますか？

ブロック影響は「低」です。通常の検索順位には影響しません。AI 回答での引用・参照が減ります。

FirecrawlAgent は許可しても安全ですか？

FirecrawlAgent を確実に止めるには robots.txt だけで十分ですか？

robots.txt は自主的な取り決め（RFC 9309）で、従わないボットには効きません。確実に止めるには、Nginx / Apache での User-Agent 遮断や WAF、IP 制限を併用してください。本ページのコード例をそのまま使えます。

このBotが、あなたのサイトに来ているか確認するURL を入れるだけで、254 種のAIクローラーの許可状況とAEOスコアを数十秒で診断します。