Caution一次情報あり

Diffbot-User

基本情報

Diffbot が運営する AI クローラーです。LLM の学習データ収集、または AI 検索での回答生成のためにページ本文を取得します。通常の検索順位には影響しないため、AI 学習からのオプトアウト目的でのみブロックするのが一般的です。

robots.txt で指定するトークンは Diffbot-User です。マッチは大文字小文字を区別せず、サブドメインごとに robots.txt は個別に取得されます。

ブロック影響：低（SEO影響スコア 2/10）通常の検索順位には影響しません。AI 回答での引用・参照が減ります。

コピーボタンでそのまま貼り付けできます。robots.txt は自主的な取り決めのため、確実に止める場合はサーバー側の遮断を併用してください。

完全にブロック（robots.txt）

User-agent: Diffbot-User
Disallow: /

すべて許可（robots.txt）

User-agent: Diffbot-User
Allow: /

一部だけ許可（robots.txt）

User-agent: Diffbot-User
Disallow: /private/
Disallow: /api/
Disallow: /admin/
Allow: /

Nginx で遮断

# Nginx: Diffbot-User を遮断
if ($http_user_agent ~* "Diffbot-User") {
    return 403 "Bot blocked";
}

Apache(.htaccess) で遮断

# Apache: Diffbot-User を遮断
SetEnvIfNoCase User-Agent "Diffbot-User" bad_bot
Order Allow,Deny
Allow from all
Deny from env=bad_bot

meta robots タグ

<meta name="robots" content="noindex, nofollow">

X-Robots-Tag ヘッダー

X-Robots-Tag: noindex, nofollow

概ね安全ですが注意が必要です。Diffbot-User は Diffbot のボットで、一次情報（公式ドキュメント）での確認が十分ではありません。負荷や取得範囲をログで確認したうえで判断してください。

Diffbot-User の公式 User-Agent は？

Diffbot-User の robots.txt で指定するトークンは「Diffbot-User」です。マッチは大文字小文字を区別しません。サブドメインごとに robots.txt は個別に取得されるため、対象ドメインのルートに設置してください。

Diffbot-User をブロックすると SEO に影響しますか？

ブロック影響は「低」です。通常の検索順位には影響しません。AI 回答での引用・参照が減ります。

Diffbot-User は許可しても安全ですか？

Diffbot-User を確実に止めるには robots.txt だけで十分ですか？

robots.txt は自主的な取り決め（RFC 9309）で、従わないボットには効きません。確実に止めるには、Nginx / Apache での User-Agent 遮断や WAF、IP 制限を併用してください。本ページのコード例をそのまま使えます。

このBotが、あなたのサイトに来ているか確認するURL を入れるだけで、254 種のAIクローラーの許可状況とAEOスコアを数十秒で診断します。