運営:Open Source
| User-Agent | news-please |
|---|---|
| カテゴリ | スクレイパー |
| 運営事業者 | Open Source |
| Safety | Aggressive 要警戒 |
| ブロック影響 | なし |
| SEO影響スコア | 1 / 10 |
| 根拠 | 一次情報あり公開情報・仕様書で確認 |
| 最終確認日 | 2026-10-18 |
| 追加日 | — |
汎用的なスクレイピングツール、または自動収集プログラムの User-Agent です。正規の検索・AI クローラーではないため、robots.txt での拒否とサーバー側での遮断を検討してください。
robots.txt で指定するトークンは news-please です。マッチは大文字小文字を区別せず、サブドメインごとに robots.txt は個別に取得されます。
コピーボタンでそのまま貼り付けできます。robots.txt は自主的な取り決めのため、確実に止める場合はサーバー側の遮断を併用してください。
User-agent: news-please
Disallow: /User-agent: news-please
Allow: /User-agent: news-please
Disallow: /private/
Disallow: /api/
Disallow: /admin/
Allow: /# Nginx: news-please を遮断
if ($http_user_agent ~* "news-please") {
return 403 "Bot blocked";
}# Apache: news-please を遮断
SetEnvIfNoCase User-Agent "news-please" bad_bot
Order Allow,Deny
Allow from all
Deny from env=bad_bot<meta name="robots" content="noindex, nofollow">X-Robots-Tag: noindex, nofollow注意してください。news-please は汎用の収集ツール/正規クローラーではない可能性がある User-Agent です。robots.txt での拒否に加え、サーバー側(Nginx / Apache / WAF)での遮断を検討してください。
news-please の robots.txt で指定するトークンは「news-please」です。マッチは大文字小文字を区別しません。サブドメインごとに robots.txt は個別に取得されるため、対象ドメインのルートに設置してください。
ブロック影響は「なし」です。検索順位への影響はありません。帯域と負荷の観点でブロックが推奨されます。
注意してください。news-please は汎用の収集ツール/正規クローラーではない可能性がある User-Agent です。robots.txt での拒否に加え、サーバー側(Nginx / Apache / WAF)での遮断を検討してください。
robots.txt は自主的な取り決め(RFC 9309)で、従わないボットには効きません。確実に止めるには、Nginx / Apache での User-Agent 遮断や WAF、IP 制限を併用してください。本ページのコード例をそのまま使えます。