Caution推定

Arquivo-web-crawler

基本情報

Arquivo.pt が運営する目的の限られたボット、または運営元が特定しづらいエージェントです。実際の挙動はアクセスログで確認することをおすすめします。

robots.txt で指定するトークンは Arquivo-web-crawler です。マッチは大文字小文字を区別せず、サブドメインごとに robots.txt は個別に取得されます。

ブロック影響：低（SEO影響スコア 3/10）影響は限定的です。ログを見て実際の挙動を確認してください。

コピーボタンでそのまま貼り付けできます。robots.txt は自主的な取り決めのため、確実に止める場合はサーバー側の遮断を併用してください。

完全にブロック（robots.txt）

User-agent: Arquivo-web-crawler
Disallow: /

すべて許可（robots.txt）

User-agent: Arquivo-web-crawler
Allow: /

一部だけ許可（robots.txt）

User-agent: Arquivo-web-crawler
Disallow: /private/
Disallow: /api/
Disallow: /admin/
Allow: /

Nginx で遮断

# Nginx: Arquivo-web-crawler を遮断
if ($http_user_agent ~* "Arquivo-web-crawler") {
    return 403 "Bot blocked";
}

Apache(.htaccess) で遮断

# Apache: Arquivo-web-crawler を遮断
SetEnvIfNoCase User-Agent "Arquivo-web-crawler" bad_bot
Order Allow,Deny
Allow from all
Deny from env=bad_bot

meta robots タグ

<meta name="robots" content="noindex, nofollow">

X-Robots-Tag ヘッダー

X-Robots-Tag: noindex, nofollow

概ね安全ですが注意が必要です。Arquivo-web-crawler は Arquivo.pt のボットで、一次情報（公式ドキュメント）での確認が十分ではありません。負荷や取得範囲をログで確認したうえで判断してください。

Arquivo-web-crawler の公式 User-Agent は？

Arquivo-web-crawler の robots.txt で指定するトークンは「Arquivo-web-crawler」です。マッチは大文字小文字を区別しません。サブドメインごとに robots.txt は個別に取得されるため、対象ドメインのルートに設置してください。

Arquivo-web-crawler をブロックすると SEO に影響しますか？

ブロック影響は「低」です。影響は限定的です。ログを見て実際の挙動を確認してください。

Arquivo-web-crawler は許可しても安全ですか？

Arquivo-web-crawler を確実に止めるには robots.txt だけで十分ですか？

robots.txt は自主的な取り決め（RFC 9309）で、従わないボットには効きません。確実に止めるには、Nginx / Apache での User-Agent 遮断や WAF、IP 制限を併用してください。本ページのコード例をそのまま使えます。

このBotが、あなたのサイトに来ているか確認するURL を入れるだけで、254 種のAIクローラーの許可状況とAEOスコアを数十秒で診断します。