Claude-Userとは？ユーザー起点の取得クローラーと制御方法

Claude-UserはAnthropicが運営するユーザー起点の取得クローラーです。Claudeの利用者が指定したURLの内容取得ことを目的としており、サイト運営者にとっては「誰が何のために取得しているか」を把握したうえで、許可・拒否を判断する対象になります。本記事では基本情報から、ログでの見分け方、robots.txtでの制御方法、運用時の注意点までを順に整理します。

基本情報

項目	内容
運営事業者	Anthropic
User-Agent	Claude-User
分類	ユーザー起点の取得クローラー
主な目的	Claudeの利用者が指定したURLの内容取得
推奨される扱い	Claude経由の参照を歓迎するなら許可。学習は止めたいが参照は許したい、という切り分けが可能です。

Claude-UserはClaudeの利用者が指定したURLの内容取得の一環として位置づけられており、同社の他のボットとは目的が異なります。同じ運営者のボットでも、学習用・検索用・エージェント用で扱いを分ける必要がある点に注意してください。

Claude-Userは何をするボットか

• ClaudeBot（学習用）とは別のUA
• 利用者の明示的な操作で発生する取得
• 拒否するとClaude上でのページ参照ができなくなる

ユーザー起点の取得は、利用者がAIにURLを渡したときに発生します。アクセス数は少なくても1件あたりの意味は大きく、そのまま購買や問い合わせにつながる可能性があります。参照されたいサイトでは許可が基本です。

アクセスの見分け方

User-Agentは Claude-User です。サーバーログでUAを検索すれば、取得頻度・対象URL・応答コードを確認できます。ただしUAは誰でも名乗れるため、本物かどうかの確認は次の3ステップで行います。

1. IPアドレスを逆引き（PTR）し、運営者の公式ドメインに解決するか確認する
2. 逆引きで得たホスト名を正引きし、元のIPに戻るか検証する（フォワード確認）
3. 運営者が公開しているIPレンジと照合する

この3つが揃わない場合、UAだけを偽った別のプログラムである可能性が高くなります。アクセス頻度が不自然に高い、拒否したパスを繰り返し取得する、といった兆候も合わせて確認してください。

ログでの見え方

実際のアクセスログでは、次のような形で記録されます。UAとIP、取得したパスをセットで見ることで、目的のある巡回かどうかを判断できます。

203.0.113.24 - - [19/Oct/2026:10:12:41 +0900] "GET /ai-tools/ HTTP/1.1" 200 48213 "-" "Claude-User"
203.0.113.24 - - [19/Oct/2026:10:12:43 +0900] "GET /ai-tools/qwen/ HTTP/1.1" 200 39102 "-" "Claude-User"

短時間に同一IPから連続してアクセスしている場合は、一覧ページから詳細ページへ順に取得している可能性があります。逆に、IPがばらばらでUAだけが同じ場合は、分散アクセスやUA偽装を疑ってください。

許可・拒否の判断

Claude経由の参照を歓迎するなら許可。学習は止めたいが参照は許したい、という切り分けが可能です。

• 許可を検討するケース：AI経由でのページ参照・シェアを歓迎する場合
• 拒否を検討するケース：参照トラフィックをコントロールしたい場合

判断はサイト全体で統一してください。トップページは許可、ブログは拒否といった不揃いな設定は、意図しない情報の取得につながります。判断に迷う場合は「学習・検索・エージェント」の3分類に戻ると整理しやすくなります。

robots.txtでの制御方法

全拒否する場合は次の1行を追加します。特定のディレクトリだけを止める場合は、パスを限定した書き方を使います。

User-agent: Claude-User
Disallow: /

User-agent: Claude-User
Disallow: /private/
Allow: /

ただしrobots.txtは「お願い」であり、強制力はありません。確実に止めたい場合は、CDNやWAFでのIP制御を併用してください。変更後は次の順で確認します。

1. robots.txtバリデーターで対象URLの判定を行番号つきで確認する
2. CDN・WAF側にUAやIP単位の設定が残っていないか確認する
3. 1〜2週間ログを観察し、取得の変化を確認する

設定後の検証手順

設定は「書いたら終わり」ではありません。反映されているかを確認するまでが作業です。次の3ステップで検証してください。

1. 公開URLのrobots.txtを取得し、意図した行が含まれているか確認する
2. robots.txtバリデーターで対象URLとUAを指定し、許可・拒否の判定を確認する
3. 翌日と1週間後にログを確認し、取得回数の変化を見る

同社の他のボットとの関係

同じ事業者が複数のボットを運用している場合、UAごとに目的が異なります。1つのUAだけを拒否しても、別のUAで取得が続くことがあるため、運営者単位で一覧化して整理することをおすすめします。AIクローラー図鑑では、運営者別にボットを確認できます。

レート制限とセキュリティ

robots.txtを尊重しない実装や、UAを偽装したアクセスに備え、サーバー側の制御も合わせて設計してください。特にアクセス量の多いボットは、負荷対策としてレート制限を併用するのが実務的です。

• IP単位のリクエスト数制限を設定する
• UAとIPレンジの組み合わせで正当性を検証する
• 拒否したパスへのアクセスが続く場合はWAFで遮断する

エージェント時代の位置づけ

クローラーはページを「読む」存在ですが、AIエージェントは「操作する」存在です。Claude-Userのようなクローラーの制御と、エージェントの制御は別物として設計する必要があります。今後はフォームやカートの作り方そのものが、AI経由の成果を左右します。

他のAIボットとの比較

AIボットは目的ごとに扱いが異なります。同じ「AI系」でも、学習・検索・エージェントでは制御の考え方が変わります。自社の方針を決めるときは、次の違いを踏まえてください。

分類	代表例	robots.txt	主な影響
学習	GPTBot・CCBot	効く	将来のモデル出力での言及
検索	OAI-SearchBot・PerplexityBot	効く	AI回答での引用・参照流入
エージェント	Grok Bot・Google-Agent	効かない	予約・購入などの操作

社内で決めておくこと

担当者が変わっても判断がぶれないよう、次の3点を文書化しておいてください。

• 学習・検索・エージェントの3分類ごとの方針
• 遮断する場合の承認者と理由
• 四半期ごとの見直し時期と確認項目

よくある誤解

Q. アクセスが来ないのは問題ですか
A. 利用者の操作が起点のため、来ないこと自体は正常です。来たときに正しく応答できる準備が重要です。

Q. 頻度が高すぎるときは
A. レート制限で間隔を調整しつつ、正規のアクセスは通す設定にします。

Q. 参照されたい場合は
A. 本文をHTMLで出力し、見出し構造と結論を明確にしておくことが前提になります。

Q. 学習とは何が違うのですか
A. 学習はモデルへの取り込み、ユーザー起点はその場の参照です。目的も制御方法も異なります。

運用のポイント

AIクローラーは四半期ごとに新しいUAが追加されます。既知のリストだけに頼らず、月次でログの未知UAを確認する運用にしてください。取得量の変化はGrokログ解析で確認でき、急減していればWAFかrobots.txtの変更が影響している可能性が高いです。

• 取得回数の急増・急減を前月比で確認する
• 未知のUAが現れていないか確認する
• 拒否したパスへのアクセス試行がないか確認する

チェックリスト

• ☐ UAと運営者を確認した
• ☐ ログで取得頻度と対象URLを確認した
• ☐ 許可・拒否の方針を決めた
• ☐ robots.txtに反映し、判定を検証した
• ☐ 変更理由と日付を記録した

まとめ

Claude-Userの対応は「目的を知る → ログで実態を測る → 許可・拒否を決める → 検証する」の順で進めれば迷いません。ボット全体の方針づくりはAIクローラー図鑑で、個別の判定はrobots.txtバリデーターで確認してください。