Meta-ExternalAgentとは？AI学習・検索用クローラーと制御方法

アクセスログに「Meta-ExternalAgent」というUAを見つけたとき、それが何者か分からないまま許可・拒否を決めていませんか。Metaが運営するAI学習・検索用クローラーで、Meta AIのモデル改善と回答生成ためにサイトを巡回しています。本記事では、判断に必要な情報を一通り確認できるようにまとめました。

基本情報

項目	内容
運営事業者	Meta
User-Agent	Meta-ExternalAgent
分類	AI学習・検索用クローラー
主な目的	Meta AIのモデル改善と回答生成
推奨される扱い	Meta AI経由の参照を狙うなら許可。学習利用を避けるなら拒否します。

Meta-ExternalAgentはMeta AIのモデル改善と回答生成の一環として位置づけられており、同社の他のボットとは目的が異なります。同じ運営者のボットでも、学習用・検索用・エージェント用で扱いを分ける必要がある点に注意してください。

Meta-ExternalAgentは何をするボットか

• FacebookBotより新しい世代のUA
• Meta AIの回答品質に使われる
• 拒否してもSNS表示には影響しない

学習目的の取得は、検索順位のような直接的な効果を持ちません。しかし中長期的には、モデルがどの情報を「知っているか」に影響します。ブランド名や製品名が学習データに含まれるかどうかは、将来のAI回答での言及可能性に差を生みます。

アクセスの見分け方

User-Agentは Meta-ExternalAgent です。サーバーログでUAを検索すれば、取得頻度・対象URL・応答コードを確認できます。ただしUAは誰でも名乗れるため、本物かどうかの確認は次の3ステップで行います。

1. IPアドレスを逆引き（PTR）し、運営者の公式ドメインに解決するか確認する
2. 逆引きで得たホスト名を正引きし、元のIPに戻るか検証する（フォワード確認）
3. 運営者が公開しているIPレンジと照合する

この3つが揃わない場合、UAだけを偽った別のプログラムである可能性が高くなります。アクセス頻度が不自然に高い、拒否したパスを繰り返し取得する、といった兆候も合わせて確認してください。

ログでの見え方

実際のアクセスログでは、次のような形で記録されます。UAとIP、取得したパスをセットで見ることで、目的のある巡回かどうかを判断できます。

203.0.113.24 - - [19/Oct/2026:10:12:41 +0900] "GET /ai-tools/ HTTP/1.1" 200 48213 "-" "Meta-ExternalAgent"
203.0.113.24 - - [19/Oct/2026:10:12:43 +0900] "GET /ai-tools/qwen/ HTTP/1.1" 200 39102 "-" "Meta-ExternalAgent"

短時間に同一IPから連続してアクセスしている場合は、一覧ページから詳細ページへ順に取得している可能性があります。逆に、IPがばらばらでUAだけが同じ場合は、分散アクセスやUA偽装を疑ってください。

許可・拒否の判断

Meta AI経由の参照を狙うなら許可。学習利用を避けるなら拒否します。

• 許可を検討するケース：学習利用を許容し、ブランド露出の拡大を重視する場合
• 拒否を検討するケース：学習データとしての二次利用を避けたい場合

判断はサイト全体で統一してください。トップページは許可、ブログは拒否といった不揃いな設定は、意図しない情報の取得につながります。判断に迷う場合は「学習・検索・エージェント」の3分類に戻ると整理しやすくなります。

robots.txtでの制御方法

全拒否する場合は次の1行を追加します。特定のディレクトリだけを止める場合は、パスを限定した書き方を使います。

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /private/
Allow: /

ただしrobots.txtは「お願い」であり、強制力はありません。確実に止めたい場合は、CDNやWAFでのIP制御を併用してください。変更後は次の順で確認します。

1. robots.txtバリデーターで対象URLの判定を行番号つきで確認する
2. CDN・WAF側にUAやIP単位の設定が残っていないか確認する
3. 1〜2週間ログを観察し、取得の変化を確認する

設定後の検証手順

設定は「書いたら終わり」ではありません。反映されているかを確認するまでが作業です。次の3ステップで検証してください。

1. 公開URLのrobots.txtを取得し、意図した行が含まれているか確認する
2. robots.txtバリデーターで対象URLとUAを指定し、許可・拒否の判定を確認する
3. 翌日と1週間後にログを確認し、取得回数の変化を見る

同社の他のボットとの関係

同じ事業者が複数のボットを運用している場合、UAごとに目的が異なります。1つのUAだけを拒否しても、別のUAで取得が続くことがあるため、運営者単位で一覧化して整理することをおすすめします。AIクローラー図鑑では、運営者別にボットを確認できます。

レート制限とセキュリティ

robots.txtを尊重しない実装や、UAを偽装したアクセスに備え、サーバー側の制御も合わせて設計してください。特にアクセス量の多いボットは、負荷対策としてレート制限を併用するのが実務的です。

• IP単位のリクエスト数制限を設定する
• UAとIPレンジの組み合わせで正当性を検証する
• 拒否したパスへのアクセスが続く場合はWAFで遮断する

エージェント時代の位置づけ

クローラーはページを「読む」存在ですが、AIエージェントは「操作する」存在です。Meta-ExternalAgentのようなクローラーの制御と、エージェントの制御は別物として設計する必要があります。今後はフォームやカートの作り方そのものが、AI経由の成果を左右します。

他のAIボットとの比較

AIボットは目的ごとに扱いが異なります。同じ「AI系」でも、学習・検索・エージェントでは制御の考え方が変わります。自社の方針を決めるときは、次の違いを踏まえてください。

分類	代表例	robots.txt	主な影響
学習	GPTBot・CCBot	効く	将来のモデル出力での言及
検索	OAI-SearchBot・PerplexityBot	効く	AI回答での引用・参照流入
エージェント	Grok Bot・Google-Agent	効かない	予約・購入などの操作

社内で決めておくこと

担当者が変わっても判断がぶれないよう、次の3点を文書化しておいてください。

• 学習・検索・エージェントの3分類ごとの方針
• 遮断する場合の承認者と理由
• 四半期ごとの見直し時期と確認項目

よくある誤解

Q. 拒否すると検索結果にも出なくなりますか
A. いいえ。学習用と検索用はUAが分かれているため、学習用だけを拒否すれば検索での参照は維持できます。

Q. 過去に取得されたデータを削除できますか
A. 基本的にはできません。方針は「これからの取得」に対して効くものと考えてください。

Q. 一部のページだけ学習させたい場合は
A. ディレクトリ単位でDisallowを分け、公開情報だけを許可する設計が可能です。

Q. 拒否したことで不利益はありますか
A. 直接的なSEOへの影響はありませんが、将来のモデル出力で言及されにくくなる可能性はあります。

運用のポイント

AIクローラーは四半期ごとに新しいUAが追加されます。既知のリストだけに頼らず、月次でログの未知UAを確認する運用にしてください。取得量の変化はGrokログ解析で確認でき、急減していればWAFかrobots.txtの変更が影響している可能性が高いです。

• 取得回数の急増・急減を前月比で確認する
• 未知のUAが現れていないか確認する
• 拒否したパスへのアクセス試行がないか確認する

チェックリスト

• ☐ UAと運営者を確認した
• ☐ ログで取得頻度と対象URLを確認した
• ☐ 許可・拒否の方針を決めた
• ☐ robots.txtに反映し、判定を検証した
• ☐ 変更理由と日付を記録した

まとめ

Meta-ExternalAgentの対応は「目的を知る → ログで実態を測る → 許可・拒否を決める → 検証する」の順で進めれば迷いません。ボット全体の方針づくりはAIクローラー図鑑で、個別の判定はrobots.txtバリデーターで確認してください。