254種のAIクローラーAIクローラーAIサービスが自社ページを自動で取得する仕組みの総称。robots.txt で許可／拒否を制御できます。AI用語辞典で詳しく見る →を判定

AEOツール AIクローラー診断・robots自動作成・AI収録最適化

あなたのサイトは、ChatGPTChatGPTOpenAI が提供する対話型 AI。代表的な AI 検索／アシスタントのひとつ。AI用語辞典で詳しく見る → や Gemini などの AI に正しく読まれていますか？
URL を入力するだけで、254 種類の AIクローラーの許可状況と AEO（AI検索最適化）の改善点を数十秒で診断します。

サンプルで試す：

  • 無料で事前診断
  • 254種のBot判定
  • 数十秒で結果
  • ChatGPT
  • Gemini
  • Claude
  • Perplexity
  • Copilot
  • Grok

※1IP 1分間3回まで。大量スキャンは禁止。診断結果は参考情報であり、AIへの収録を保証するものではありません。

AIクローラー辞典（254種） User-Agent・運営事業者・robots.txtrobots.txtクローラーに取得を許可する範囲を伝える、サイトのルートに置くテキストファイル。AI用語辞典で詳しく見る → の設定例を、ボット単位で引けます。
辞典トップ AI・LLM 検索 Google 運営事業者

目的別のサブツール

単体で使える小さなツールを用意しています。総合診断で見つかった課題の修正にご利用ください。

robots.txt 単体検証 ボット別・パス別の許可／拒否を行番号つきで確認 llms.txt 生成 AI 向けの案内ファイルをフォーム入力だけで作成 JSON-LD 生成 構造化データを選んで入力するだけで作成 AEO 一括スキャン 複数サイトのスコアをまとめて比較 Bot ディレクトリ 254 種の AI クローラーをカテゴリ・用途から引く AI用語辞典 GPTBot などのクローラーを言葉から調べる

AIに読まれないことのコスト

AIアシスタントは、いまや調査の入口です。サイトが読めなくなっても、 アクセス解析には何も現れません。訪問そのものが起きないからです。

  • 01　静かな損失

    警告もエラーも、順位下落もない

    GPTBot や ClaudeBotClaudeBotAnthropic の学習用クローラー。Claude の回答品質に関わります。AI用語辞典で詳しく見る → がブロックされても、順位は下がらず、ダッシュボードは緑のままです。 Search Console にも解析ツールにも通知は出ないため、多くのサイトが気づくのは数か月後、 あるいは気づかないままになります。

  • 02　競合の獲得

    引用は「読める」サイトへ渡る

    ChatGPT や Perplexity は回答の根拠を引用します。ブロックされていると、 その引用枠は読み取りを許可している競合に渡ります。順位が下がるのではなく、 そもそも回答の候補に入っていません。

  • 03　複利で開く差

    AI経由の評価は積み上がる

    引用されたページは、その後も引用されやすくなります。止まっている期間の分だけ 差は広がり、あとから取り戻すには、最初に失うよりも多くの手間がかかります。

AEOツールの使い方

3ステップで診断できます。インストールもサイト側の変更も必要ありません。処理時間はサイトの応答状況によって異なります。

  • 1入力する

    URLを入れるだけ

    トップページのアドレスをそのまま入力してください。サイト全体を読みにいくのではなく、 AIクローラーが最初に見るファイルだけを確認します。

    1入力するのはURLのみ

  • 2判定する

    254種のボットを1体ずつ確認

    robots.txt・HTTPヘッダー・HTML・llms.txt・sitemap を読み取り、 公開ファイルや応答情報をもとに、主要AIクローラーのアクセス許可状況を推定します。

    254判定するボット数

  • 3直す

    スコアと改善手順を受け取る

    0〜100 のスコアと、優先度つきの修正手順を表示します。robots.txt は 生成されたものをコピーして貼り付けるだけです。

    約10秒入力から結果まで

診断レポートに含まれるもの

基本の診断結果はどなたでもご覧いただけます。レポートは毎回、スコア・読み取れないボット・その理由・修正案の 4 部構成です。

SAMPLE診断結果

42/ 100

要注意：主要AIに読まれていません

重要なAIクローラーの一部が robots.txt でブロックされ、 llms.txt も未設置です。

  • 6 / 6主要ボット判定
  • 254全ボット確認
  • 6改善チェック項目
  • GPTBotGPTBotOpenAI の学習・検索用クローラー。ブロックすると ChatGPT の回答に自社情報が載りにくくなります。AI用語辞典で詳しく見る →OpenAI❌ ブロック
  • ClaudeBotClaudeBotAnthropic の学習用クローラー。Claude の回答品質に関わります。AI用語辞典で詳しく見る →Anthropic❌ ブロック
  • OAI-SearchBotOAI-SearchBotOpenAI が ChatGPT の検索機能のために使うクローラー。AI用語辞典で詳しく見る →OpenAI✅ 許可

全 254 種のボットを、影響度の高い順にグループ分けして表示します。

FIX修正案

robots.txt
# robots.txt - AI検索エンジンに許可する
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /
  • +8全体ブロック（Disallow: /）を外し、主要ボットを明示的に許可します。
  • +5/llms.txt を設置すると、AIが重要ページを推測せずに済みます。
  • +3CDNが付与している noai ヘッダーを停止します。

生成されるコードはテンプレートではなく、あなたのサイト用に調整されたものです。

AI収録を止めてしまう6つの設定ミス

ほとんどのサイトは、意図してAIを避けていません。フォーラムからコピーした一行、 プラグインの初期設定、ホスティング側が付けたヘッダー——原因はこのあたりにあります。

  • 全体ブロック

    1つのクローラーを止めるつもりが、すべてのボットに効いてしまう書き方です。

    User-agent: *
Disallow: /

  • 書いていないヘッダー

    ホスティングやセキュリティ設定が、全応答に自動で付けていることがあります。

    X-Robots-Tag: noai, noimageai

  • 存在しないボット名

    名称変更や統合で、古い書き方では何も一致しなくなっている例です。

    User-agent: anthropic-ai
Disallow: /

  • 先に応答するWAF

    robots.txt を読む前に、防御側がセキュリティページを返してしまう状態です。

    403 Forbidden（管理されたブロック規則）

  • 空のまま届く本文

    JavaScript で描画しているページは、スクリプトを実行しないボットには空で届きます。

    <div id="root"></div>

  • 案内がない

    llms.txt も構造化データ構造化データ検索エンジンやAIに内容を機械可読な形で伝えるデータ記述（JSON-LD など）。AI用語辞典で詳しく見る →もないと、AIはどのページが重要かを推測するしかありません。

    GET /llms.txt → 404

254 種を収録したAIクローラーデータベース

収録したボットは 1 体ずつ調べています。誰が運用し、何を取得し、robots.txt に従うのか、 許可・ブロックの書き方まで。どなたでも無料で読めます。

  • 94AI・LLMLLM大規模言語モデル。大量のテキストを学習した、文章を扱う基盤モデル。AI用語辞典で詳しく見る →ボット

    GPTBot・ClaudeBot・PerplexityBotPerplexityBotPerplexity が AI 検索の回答にページを引用するために使うクローラー。AI用語辞典で詳しく見る → など、AI の回答と学習に情報を渡す一群。AEO では最優先で確認します。

    AIボットを見る

  • 62検索エンジン

    Bingbot・DuckDuckBot・Yandex など、今も実クリックを送ってくるクローラー。AI 検索の根拠としても参照されます。

    検索エンジンを見る

  • 39スクレイパー

    Bytespider や CCBot など、学習用データセットを収集する大量取得系。止めるなら 1 体ずつ指定します。

    スクレイパーを見る

  • 24Googleボット

    Googlebot・Google-ExtendedGoogle-ExtendedGemini の学習に使うかどうかを制御する、Google の専用トークン。AI用語辞典で詳しく見る →・AdsBot・Google-Agent など、用途ごとにルールが分かれています。

    Googleボットを見る

  • 19SEOツール

    AhrefsBot・SemrushBot・Screaming Frog など、他サイトの分析のために巡回するボットです。

    SEOツールを見る

  • 9SNSボット

    リンクの展開とプレビュー取得。ブロックすると、共有時のタイトルと画像が出なくなります。

    SNSボットを見る

  • 4その他エージェント

    実際の人の代わりにクリックし入力するタイプ。インデックス目的ではないので扱いが異なります。

    エージェントを見る

  • 3クラウドサービス

    プラットフォームや CDN の取得。他社向けの一括ルールに巻き込まれると、思わぬ停止につながります。

    クラウドサービスを見る

  • 137AI用語辞典

    AEO・GEO・llms.txt など、判断に必要な言葉を 1 語ずつ解説。ボット名からも引けます。

    用語を引く

  • 8診断項目

    スコアの配点を全公開。何をどう見ているかが、そのまま診断結果に表れます。

    診断の中身を見る

  • 6無料ツール

    robots.txt 検証・llms.txt 生成・JSON-LD 生成・URL 一括診断などを、基本機能は無料でお使いいただけます。

    ツール一覧へ

  • 6よくある設定ミス

    AI収録を止めてしまう代表的なパターンを、実際のコード例つきで確認できます。

    ミスを確認する

用途から探す 学習用 検索引用 エージェント

※ 収録数は 2026 年 10 月時点です。新しいクローラーは確認できたものから順に追加しています。 各ボットのページには、運営元・用途・robots.txt での止め方まで載せています。

ボットディレクトリで全254種を見る 無料ツール一覧 AEOの基礎知識

一般的なAIボットチェッカーとの違い

多くは AI 検索が注目される前に作られ、クローラー全体のごく一部しか見ていません。 行ごとに比較します。

一般的なAIボットチェッカーとAEOツールの機能比較
項目 AEOツール 一般的なAI専用ツール
判定できる範囲
判定するボット数 254 種AI・検索・SNS・スクレイパーまで網羅 30〜40 種
カテゴリ分類 8 分類・6 階層用途ラベルつき 1〜3 分類（AIのみ）
エージェント型クローラー Google-Agent・OAI-AdsBot など 未対応
読み取るシグナルと根拠
読み取るシグナル robots.txt ／ meta ／ HTTPヘッダー ／ llms.txt ／ sitemap ／ 構造化データ1回の診断で6種類を横断 robots.txt のみ
llms.txt の検証 記法まで確認 存在確認のみ
判定理由の表示 根拠ルールを行単位で提示robots.txt は行番号つき 表示なし
noai・X-Robots-Tag の検出 HTTPヘッダーと meta を横断して検出配点 14 点としてスコアに反映 未対応
スコアと出力
スコアの内訳 0〜100・配点を全公開 非公開
改善アクションの提示 想定上昇値の大きい順に並べる なし
1 回でまとめて診断 最大 3 サイト並べて比較できる 1 サイトずつ
診断結果の持ち出し CSV・印刷用レポートPro プラン以上 なし
サポートと利用条件
日本語の専門用語解説 AI用語辞典へ連携ボット名から解説記事へ なし
関連する無料ツール 5 種類robots検証・llms.txt・JSON-LD・一括診断・Bot図鑑 まれ
登録 基本診断は登録不要履歴保存・レポート出力は会員登録必要な場合が多い
料金 無料枠あり詳細レポートは有料プラン無料枠＋有料プランが多い

※「一般的なAI専用ツール」の欄は、2026年10月時点で公開されている一般的な仕様の傾向をまとめたものです。 すべての行は実際に診断して確かめられます。

無料で自分のサイトを診断する 診断レポートの中身を見る

同梱の無料ツール比較

総合診断で見つかった課題は、そのまま単体ツールで直せます。基本機能は無料でお使いいただけます。

目的別サブツール5種の比較表
ツール できること 入力 出力 向いている人
robots.txt 検証 ボット別・パス別の許可／拒否を、一致したルールの行番号つきで判定します。 サイト URL（任意でパス） グループ別の判定表・一致ルール一覧 ブロックの原因を1行ずつ特定したい人
llms.txt 生成 AI に「どのページが重要か」を伝える案内ファイルを自動作成します。 サイト名・説明・主要ページ llms.txt 全文（コピー／ダウンロード） llms.txt をまだ置いていない人
JSON-LD 生成 構造化データをフォーム入力だけで作成し、構文エラーを防ぎます。 組織名・URL・ロゴ・FAQ など Organization ／ FAQPage の JSON-LD schema.org を手書きせずに整えたい人
AEO 一括スキャン 複数サイトをまとめて診断し、スコアと内訳を1つの表で並べます。 最大 3 つの URL スコア比較表（内訳・llms.txt 有無つき） 自社サイトや競合を横並びで見たい人
Bot ディレクトリ 254 種のボットを、カテゴリ・用途・提供元から引けます。 キーワード・カテゴリ・用途 ボット解説・robots.txt の許可／拒否 1 行 robots.txt に書く名前を調べたい人

※ いずれも URL を入力するだけで使えます。診断は公開ファイルを読み取るだけで、サイト側の設定は変更しません。

ツール一覧へ 総合診断に戻る

よくある質問

AEO（AI検索最適化）とは何ですか？SEOとの違いは？

AEO（AI検索最適化）は、 AIの回答の中で自社ページを引用・参照してもらいやすくする取り組みです。 従来のSEOが「検索結果の一覧で上に表示されること」を目指すのに対し、 AEOは「AIの回答そのものの情報源として選ばれること」を目指します。 どちらも、AIや検索エンジンに内容を正しく読み取ってもらう点では共通しています。

AIクローラーをブロックすると、どんな不利益がありますか？

そのAIの回答に、自社ページの情報が引用されなくなります。検索順位が下がるわけではないため 気づきにくく、機会損失だけが静かに積み上がります。学習利用を避けたい場合は有効な選択ですが、 集客や認知を目的とする場合は注意が必要です。

「未記載＝許可扱い」と「明示的な許可」は何が違いますか？

どちらもクロールは許可されますが、意図の明確さが異なります。robots.txt に記載がない場合、 AI側は「許可されている」と判断してアクセスします。一方、 User-agent: GPTBot ＋ Allow: / のように明示的に書かれていれば、 方針変更のときに差分として確認できます。

llms.txt は必ず設置しなければいけませんか？

必須ではありません。llms.txtは AIに「どのページが重要か」を伝える補助的なファイルです。ただし、主要なAIサービスが 正式に採用しているわけではないため、効果を保証するものではありません。

診断結果はどのくらいで反映されますか？

robots.txt や llms.txt を変更しても、各AIサービスが実際に読み取るまでには 数日から数週間かかることがあります。また、設定を変更したからといって、 必ずAIの回答に引用されるわけではありません。

自社サイトのURLが外部に送られたり、保存されたりしませんか？

診断には、入力されたURLの公開ファイルを使用します。ログインして診断した場合は、URLと結果を会員履歴に保存します。履歴の保持期間はプランによって異なります。 診断は公開されているファイル（robots.txt など）を読み取るだけで、 サイト側に変更を加えることはありません。

診断に回数の制限はありますか？

1つのIPアドレスにつき、1分間に3回までとしています。大量のスキャンは 相手サイトへの負荷になるためご遠慮ください。時間をおけば、また診断できます。

診断結果が「ブロック」だった場合、まず何をすればいいですか？

診断結果の「robots.txt 自動生成」に、そのまま貼り付けられる修正案が表示されます。 WordPress の場合は RankMath または Yoast SEO の robots.txt 編集欄に貼り付けてください。 その後、もう一度診断して反映を確認できます。

あわせて読みたい解説記事

診断で見つかった課題の背景を、記事と用語解説で確かめられます。

あなたのサイトを、AIクローラーが読み取れる状態に。

基本の診断は無料でお試しいただけます。
診断履歴の保存・レポート出力・定期診断は会員プランでご提供しています。

AEOツール一覧を見る → AEO対策に役立つAIツールを探す → AI用語辞典で関連用語を学ぶ →

AEO（AI検索最適化）の考え方から、 AIクローラー・ robots.txt・ llms.txt の用語解説まで、AI用語辞典にまとめています。

本ツールは簡易診断ツールです。診断結果は参考情報であり、AIクローラーによる収録を保証するものではありません。

コピー完了

免責事項：本ツールの診断結果は参考情報であり、AIサービスでのコンテンツ収録を保証するものではありません。判定は取得時点の robots.txt 記述・HTTP レスポンス・HTML にもとづく機械的な推定であり、実際の動作は各サービスの仕様変更、WAF やレート制限、CDN の設定により異なる場合があります。

週1回・無料

AEO診断・AIクローラー最新情報を、
週1回お届け

AI Botの仕様変更やAEO対策のノウハウ、よくあるトラブル事例を編集部が厳選しメール配信。いつでも配信停止可能です。

  • 新Bot・仕様変更AIクローラーに新しいBotが追加されたとき、判定仕様が変わったときの速報
  • 障害事例と対処AEO診断で多い障害事例と、その対処方法を実例で解説
  • AEO活用術Web制作会社・SEO担当者向けのAEO活用テクニック
無料会員登録 AEO診断を試す AEO会員プラン

登録により 利用規約に同意したとみなされます。確認メールのリンクを押すと登録が完了します。

My-Best.AI｜AIツール比較・ランキング・おすすめ最新AI情報
Logo