robots.txt 単体検証ツール

🔧検証する

📖robots.txt の判定ルール

本ツールは robots.txt の仕様（RFC 9309 の考え方）に沿って、次の順序で判定しています。

• 1. グループの選択指定したユーザーエージェントに一致するグループを探します。一致がなければ * のグループが適用されます。
• 2. パスの照合Allow / Disallow の値がパスの先頭と一致するかを調べます。
• 3. 優先順位一致した記述のうち、より長い（＝より具体的な）パスが優先されます。長さが同じ場合は Allow が優先されます。
• 4. 記述なしの場合どのルールにも一致しなければ「アクセス可能」と判定されます。

注意：robots.txt は強制力を持ちません。 記述に従うかどうかは各クローラーの実装に依存します。また、WAF や IP 制限によって実際にはアクセスできない場合でも、 本ツールは「アクセス可能」と表示することがあります。より確実な確認にはサーバーのアクセスログをご利用ください。

❓よくある質問

• AI クローラーをブロックすると SEO に悪影響がありますかGooglebot をブロックすると検索順位に直接影響します。GPTBot などの学習用クローラーをブロックしても従来の検索順位には影響しませんが、AI の回答に引用される機会は減ります。
• 「未記載」と「許可」はどう違いますか許可（Allow）は明示的に許可している状態、未記載はルールが無く結果的にアクセスできる状態です。どちらも実際のアクセス可否は同じですが、明示的に許可しておくと方針が明確になります。
• robots.txt を編集したのに反映されませんCDN やキャッシュが残っている可能性があります。数分〜数時間待つか、キャッシュをパージしてから再検証してください。
• 特定ページだけブロックできますかできます。Disallow: /private/ のようにパスを指定します。ただし Disallow は「クロールを禁止する」ものであり、検索結果からの削除を指示するものではありません。削除したい場合は noindex を併用します。