地方の製造業（K社・仮称）のコーポレートサイトは、開設から一度もrobots.txtを設置したことがないサイトでした。「何も設定していないので、もしかしてAIには不利なのでは」という不安が診断依頼のきっかけです。
診断でわかったこと（Before）
対象：地方の製造業のコーポレートサイト（K社・仮称）
診断結果は総合73点（良好）。一見意外に思えますが、robots.txtが存在しない（404が返る）サイトは、すべてのクローラーに対して「拒否ルールなし＝許可」と同じ扱いになります。実際にAI Search Coverageも100%でした。ただしこれは「意図して開いている」のではなく「意識していないだけ」の状態で、次のリスクを抱えています。
- 将来、CMSやセキュリティプラグインが勝手にrobots.txtを生成し、意図しないDisallowが入る
- 開発用ディレクトリやテスト環境がクロールされ放題になる
- 「AIに許可しているのか否か」を社内で誰も説明できない
| 評価軸 | 点数 | 満点 |
|---|---|---|
| botAccess（AIボットのアクセス状況） | 70 | 70 |
| AIインフラ（llms.txt） | 0 | 15 |
| 技術（H1・canonical・alt・JSON-LD・lang） | 3 | 15 |
| 総合スコア | 73 | 100 |
| 評価ラベル | 良好 | |
| AI Search Coverage（主要6種の許可率） | 100% | |
改善施策
施策1：方針を明文化したrobots.txtを新設する
まず全許可を明示しつつ、管理用ディレクトリのみ拒否する最小構成のrobots.txtを作成しました。404状態から意図的な全許可に移すだけで、スコアは変わりませんが、運用としての安定度が大きく上がります。
User-agent: *
Allow: /
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
Sitemap: https://example.co.jp/sitemap.xml施策2：llms.txtで「自社紹介の一次情報」をAIに届ける
製造業のサイトは製品名の略称や事業ドメインが独自に発展しやすく、AIが文脈を取り違えることがあります。会社概要・事業一覧・代表製品へのリンクを整理したllms.txtを設置し、AIインフラ7.5点を獲得。さらに主要ページの全文をまとめたllms-full.txtを追加して合計15点としました。
改善後の診断結果（After）
| 評価軸 | Before | After | 満点 |
|---|---|---|---|
| botAccess（AIボットのアクセス状況） | 70 | 70 | 70 |
| AIインフラ（llms.txt） | 0 | 15 | 15 |
| 技術（H1・canonical・alt・JSON-LD・lang） | 3 | 3 | 15 |
| 総合スコア | 良好 | 88 | 100 |
| AI Search Coverage | 100% | 100% | − |
再診断は総合73点→88点（良好）。botAccessは変わりませんが、robots.txtの新設によって「意図的な許可」になり、社内でも方針を説明できるようになりました。技術項目（残り12点分）はテーマ修正が別作業のため次期対応です。
この事例のポイント
- robots.txtが無い＝全許可。スコアは高くても「設計された状態」ではない
- 404のrobots.txtは運用リスク。全許可でも明示的に置くべき
- llms.txtは企業の一次情報をAIに正しく伝える最短手段
関連リンク：robots.txt バリデーターで構文チェック / llms.txt ジェネレーター / AEO診断ツール
最新のAI情報をメールで受け取る
新着のAIツール比較・ランキング・ニュースを、まとめてお届けします。
ご登録後、確認メールをお送りします。配信停止はいつでも可能です。