AEO改善事例|Basic認証を解除し忘れてAIクローラーが全滅していたサイト(→73点)

best

UXリサーチャー/AIツール評価
Basic認証を解除し忘れてAIクローラーが全滅していたサイトの事例

人材紹介会社(H社・仮称)のサイトは、リニューアル中にBasic認証(パスワード保護)をかけていました。公開後、認証を解除した「つもり」でしたが、実はサーバー側の設定が残っていました。

※本記事のスコアは、my-best.ai のAEO診断ツールの評価ロジック(botAccess 70点/AIインフラ 15点/技術 15点/合計100点)に基づく算出例です。掲載しているサイトは、よくある課題パターンをもとにした仮称の例です。

診断でわかったこと(Before)

対象:人材紹介会社のサイト(H社・仮称)

AEO診断を実行すると、スコアの代わりに「アクセス制限」という警告が表示されました。クローラー視点でサイトにアクセスすると認証(401)が返り、robots.txtもllms.txtもページ本文も一切取得できない状態です。AI検索にとってサイトは「存在しない」のと同じ。この警告が出た場合は、スコア以前の問題として認証・ファイアウォール・IP制限を確認する必要があります。

  • ブラウザではCookieが残っているため、運営者は異常に気づきにくい
  • シークレットウィンドウや別端末でトップページを開いて初めて認証画面が出る
  • 診断ツールは401を「アクセス制限」として警告し、誤った低スコアを出さない設計
評価軸 結果
診断結果 診断不能(アクセス制限)
AI Search Coverage 測定不可

改善施策

施策1:サーバー側のBasic認証を解除する

ホスティング管理画面(.htaccess)に残っていたBasic認証の記述を削除しました。

# 削除した記述(.htaccess)
AuthType Basic
AuthName "Staging"
AuthUserFile /home/xxx/.htpasswd
require valid-user

施策2:解除後、匿名状態で全経路を再確認する

解除後はシークレットウィンドウでトップ・主要ページ・robots.txt・llms.txt・sitemap.xmlにアクセスし、すべてが認証なしで200を返すことを確認しました。診断ツールでも警告が消え、通常のスコアが出ることを確認しています。

改善後の診断結果(After)

評価軸 Before After 満点
botAccess(AIボットのアクセス状況) 0 70 70
AIインフラ(llms.txt) 0 0 15
技術(H1・canonical・alt・JSON-LD・lang) 0 3 15
総合スコア 測定不能 73 100
AI Search Coverage 測定不可 100% −

解除後の再診断はbotAccess 70点・技術3点で総合73点(良好)でした。「測定不能」からの一発回復です。llms.txtと技術項目は未着手のため、次フェーズで100点を目指すロードマップを策定しています。

この事例のポイント

  • Basic認証の解除忘れは「サイトごとAIから消える」最悪の事故。移行後チェックを必ず行う
  • 運営者のブラウザは認証を記憶している。シークレットウィンドウで確認する習慣を
  • 診断が「アクセス制限」警告を出したら、スコアより先に認証・WAF・IP制限を疑う

関連リンク:AEO診断ツール(アクセス制限チェック付き) / クラウド系Bot一覧 / 診断結果の見方について問い合わせ

メールマガジン

最新のAI情報をメールで受け取る

新着のAIツール比較・ランキング・ニュースを、まとめてお届けします。

ご登録後、確認メールをお送りします。配信停止はいつでも可能です。

週1回・無料

新着ツール・比較・使い方を、
週1でまとめて受け取る

毎日更新している掲載データの中から、編集部が選んでメールでお届けします。いつでも配信停止できます。

  • 新着ツールその時に話題のツールと、最初に試すときの要点
  • 比較と料金の更新よく比べられる組み合わせと、料金が変わったツール
  • 使い方の解説記事実際に試して書いた記事から、読みごたえのあるものを厳選

登録により 利用規約に同意したとみなされます。確認メールのリンクを押すと登録が完了します。

My-Best.AI|AIツール比較・ランキング・おすすめ最新AI情報
Logo