VelenPublicWebCrawler｜公開データ収集クローラーと制御方法

VelenPublicWebCrawlerへの対応は、大きく2つに分かれます。学習・収集を许容してブランド露出を優先するか、遮断して自社コンテンツを保護するかです。Velenが運営する公開データ収集クローラーであり、公開Webページのデータセット化ためにページを取得します。判断の材料として、まずは基本情報と実際の挙動を確認しましょう。

基本情報

項目	内容
運営事業者	Velen
User-Agent	VelenPublicWebCrawler
分類	公開データ収集クローラー
主な目的	公開Webページのデータセット化
推奨される扱い	通常は無視できるレベルです。気になる場合のみ拒否を設定します。

VelenPublicWebCrawlerは公開Webページのデータセット化の一環として位置づけられており、同社の他のボットとは目的が異なります。同じ運営者のボットでも、学習用・検索用・エージェント用で扱いを分ける必要がある点に注意してください。

VelenPublicWebCrawlerは何をするボットか

• 小規模事業者による収集で情報が少ない
• アクセス頻度は低いが継続的に来る
• 拒否の判断は方針次第

データ提供型のボットは、運営者の規模が小さく情報が少ないこともあります。判断材料が足りない場合は、まずログで取得範囲を確認し、機密ディレクトリだけを除外する現実的な運用が有効です。

アクセスの見分け方

User-Agentは VelenPublicWebCrawler です。サーバーログでUAを検索すれば、取得頻度・対象URL・応答コードを確認できます。ただしUAは誰でも名乗れるため、本物かどうかの確認は次の3ステップで行います。

1. IPアドレスを逆引き（PTR）し、運営者の公式ドメインに解決するか確認する
2. 逆引きで得たホスト名を正引きし、元のIPに戻るか検証する（フォワード確認）
3. 運営者が公開しているIPレンジと照合する

この3つが揃わない場合、UAだけを偽った別のプログラムである可能性が高くなります。アクセス頻度が不自然に高い、拒否したパスを繰り返し取得する、といった兆候も合わせて確認してください。

ログでの見え方

実際のアクセスログでは、次のような形で記録されます。UAとIP、取得したパスをセットで見ることで、目的のある巡回かどうかを判断できます。

203.0.113.24 - - [19/Oct/2026:10:12:41 +0900] "GET /ai-tools/ HTTP/1.1" 200 48213 "-" "VelenPublicWebCrawler"
203.0.113.24 - - [19/Oct/2026:10:12:43 +0900] "GET /ai-tools/qwen/ HTTP/1.1" 200 39102 "-" "VelenPublicWebCrawler"

短時間に同一IPから連続してアクセスしている場合は、一覧ページから詳細ページへ順に取得している可能性があります。逆に、IPがばらばらでUAだけが同じ場合は、分散アクセスやUA偽装を疑ってください。

許可・拒否の判断

通常は無視できるレベルです。気になる場合のみ拒否を設定します。

• 許可を検討するケース：自社情報を外部データベースに載せて認知を広げたい場合
• 拒否を検討するケース：コンテンツの二次利用・販売を避けたい場合

判断はサイト全体で統一してください。トップページは許可、ブログは拒否といった不揃いな設定は、意図しない情報の取得につながります。判断に迷う場合は「学習・検索・エージェント」の3分類に戻ると整理しやすくなります。

robots.txtでの制御方法

全拒否する場合は次の1行を追加します。特定のディレクトリだけを止める場合は、パスを限定した書き方を使います。

User-agent: VelenPublicWebCrawler
Disallow: /

User-agent: VelenPublicWebCrawler
Disallow: /private/
Allow: /

ただしrobots.txtは「お願い」であり、強制力はありません。確実に止めたい場合は、CDNやWAFでのIP制御を併用してください。変更後は次の順で確認します。

1. robots.txtバリデーターで対象URLの判定を行番号つきで確認する
2. CDN・WAF側にUAやIP単位の設定が残っていないか確認する
3. 1〜2週間ログを観察し、取得の変化を確認する

設定後の検証手順

設定は「書いたら終わり」ではありません。反映されているかを確認するまでが作業です。次の3ステップで検証してください。

1. 公開URLのrobots.txtを取得し、意図した行が含まれているか確認する
2. robots.txtバリデーターで対象URLとUAを指定し、許可・拒否の判定を確認する
3. 翌日と1週間後にログを確認し、取得回数の変化を見る

同社の他のボットとの関係

同じ事業者が複数のボットを運用している場合、UAごとに目的が異なります。1つのUAだけを拒否しても、別のUAで取得が続くことがあるため、運営者単位で一覧化して整理することをおすすめします。AIクローラー図鑑では、運営者別にボットを確認できます。

レート制限とセキュリティ

robots.txtを尊重しない実装や、UAを偽装したアクセスに備え、サーバー側の制御も合わせて設計してください。特にアクセス量の多いボットは、負荷対策としてレート制限を併用するのが実務的です。

• IP単位のリクエスト数制限を設定する
• UAとIPレンジの組み合わせで正当性を検証する
• 拒否したパスへのアクセスが続く場合はWAFで遮断する

エージェント時代の位置づけ

クローラーはページを「読む」存在ですが、AIエージェントは「操作する」存在です。VelenPublicWebCrawlerのようなクローラーの制御と、エージェントの制御は別物として設計する必要があります。今後はフォームやカートの作り方そのものが、AI経由の成果を左右します。

他のAIボットとの比較

AIボットは目的ごとに扱いが異なります。同じ「AI系」でも、学習・検索・エージェントでは制御の考え方が変わります。自社の方針を決めるときは、次の違いを踏まえてください。

分類	代表例	robots.txt	主な影響
学習	GPTBot・CCBot	効く	将来のモデル出力での言及
検索	OAI-SearchBot・PerplexityBot	効く	AI回答での引用・参照流入
エージェント	Grok Bot・Google-Agent	効かない	予約・購入などの操作

社内で決めておくこと

担当者が変わっても判断がぶれないよう、次の3点を文書化しておいてください。

• 学習・検索・エージェントの3分類ごとの方針
• 遮断する場合の承認者と理由
• 四半期ごとの見直し時期と確認項目

よくある誤解

Q. 拒否すると何が変わりますか
A. その事業者のデータベース経由での参照・提供から外れます。直接的な検索順位への影響はありません。

Q. 許可するメリットは
A. 企業情報や製品情報が外部データとして流通し、認知の面でプラスになる可能性があります。

Q. 価格情報が古く流通するのでは
A. 更新頻度の高いページは、最終更新日を明示し、古い情報が残らない運用にしてください。

Q. 判断材料が足りない場合は
A. まずログで取得範囲を確認し、機密ディレクトリだけを除外する運用から始めます。

運用のポイント

AIクローラーは四半期ごとに新しいUAが追加されます。既知のリストだけに頼らず、月次でログの未知UAを確認する運用にしてください。取得量の変化はGrokログ解析で確認でき、急減していればWAFかrobots.txtの変更が影響している可能性が高いです。

• 取得回数の急増・急減を前月比で確認する
• 未知のUAが現れていないか確認する
• 拒否したパスへのアクセス試行がないか確認する

チェックリスト

• ☐ UAと運営者を確認した
• ☐ ログで取得頻度と対象URLを確認した
• ☐ 許可・拒否の方針を決めた
• ☐ robots.txtに反映し、判定を検証した
• ☐ 変更理由と日付を記録した

まとめ

VelenPublicWebCrawlerの対応は「目的を知る → ログで実態を測る → 許可・拒否を決める → 検証する」の順で進めれば迷いません。ボット全体の方針づくりはAIクローラー図鑑で、個別の判定はrobots.txtバリデーターで確認してください。