その他エージェント一覧（4種）
その他エージェント に分類される AI クローラー・ボットは 4 種です。User-Agent 文字列・運営元・用途（学習用 / 検索引用 / エージェント）を一覧で確認でき、robots.txtrobots.txtクローラーに取得を許可する範囲を伝える、サイトのルートに置くテキストファイル。AI用語辞典で詳しく見る → で許可するかブロックするかの判断に使えます。
その他のエージェントです。アクセスログで挙動を確認することをおすすめします。 全体像は AIクローラー Bot ディレクトリ（全 254 種）からご覧ください。
4 件のボットを収録（運営元 3 社）。下の表は User-Agent の文字列そのままです。robots.txt に貼るときは引用符を付けずに記述してください。
| User-Agent | 運営元 | 用途 | 説明 |
|---|---|---|---|
Arquivo-web-crawler | Arquivo.pt | 学習用 | Arquivo.pt が学習データの収集のためにページを取得します。ブロックすると Arquivo.pt の AI 回答に自社情報が載りにくくなります。 |
archive.org_bot | Internet Archive | ― | Internet Archive が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
ia_archiver | Internet Archive | ― | Internet Archive が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
TurnitinBot | Turnitin | ― | Turnitin が運用するクローラー／ボットです。robots.txt での許可状況を確認できます。 |
robots.txt の記述例
このカテゴリの代表的な User-Agent をブロックする場合の書き方です。許可する場合は該当ブロックごと削除してください。判定は各社の公式ドキュメントで最新情報をご確認ください。
User-agent: Arquivo-web-crawler Disallow: / User-agent: archive.org_bot Disallow: / User-agent: ia_archiver Disallow: / User-agent: TurnitinBot Disallow: /
他のカテゴリ
免責事項：本ツールの診断結果は参考情報であり、AIサービスでのコンテンツ収録を保証するものではありません。判定は取得時点の robots.txt 記述・HTTP レスポンス・HTML にもとづく機械的な推定であり、実際の動作は各サービスの仕様変更、WAF やレート制限、CDN の設定により異なる場合があります。