AIクローラー辞典
Webクローラー＆Bot ディレクトリ
AI・検索・SEO・SNS・クラウドまで、254 種のボットを 8 カテゴリで整理しました。User-Agent、運営事業者、Safety 評価、ブロック時の SEO 影響、robots.txt のコード例までを 1 ページで確認できます。
- 254トークン
- 254プロファイル
- 183Safe
- 32Caution
- 39Aggressive
8つのカテゴリから探す
AI・LLMボット94
LLM の学習・回答生成のために本文を取得する AI クローラーです。ブロックしても通常の検索順位には影響しません。
alphalens-bot / Anomura / Cursor
検索エンジン62
検索インデックスの構築・更新のためにページを巡回する検索エンジンのクローラーです。ブロックすると検索流入が止まります。
AdIdxBot / Amzn-SearchBot / Applebot
Googleボット24
Google 検索・各種 Google サービスが利用するクローラーです。Googlebot 本体のブロックは検索結果からの消失に直結します。
AdsBot-Google / AdsBot-Google-Mobile / APIs-Google
SEOツール19
SEO ツールが被リンク・サイト構造を調査するために巡回するクローラーです。多くはブロックしても順位に影響しません。
AhrefsBot / AhrefsSiteAudit / AwarioBot
SNSボット9
SNS・チャットのリンクプレビュー生成などに使われるボットです。ブロックするとシェア時のカード表示が崩れることがあります。
FacebookBot / facebookexternalhit / LinkedInBot
スクレイパー39
汎用スクレイピングツールや自動収集プログラムの User-Agent です。正規の検索・AI クローラーではありません。
Amazon Kendra / ApifyBot / Barkrowler
クラウドサービス3
クラウド事業者のインフラ監視・取得系ボットです。サイト監視やプレビュー生成に関わることがあります。
AliyunSecBot / Amazonbot / Google-CloudVertexBot
その他のエージェント4
目的が限定的なエージェントや、運営元が特定しづらいボットです。個別に挙動を確認することをおすすめします。
archive.org_bot / Arquivo-web-crawler / ia_archiver
主要プロバイダー
企業名をクリックすると、その事業者が運営する Bot だけを表示します。
全 254 種のボット
254 件を表示中
Safe
AddSearchBotAddSearchBotSafe
AdIdxBotAdIdxBotSafe
AdsBot-GoogleAdsBot-GoogleSafe
AdsBot-Google-MobileAdsBot-Google-MobileCaution
AhrefsBotAhrefsBotCaution
AhrefsSiteAuditAhrefsSiteAuditSafe
AI2BotAI2BotSafe
AI2Bot-DeepResearchEvalAI2Bot-DeepResearchEvalSafe
aiHitBotaiHitBotSafe
AIWebIndexAIWebIndexSafe
AliyunSecBotAliyunSecBotCaution
alphalens-botalphalens-botAggressive
Amazon KendraAmazon KendraSafe
amazon-QBusinessamazon-QBusinessSafe
AmazonbotAmazonbotSafe
AmazonBuyForMeAmazonBuyForMeSafe
Amzn-SearchBotAmzn-SearchBotSafe
Amzn-UserAmzn-UserSafe
AndibotAndibotCaution
AnomuraAnomuraSafe
anthropic-aianthropic-aiAggressive
ApifyBotApifyBotSafe
APIs-GoogleAPIs-GoogleSafe
ApplebotApplebotSafe
Applebot-ExtendedApplebot-ExtendedCaution
archive.org_botarchive.org_botCaution
Arquivo-web-crawlerArquivo-web-crawlerSafe
atlassian-botatlassian-botCaution
AwarioBotAwarioBotCaution
AwarioRssBotAwarioRssBotCaution
AwarioSmartBotAwarioSmartBotSafe
AzureAI-SearchBotAzureAI-SearchBotSafe
baidubaiduSafe
BaiduspiderBaiduspiderSafe
Baiduspider-adsBaiduspider-adsSafe
Baiduspider-cproBaiduspider-cproSafe
Baiduspider-favoBaiduspider-favoSafe
Baiduspider-imageBaiduspider-imageSafe
Baiduspider-newsBaiduspider-newsSafe
Baiduspider-videoBaiduspider-videoAggressive
BarkrowlerBarkrowlerSafe
bedrockbotbedrockbotSafe
bingbotbingbotSafe
BingPreviewBingPreviewSafe
BingVideoPreviewBingVideoPreviewAggressive
BLEXBotBLEXBotSafe
BravebotBravebotAggressive
BrightbotBrightbotAggressive
BytespiderBytespiderAggressive
CCBotCCBotSafe
ChatGLM-SpiderChatGLM-SpiderSafe
ChatGPT AgentChatGPT AgentSafe
ChatGPT OperatorChatGPT OperatorSafe
ChatGPT-User/2.0ChatGPT-User/2.0Caution
Chrome-LighthouseChrome-LighthouseSafe
Claude-CodeClaude-CodeSafe
Claude-SearchBotClaude-SearchBotSafe
Claude-UserClaude-UserSafe
Claude-WebClaude-WebSafe
ClaudeBotClaudeBotSafe
Cloudflare-AutoRAGCloudflare-AutoRAGAggressive
coccocbot-webcoccocbot-webSafe
cohere-aicohere-aiSafe
cohere-training-data-crawlercohere-training-data-crawlerAggressive
CotoyogiCotoyogiAggressive
Crawl4AICrawl4AIAggressive
crawler4jcrawler4jAggressive
CrawlspaceCrawlspaceCaution
CursorCursorCaution
DataForSeoBotDataForSeoBotSafe
DeepSeekBotDeepSeekBotSafe
DevinDevinAggressive
DiffbotDiffbotCaution
Diffbot-UserDiffbot-UserCaution
DotBotDotBotSafe
DoubaoBotDoubaoBotSafe
DuckAssistBotDuckAssistBotSafe
DuckDuckBotDuckDuckBotAggressive
Echobot BotEchobot BotAggressive
EchoboxBotEchoboxBotSafe
ERNIEBotERNIEBotSafe
ExaBotExaBotSafe
ExaSearchBotExaSearchBotSafe
FacebookBotFacebookBotSafe
facebookexternalhitfacebookexternalhitAggressive
Factset_spyderbotFactset_spyderbotSafe
FeedFetcher-GoogleFeedFetcher-GoogleSafe
FirecrawlAgentFirecrawlAgentAggressive
FriendlyCrawlerFriendlyCrawlerSafe
Gemini-Deep-ResearchGemini-Deep-ResearchSafe
Google-AgentGoogle-AgentSafe
Google-CloudVertexBotGoogle-CloudVertexBotSafe
Google-CWSGoogle-CWSSafe
Google-ExtendedGoogle-ExtendedSafe
Google-FirebaseGoogle-FirebaseSafe
Google-Gemini-CLIGoogle-Gemini-CLISafe
Google-GeminiNotebookGoogle-GeminiNotebookSafe
Google-InspectionToolGoogle-InspectionToolSafe
Google-NotebookLMGoogle-NotebookLMSafe
Google-PinpointGoogle-PinpointSafe
Google-Read-AloudGoogle-Read-AloudSafe
Google-SafetyGoogle-SafetySafe
Google-Site-VerificationGoogle-Site-VerificationSafe
GoogleAgent-MarinerGoogleAgent-MarinerSafe
GoogleAgent-URLContextGoogleAgent-URLContextSafe
GooglebotGooglebotSafe
Googlebot-ImageGooglebot-ImageSafe
Googlebot-NewsGooglebot-NewsSafe
Googlebot-VideoGooglebot-VideoSafe
GoogleMessagesGoogleMessagesSafe
GoogleOtherGoogleOtherSafe
GoogleOther-ImageGoogleOther-ImageSafe
GoogleOther-VideoGoogleOther-VideoSafe
GoogleProducerGoogleProducerSafe
GPTBotGPTBotSafe
GrokAgentGrokAgentSafe
GrokBotGrokBotSafe
HarkBotHarkBotCaution
ia_archiveria_archiverSafe
iAskBotiAskBotSafe
iaskspideriaskspiderSafe
IbouBotIbouBotAggressive
ICC-CrawlerICC-CrawlerAggressive
ImagesiftBotImagesiftBotSafe
img2datasetimg2datasetAggressive
imgproxyimgproxyAggressive
ISSCyberRiskCrawlerISSCyberRiskCrawlerSafe
kagi-fetcherkagi-fetcherSafe
KagibotKagibotAggressive
Kangaroo BotKangaroo BotSafe
KernelSearchBotKernelSearchBotSafe
Kimi-SearchBotKimi-SearchBotSafe
Kimi-UserKimi-UserSafe
KimiBotKimiBotSafe
KlaviyoAIBotKlaviyoAIBotSafe
LAIONDownloaderLAIONDownloaderSafe
LinerBotLinerBotSafe
LinkedInBotLinkedInBotSafe
LinkupBotLinkupBotAggressive
magpie-crawlermagpie-crawlerSafe
Manus-UserManus-UserAggressive
MauiBotMauiBotSafe
Mediapartners-GoogleMediapartners-GoogleSafe
Meta-ExternalAdsMeta-ExternalAdsSafe
Meta-ExternalAgentMeta-ExternalAgentSafe
Meta-ExternalFetcherMeta-ExternalFetcherSafe
meta-externaltestmeta-externaltestSafe
meta-webindexermeta-webindexerSafe
MicrosoftPreviewMicrosoftPreviewSafe
MistralAI-IndexMistralAI-IndexSafe
MistralAI-TrainingMistralAI-TrainingSafe
MistralAI-User-1.0MistralAI-User-1.0Caution
MJ12botMJ12botSafe
MojeekMojeekSafe
MojeekBotMojeekBotSafe
Mozilla-TabstackMozilla-TabstackSafe
muse-muse-Safe
MyCentralAIScraperBotMyCentralAIScraperBotAggressive
netEstate Imprint CrawlernetEstate Imprint CrawlerCaution
NeticleBotNeticleBotCaution
NetvibesNetvibesAggressive
news-pleasenews-pleaseSafe
NovaActNovaActSafe
OAI-AdsBotOAI-AdsBotSafe
OAI-SearchBotOAI-SearchBotAggressive
omgiliomgiliAggressive
omgilibotomgilibotCaution
opencodeopencodeSafe
PanguBotPanguBotAggressive
PanscientPanscientSafe
Perplexity-User-1.0Perplexity-User-1.0Safe
PerplexityBotPerplexityBotSafe
PetalBotPetalBotSafe
PhindBotPhindBotSafe
PinterestbotPinterestbotAggressive
Poseidon Research CrawlerPoseidon Research CrawlerAggressive
QualifiedBotQualifiedBotSafe
QuillBotQuillBotSafe
Quora-BotQuora-BotSafe
QwenBotQwenBotSafe
ReflectionbotReflectionbotCaution
RogerbotRogerbotSafe
SBIntuitions-SearchBotSBIntuitions-SearchBotSafe
SBIntuitionsBotSBIntuitionsBotAggressive
ScrapyScrapyCaution
Screaming Frog SEO SpiderScreaming Frog SEO SpiderAggressive
SeekportBotSeekportBotCaution
SemrushBotSemrushBotCaution
SemrushBot-OCOBSemrushBot-OCOBCaution
SemrushBot-SWASemrushBot-SWASafe
SeznamBotSeznamBotCaution
Shap-UserShap-UserCaution
ShapBotShapBotCaution
Sidetrade Indexer BotSidetrade Indexer BotSafe
SlackbotSlackbotSafe
Slackbot-LinkExpandingSlackbot-LinkExpandingSafe
SlurpSlurpSafe
Storebot-GoogleStorebot-GoogleSafe
TavilyBotTavilyBotSafe
TerraCottaTerraCottaAggressive
TikTokSpiderTikTokSpiderAggressive
TimpibotTimpibotSafe
TongyiBotTongyiBotCaution
TraeTraeCaution
TurnitinBotTurnitinBotSafe
TwitterbotTwitterbotAggressive
VelenPublicWebCrawlerVelenPublicWebCrawlerAggressive
Webzio-ExtendedWebzio-ExtendedSafe
WRTNBotWRTNBotSafe
xAI-SearchBotxAI-SearchBotAggressive
yacyyacyAggressive
yacybotyacybotSafe
YaDirectFetcherYaDirectFetcherSafe
YandexYandexSafe
YandexAccessibilityBotYandexAccessibilityBotSafe
YandexAdditionalYandexAdditionalSafe
YandexAdditionalBotYandexAdditionalBotSafe
YandexAdNetYandexAdNetSafe
YandexBlogsYandexBlogsSafe
YandexBotYandexBotSafe
YandexCalendarYandexCalendarSafe
YandexCheckBotYandexCheckBotSafe
YandexComBotYandexComBotSafe
YandexDirectYandexDirectSafe
YandexDirectDynYandexDirectDynSafe
YandexFaviconsYandexFaviconsSafe
YandexFeedYandexFeedSafe
YandexImageResizerYandexImageResizerSafe
YandexImagesYandexImagesSafe
YandexMarketYandexMarketSafe
YandexMediaYandexMediaCaution
YandexMetrikaYandexMetrikaSafe
YandexMobileBotYandexMobileBotSafe
YandexMobileScreenShotBotYandexMobileScreenShotBotSafe
YandexOntoDBYandexOntoDBSafe
YandexOntoDBAPIYandexOntoDBAPISafe
YandexPagecheckerYandexPagecheckerSafe
YandexPartnerYandexPartnerSafe
YandexRCAYandexRCASafe
YandexRenderResourcesBotYandexRenderResourcesBotSafe
YandexScreenshotBotYandexScreenshotBotSafe
YandexSearchShopYandexSearchShopSafe
YandexSitelinksYandexSitelinksSafe
YandexSpravBotYandexSpravBotCaution
YandexTrackerYandexTrackerSafe
YandexUserproxyYandexUserproxySafe
YandexVerticalsYandexVerticalsSafe
YandexVertisYandexVertisSafe
YandexVideoYandexVideoSafe
YandexVideoParserYandexVideoParserSafe
YandexWebmasterYandexWebmasterSafe
YiyanBotYiyanBotSafe
YouBotYouBotCaution
ZipchatBotZipchatBot条件に一致するボットはありません。
この辞典の収録基準
- Safety：運営事業者が公式にドキュメントを公開し、robots.txt（RFC 9309）に従うことが確認できるものを Safe、一次情報が乏しいもの・計測系ツールを Caution、汎用の収集ツールを Aggressive としています。
- 根拠：公式ドキュメントで確認済み（公式確認）／公開情報で確認（一次情報あり）／挙動からの推定（推定）の 3 段階です。
- データの一元管理：本辞典と AEO診断ツール は同じクローラーカタログを参照しています。カタログを更新すると両方に同時に反映されます。
- 免責：判定は取得時点の情報にもとづく参考情報です。実際の挙動は各サービスの仕様変更・WAF・サーバー設定により異なります。
このBotが、あなたのサイトに来ているか確認するURL を入れるだけで、254 種のAIクローラーの許可状況とAEOスコアを数十秒で診断します。
AEO診断をはじめる →