AIに自社サイトを読ませない設定にすると、AIの回答に出てこなくなりますか？

そもそも、AIのクローラーにはどんな種類がありますか？

主なものだけでも、OpenAIのGPTBot・OAI-SearchBot・ChatGPT-User、AnthropicのClaudeBot・Claude-User、PerplexityBotとPerplexity-User、Google-Extended、Bingbot、Applebot-Extended、CCBotなど、10近い名前があります。クローラー（crawler）とは、Webサイトを自動で巡回してページの内容を読み取っていくプログラムのことです。会社ごとに名前も目的もバラバラで、robots.txt（クローラーに対して「どこを見てよいか」を指示するファイル）に書くときは、1つずつ性質を確認する必要があります。

学習用クローラーと検索・回答用クローラーは何が違うんですか？

大きく2種類に分けられます。学習用クローラーは、AIモデルそのものを賢くするための材料集めです。GPTBot・ClaudeBot・Google-Extended・Applebot-Extendedがここに入ります。OpenAIは公式ドキュメントで、GPTBotについて「学習に使われる可能性のあるコンテンツを収集する」ためのものと説明しています。Anthropicも同様に、ClaudeBotは「生成AIモデルの学習に役立つ可能性のあるWebコンテンツを収集する」ためのものだとしています。

もう一方は、検索・回答用クローラーです。いま誰かがAIに質問したとき、その答えを作るためにその場でページを見に行くもので、OAI-SearchBot・ChatGPT-User・PerplexityBot・Perplexity-User・Bingbotが該当します。たとえばOpenAIは、OAI-SearchBotを「ChatGPTの検索機能で、Webサイトを検索結果に出すために使う」ものと説明しており、GPTBotとは別物として扱っています。Anthropicも「ClaudeBotを止めても、Claude-User（ユーザーがClaudeに質問したときにページを取得するもの）は止まらない」と明記しています。同じ会社の中でも、目的ごとにクローラーの名前が分かれているのがポイントです。

検索・回答用のクローラーをrobots.txtで止めると何が起きますか？

そのAIの回答に、自社サイトが引用元として出てくることができなくなります。たとえばPerplexityBotを止めれば、Perplexityの回答に自社ページが引用される可能性はなくなります。OAI-SearchBotやChatGPT-Userを止めれば、ChatGPTの検索機能にも同じことが起きます。Bingbotは少し特殊で、通常のBing検索とマイクロソフトのAIアシスタント「Copilot」の両方が同じインデックス（クロールした情報を検索できる状態にまとめたデータ）を使っているため、Bingbotを止めるとBing検索にもCopilotにも出られなくなります。

一方で、学習用クローラー（GPTBot・ClaudeBot・Google-Extended・Applebot-Extended）を止めても、今この瞬間のAIの回答に引用されるかどうかには影響しません。あくまで「将来のモデルの学習材料に使われるかどうか」だけをコントロールする仕組みだからです。「止める・止めない」を考えるときは、その名前が学習用なのか検索・回答用なのかを先に区別することが大事です。

引用されたいBtoB企業は、結局どうすればいいんですか？

AIに正しく引用してもらいたいなら、検索・回答用クローラー（OAI-SearchBot・ChatGPT-User・PerplexityBot・Perplexity-User・Bingbot）は基本的にAllow（許可）にしておくのが前提です。ここを止めてしまうと、そもそも候補にすら入れません。

学習用クローラー（GPTBot・ClaudeBot・Google-Extended・Applebot-Extended）をどうするかは、少し性質が違う判断になります。止めても目先の引用機会は減りませんが、自社の情報が将来のAIモデルにどう扱われるかという、データポリシー寄りの判断です。特別な事情がなければAllowのままにしておき、自社の考え方として「学習データに使われたくない」という理由がある場合だけ、個別にDisallowにする、という選び方で十分です。

なお、Google-Extendedは少し特殊で、GeminiアプリやVertex AIの学習データだけでなく、「Grounding with Google Search」というAIが検索結果を根拠に答えを作る機能にも関わります。ただし、通常のGoogle検索の掲載順位やAI Overviews（Google検索内のAIによる要約）には影響しないと、Googleの公式ドキュメントに明記されています。通常のGoogle検索に出したいだけであれば、普段どおりGooglebotを許可していれば足ります。

TRIEDGEのrobots.txtは実際どうなっていますか？

当社サイト（triedge.co.jp）のrobots.txtの、AIクローラーに関する部分を抜粋します。

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: CCBot
Allow: /

見てのとおり、学習用も検索・回答用も、いまのところすべてAllowにしています。当社の狙いはAEO（AIに正しく引用してもらうための対策）そのものなので、まずは幅広いAIに情報を渡せる状態を優先しているということです。今後、特定のクローラーだけを見直す必要が出てくれば、その都度この記事のような整理をしたうえで判断します。

Common Crawl（CCBot）は、他のAIクローラーと何が違うんですか？

これまでのクローラーが「OpenAI」「Anthropic」のように1社のAI企業のものだったのに対し、CCBotは非営利団体Common Crawlが運営する、特定の会社に属さないクローラーです。Common Crawlは「誰でも無償で使える、オープンなWebクロールデータの保管庫を作ること」を目的に掲げており、集めたデータは研究機関や企業に広く公開されています。この公開データセットが、複数のAI企業の学習データの土台の1つとして使われていることが知られています。つまりCCBotを止めるかどうかも、他の学習用クローラーと同じ考え方で判断すればよく、TRIEDGEでは他の学習用クローラーと同様にAllowにしています。

まとめ

AIのクローラーには、AIモデルの学習用にデータを集めるもの（GPTBot・ClaudeBot・Google-Extended・Applebot-Extended・CCBotなど）と、いま誰かが質問した答えを作るために検索・引用するもの（OAI-SearchBot・ChatGPT-User・PerplexityBot・Perplexity-User・Bingbotなど）の2種類があります。

AIに引用されたいBtoB企業であれば、検索・回答用クローラーを止めないことが大前提です。学習用クローラーをどうするかは別の判断で、特別な理由がなければAllowのままで問題ありません。robots.txtを書くときは、名前だけで一律に判断せず、それぞれの公式ドキュメントで目的を確認したうえで、1つずつ決めることをおすすめします。

AEO対策の全体像はAEOって結局なに？初めての人にもわかるように教えて！、CopilotとBingの関係はCopilotに自社のことを答えてもらうには、Bingで何をすればいいですか？、BtoB企業向けのAEOの考え方はうちの会社、AIにライバル会社と比較されたりするんですか？をご覧ください。現状の把握は無料AEO診断から始められます。ご相談はお問い合わせより承ります。

FAQよくあるご質問

RELATEDあわせて読みたい記事

出典・執筆：株式会社トライエッジ／中野 三四郎（代表取締役CEO）。 2026年9月25日公開。