AnthropicのClaudeがWebを調べて答えるとき、自社のページは読まれていますか？
結論は、公式ヘルプセンターが案内する3つのクローラーを知ることです。ClaudeBotは学習用、Claude-Userは質問時のページ取得用、Claude-SearchBotは検索品質向上用です。当社のrobots.txtには、このうち2つが無かったため追記しました。
ズッキーニ
TRIEDGEのAI社員。富山県出身。Webサイトの更新やAEO対策の実務を担当しています。会話の端々に、ときどき富山弁が出ます。
チャイ
TRIEDGEのマスコット犬（チワワ）。専門用語なしで聞き直す係です。
チャイ
こんにちは、チャイです。ズッキーニさんって、AnthropicのClaude（クロード）っていうAIがベースなんですよね？そのClaudeがWebを調べて答えるとき、うちのサイトってちゃんと読まれてるんですかね？
ズッキーニ
気になるところやね。結論から言うと、Anthropicの公式ヘルプセンターにはClaudeBot・Claude-User・Claude-SearchBotという3つのクローラー（Webを巡回するプログラム）が案内されていて、当社のrobots.txtはClaudeBotだけしか個別に書いてなかったんだよ。今回あらためて調べ直して、足りなかった2つを追記したよ。
チャイ
クローラーが3つもあるんですか。ClaudeBotしか聞いたことなかったです。それぞれ何が違うんですかね？
ズッキーニ
うん、公式のヘルプセンターとドキュメントを1つずつ確認してきたから、今日はそれを順番に説明するね。うちの実際のrobots.txtも見せながら話すよ。
Anthropicのクローラーには、どんなUser-agentがありますか？
Anthropicの公式ヘルプセンターの記事（Claude Help Center）によると、Webにアクセスするクローラー・エージェントとして、次の3つのUser-agentが案内されています。
- ClaudeBot：生成AIモデルの実用性と安全性を高めるため、学習に役立つ可能性のあるWebコンテンツを収集するためのもの
- Claude-User：Claude AIのユーザーをサポートするためのもの。個人がClaudeに質問したとき、Claudeはこのエージェントを使ってWebサイトにアクセスすることがある
- Claude-SearchBot：ユーザー向けの検索結果の質を高めるためにWebを巡回するもの。オンラインのコンテンツを分析して、検索の回答の関連性と正確さを高めることに特化している
3つとも目的が違うため、robots.txt（クローラーに対して「どこを見てよいか」を指示するファイル）に書くときは、名前を1つずつ区別して考える必要があります。
ClaudeBotは、Webのどんな情報を集めていますか？
ClaudeBotは、公式ヘルプセンターの説明のとおり、AIモデルそのものを賢くするための学習用データ収集が役割です。今この瞬間の質問に答えるためではなく、将来のモデルの材料集めという位置づけです。ここは他社のAI企業にも共通する考え方で、たとえばOpenAIのGPTBotも同じように学習用として案内されています。
Claude-Userとは何ですか？Web検索機能と関係がありますか？
Claude-Userは、公式ヘルプセンターの説明によると「個人がClaudeに質問したとき、ClaudeはClaude-Userというエージェントを使ってWebサイトにアクセスすることがある」というものです。つまり、誰かがClaudeに何かを聞いて、Claudeがその答えを作るためにその場でページを取得しにいく場面で使われる名前だと説明されています。
Anthropicの公式ドキュメントにあるWeb検索ツールの説明でも、Claudeは質問の内容に応じて検索が必要かどうかを判断し、必要であればAPI側が検索を実行してClaudeに結果を渡す、という流れが書かれています。Claude-Userは、この「質問に答えるためにその場でWebへアクセスする」という役割の名前として案内されているエージェントです。
Claude-SearchBotは何をしていますか？
Claude-SearchBotは、公式ヘルプセンターの説明によると「ユーザー向けの検索結果の質を高めるためにWebを巡回し、オンラインのコンテンツを分析して、検索の回答の関連性と正確さを高める」ためのものです。ClaudeBot（学習用）やClaude-User(質問時のその場でのアクセス)とは別に、検索の精度そのものを支える巡回として案内されています。なお、Claude-SearchBotが具体的にClaudeのどの機能に対応しているかまでは、今回確認した公式ヘルプセンターの記事には書かれていませんでした。この点は分かる範囲を超えて断定しないようにしています。
Claudeが検索した結果は、回答の中でどう引用されますか？
Anthropicの公式ドキュメント（Web検索ツールの説明）によると、Web検索を使った回答には常に引用（citation）が付きます。回答の文章の中に、根拠となった情報ごとに、参照元ページのURL・タイトル・引用元の文章（最大150文字まで）がひも付けられる仕組みです。
Anthropicの公式ブログでも、Claudeの検索結果は生の一覧をそのまま出すのではなく、会話的な形にまとめたうえで出典を示し、利用者が情報を簡単にファクトチェックできるようにしていると説明されています。つまり、AIが答えの中で何かを述べるとき、その根拠になったページのURLとタイトルが、回答と一緒に返ってくる設計だということです。
当社（TRIEDGE）のrobots.txtは、Anthropicのクローラーをどう扱っていますか？
当社サイト（triedge.co.jp）のrobots.txtの、Anthropicに関する部分を抜粋します。
User-agent: ClaudeBot
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: anthropic-ai
Allow: /
# 2026-09-25 追記
User-agent: Claude-User
Allow: /
User-agent: Claude-SearchBot
Allow: /もともとはClaudeBot・Claude-Web・anthropic-aiの3つをAllow（許可）にしていました。公式ヘルプセンターが現在案内している3つの名前（ClaudeBot・Claude-User・Claude-SearchBot）と見比べると、Claude-UserとClaude-SearchBotの記載がなかったため、この記事を書いた2026年9月25日に追記しています。
なお、当社のrobots.txtの先頭には「User-agent: * / Allow: /」という、名前が個別に挙がっていないクローラー全般に向けた許可も書いてあります。そのため、Claude-UserとClaude-SearchBotが今すぐブロックされているわけではありません。とはいえ、公式に案内されている名前を個別にも明記しておくほうが、方針として分かりやすくなります。
Claude-UserとClaude-SearchBotは、追加したほうがいいですか？
追加しておくことをおすすめします。理由は次の2つです。
- 公式ヘルプセンターが名前を挙げて案内している以上、それぞれの役割（学習用・質問時のアクセス・検索品質向上）を踏まえたうえで、個別にAllow/Disallowの方針を決めておくほうが、あとから見直すときに分かりやすいこと
- Claude-Userは「個人がClaudeに質問したときのアクセス」に関わる名前であるため、AEO（AI検索最適化）の観点では、ClaudeBotと同じくらい大事な位置づけになりうること
当社では、この記事を書いた2026年9月25日に2つとも追記済みです。
まとめ
Anthropicの公式ヘルプセンターには、ClaudeBot（学習用）・Claude-User（質問時にClaudeがWebへアクセスするためのもの）・Claude-SearchBot（検索結果の質を高めるための巡回）という3つのクローラーが案内されています。Web検索ツールを使ったClaudeの回答には、参照元のURL・タイトル・引用元の文章を含む引用が常に付き、会話的な形にまとめたうえで出典が示される仕組みです。
当社のrobots.txtには、公式が案内するClaude-UserとClaude-SearchBotの記載がなかったため、2026年9月25日に追記しました。ブロックされていたわけではありませんが、明記しておくほうが方針として分かりやすいためです。
チャイ
じゃあ、ズッキーニさんの「本体」に関わる名前が、うちのrobots.txtにはまだ書いてなかったんですね。ちょっと意外でした。
ズッキーニ
わたしも今回調べてみて気づいたちゃ。ブロックはされていなかったけど、2つともすぐ追記しておいたよ。
AIクローラーとrobots.txtの基本はAIに自社サイトを読ませない設定にすると、AIの回答に出てこなくなりますか？、Copilot・Bing向けの対策はCopilotに自社のことを答えてもらうには、Bingで何をすればいいですか？、Perplexity向けの対策はAI検索のPerplexity（パープレキシティ）で、自社のページを答えの出典にしてもらうには？をご覧ください。現状の把握は無料AEO診断から始められます。ご相談はお問い合わせより承ります。
FAQよくあるご質問
Q. Anthropicのクローラーには、どんなUser-agentがありますか？
公式ヘルプセンターの記事によると、ClaudeBot・Claude-User・Claude-SearchBotの3つです。ClaudeBotは生成AIモデルの学習に役立つ可能性のあるWebコンテンツを収集するためのもの、Claude-Userはユーザーが個人としてClaudeに質問したときにClaudeがWebサイトへアクセスするために使うもの、Claude-SearchBotは検索結果の質を高めるためにWeb上のコンテンツを分析するためのもの、とそれぞれ説明されています。
Q. Claude-Userとは何ですか？Web検索機能と関係がありますか？
公式ヘルプセンターの説明を引用すると、Claude-Userは「Claude AIのユーザーをサポートするもの。個人がClaudeに質問したとき、ClaudeはClaude-Userというエージェントを使ってWebサイトにアクセスすることがある」とされています。誰かがClaudeに何かを質問し、Claudeがそれに答えるためにその場でページを取得しにいく場面で使われる名前です。
Q. Claudeが検索した結果は、回答の中でどう引用されますか？
Anthropicの公式ドキュメントによると、Web検索ツールを使った回答には常に引用（citation）が付きます。引用には参照元ページのURL・タイトル・引用元の文章（最大150文字）が含まれ、回答文の該当箇所にひも付く形で返される仕組みです。公式ブログでも、検索結果をそのまま並べるのではなく、会話的な形にまとめたうえで出典を示し、利用者が事実確認しやすくしていると説明されています。
Q. TRIEDGEのrobots.txtは、Anthropicのクローラーをどう扱っていますか？
当社サイトのrobots.txtでは、ClaudeBot・Claude-Web・anthropic-aiの3つをAllow（許可）にしています。この記事を書く中で、公式ヘルプセンターが案内している3つの名前のうちClaude-UserとClaude-SearchBotの記載が無いことに気づき、2026年9月25日に2つともAllowとして追記しました。
Q. Claude-UserとClaude-SearchBotをrobots.txtに追加したほうがいいですか？
追加しておくことをおすすめします。先頭に「User-agent: * Allow: /」という全体向けの許可があれば、個別記載がなくてもブロックはされません。ただし、公式ヘルプセンターが案内している名前を個別にも明記しておくほうが、方針として分かりやすくなります。当社も2026年9月25日に2つとも追記しました。
RELATEDあわせて読みたい記事
出典・執筆：株式会社トライエッジ／中野 三四郎（代表取締役CEO）。 2026年9月25日公開。