この記事の結論
robots.txtとは、検索エンジンやAIのプログラム(クローラー)に、
サイトのいちばん上の階層(https://自社のドメイン/robots.txt)に1つだけ置きます。
止めたい場所がなければ、User-agent: *、Allow: /、Sitemap: の3行で足ります。
AIの提供会社は、読み取りのプログラムを検索・回答用と学習用に分けています。
検索やAIの答えには出たまま学習だけを断るなら、Googlebot、OAI-SearchBot、Claude-SearchBot、PerplexityBot は止めずに、学習用の Google-Extended、GPTBot、ClaudeBot にだけ Disallow: / を書きます。
ページを検索結果から消す仕組みではないので、消したいページには robots.txt ではなく noindex を使います。
株式会社bundlyze(バンドライズ)は、
robots.txtとは、読んでよい場所を伝えるファイル
robots.txtは、サイトを読みに来るプログラムに「ここは
Googleは、主な目的を、読み取りが集中してサーバーに負担がかかりすぎないようにすることだと説明しています(Google 検索セントラル:robots.txt の概要とガイド、
よく勘違いされますが、ページを検索結果に出さないための仕組みではありません。
同じページでGoogleがそう書いています。
robots.txtで止めたページでも、ほかのサイトからリンクされていれば、説明文のないURLだけの形で検索結果に出ることがあります。
検索結果に出したくないページには、noindex を付けるか、パスワードで守ります。
2つの使い分けはnoindexとrobots.txtの違いに詳しく書きました。
従うかどうかは、読みに来る側に任されています。
Googleも、すべての検索エンジンが robots.txt に対応しているとは限らないと書いています。
人に見せたくない情報を守る仕組みとしては使えない、と考えておくのが安全です。
いちばん短い書き方は3行
読ませたくない場所がないなら、次の3行で足ります。
このサイト(www.bundlyze.co.jp)の
User-agent: *
Allow: /
Sitemap: https://www.bundlyze.co.jp/sitemap.xml
1行目の * は「すべての
最後のURLを自社のドメインに置き換えれば、そのまま使えます。
止めたい場所があるときは、Googleが例に挙げている次の形が基本になります(Google 検索セントラル:robots.txt ファイルの作成と送信、
User-agent: Googlebot
Disallow: /nogooglebot/
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml
「Googlebot は /nogooglebot/ から始まるURLを読まない」User-agent: から次の User-agent: の手前までが1つのまとまりで、そのまとまりの指定が、名前を書いた相手に効きます。
| 書き方 | 意味 |
|---|---|
User-agent: | どのプログラムに向けた指定か。* は、すべてのプログラム |
Disallow: | 読まないでほしいURLの始まり。Disallow: / はサイト全体 |
Allow: | 読んでよいURLの始まり。Disallow で止めた中の一部だけを許すときにも使う |
Sitemap: | サイトマップの場所。https:// から始まる完全なURLで書く |
Googleが読むのは、この4つだけです。Crawl-delay(読みに
サイトマップそのものの作り方はサイトマップの作り方にまとめています。
AIクローラーは、検索・回答用と学習用に分かれている
AIの読み取りを断りたいときに、まず知っておきたいのがこの区別です。
主な提供会社は、AIの検索や答えにサイトを出すためのプログラムと、AIの学習に使うプログラムを、別の名前にしています。
どちらを止めるかで、結果がまったく変わります。
| 提供会社 | 検索・回答に使う | AIの学習に使う |
|---|---|---|
Googlebot:Google検索の読み取り。止めると、通常の検索にもAI Overviewにも出にくくなる | Google-Extended:Geminiの学習と、Geminiの答えの根拠に使うかの指定。Google検索への掲載や順位には影響しない | |
| OpenAI(ChatGPT) | OAI-SearchBot:止めると、ChatGPTの検索の答えに表示されなくなる(行き先を | GPTBot:止めると、学習に使わないでほしいという意思表示になる |
| Anthropic(Claude) | Claude-SearchBot:止めると、検索のための登録の対象から外れる | ClaudeBot:止めると、それ以降の内容を学習のデータから除くよう伝えることになる |
| Perplexity | PerplexityBot:Perplexityの検索結果にサイトを表示し、リンクするために使う | 学習用として公表しているプログラムはない。PerplexityBot はAIの基盤モデルのための収集には使わないと明記 |
出典は、Google:一般的なクローラー、OpenAI:クローラーの説明、Anthropic:クローラーの説明、Perplexity:クローラーの説明です。
いずれも2026年10月9日に確認しました。
Google-Extended は、ほかと違って、実際に読みに来るプログラムの名前ではありません。
Googleは、専用のユーザーエージェント(読みに
止めると、Geminiのモデルの学習だけでなく、GeminiアプリなどでAIが答えるときの根拠(グラウンディング)としての
これとは別に、利用者がAIに頼んだときに、その場でページを見に行くプログラムもあります。
OpenAIの ChatGPT-User、Anthropicの Claude-User、Perplexityの Perplexity-User です。
OpenAIは、利用者の操作で動く ChatGPT-User には robots.txt の決まりが当てはまらない場合があると書き、Perplexityは、Perplexity-User は基本的に robots.txt に従わないと説明しています。
Anthropicは、自社のプログラムは robots.txt の標準的な指定に従うと書いています。

検索は許して、AIの学習だけ断る書き方
止めたいプログラムの名前を User-agent: に書き、その下に Disallow: / を書きます。
検索やAIの答えには出たまま、学習だけを断るなら、学習にかかわる3つを並べます。
# Google:Geminiの学習と答えの根拠
User-agent: Google-Extended
Disallow: /
# OpenAI:学習
User-agent: GPTBot
Disallow: /
# Anthropic:学習
User-agent: ClaudeBot
Disallow: /
User-agent: *
Allow: /
Sitemap: https://自社のドメイン/sitemap.xml
# から始まる行はメモで、プログラムには無視されます。
最後の User-agent: * からの指定は、ほかのプログラムには全体を許すという、いつもの指定です。Googlebot、OAI-SearchBot、Claude-SearchBot、PerplexityBot は名前を書いていないので、この * のまとまりに従い、これまでどおり読みに来ます。
AIの検索・回答にも出たくないなら、同じ形で OAI-SearchBot、Claude-SearchBot、PerplexityBot を足します。
ただし、そうするとそのAIの答えで紹介される機会を手放します。Googlebot まで止めると、通常のGoogle検索にもほとんど出なくなる(出ても
Google-Extended を止めても、Google検索のAI OverviewやAIモードに出なくなるわけではありません。
Googleは、Google-Extended はGoogle検索への掲載にも順位にも影響しないと書いています(上の
検索での見え方を制限するには nosnippet、data-nosnippet、max-snippet、noindex を使うよう案内していて(Google 検索セントラル:AI 機能とウェブサイト、
反映には時間がかかります。
OpenAIは書き換えから24時間ほど、Perplexityは最大で24時間かかると書いています。
Anthropicは、止めたいサブドメインのそれぞれに書くよう案内しています。
目的別の書き方の例
ここからは、Googleが「便利な
どれも、最後に自社の Sitemap: の行を足して使えます。
特定のフォルダだけ読ませない
管理画面や、作りかけのページをまとめたフォルダなどを外すときの形です。
末尾の / まで書くと、そのフォルダの中だけが対象になります。
User-agent: *
Disallow: /calendar/
Disallow: /junk/
サイト全体を読ませない
公開前のサイトや、試しに作った環境で使う形です。
この指定をしても、URLが検索の登録に残る場合があります。
User-agent: *
Disallow: /
全体を止めて、一部のフォルダだけ許す
Disallow と Allow の両方が当てはまるときは、より長く、細かく指定した方が使われます。
同じ長さなら、制限のゆるい方が使われます。
この例では /public/ の中だけが読まれます。
User-agent: *
Disallow: /
Allow: /public/
特定の種類のファイルを読ませない
* は「どんな$ は「URLの
次の例は、.gif で終わるURLをGooglebotに読ませない指定です。
User-agent: Googlebot
Disallow: /*.gif$
置く場所と、ファイルの作り方
ファイル名は robots.txt、文字コードはUTF-8で、https://自社のドメイン/robots.txt で開ける場所)に/blog/robots.txt のような下の階層に置いても読まれません。
書いた指定は、そのファイルを置いたホスト、https か http か、ポート番号が同じURLにだけ効きます。shop.自社のドメイン のようなサブドメインは別のサイトとして扱われるので、それぞれに置きます。
作るときは、メモ帳のようなテキストエディタを使います。
ワープロソフトは独自の形式で保存したり、カーリークォート(“ ” のような向きのある引用符)を
大きさの上限は500KiBで、それを超えた部分は無視されます。
書いたら、3か所で確かめる
ひとつは、ブラウザで https://自社のドメイン/robots.txt を開いて、中身を読むことです。
Googleは、シークレットウィンドウで開いて確かめる方法を挙げています。
もうひとつは、Search Console の「設定」
Googleが見つけた robots.txt と、最後に確かめた日時、取得できたかどうか、読めなかった行が分かります。
書き換えた後は、ここから再クロールを頼めます。
このレポートは、ドメイン単位のプロパティ(パスの
3つめは、止まっていないか気になるページを、Search Console の URL検査ツールにかけることです。
同じヘルプで、URLが読めるかどうかはここで確かめるよう案内されています。
robots.txt の中身は、Googleの側で通常は最大24時間覚えておかれるので、書き換えてもすぐには反映されないことがあります。
自社のサイトで検索・回答用のAIの読み取りが止まっていないかは、URLを入れるだけで確かめられるLLMO簡易診断でも、ほかの項目と一緒に見られます。
よくある間違い
Disallow: / と、何も書かない Disallow: は正反対です。
前者はサイト全体を止め、後者は何も止めません。
1文字の違いなので、目で見ても気づきにくい所です。
公開前に入れた Disallow: / が、本番にそのまま残っていることもあります。
残っていると、Google検索にもAIの検索にもほとんど出なくなります。
robots.txt に noindex を書いても効きません。
Googleは、robots.txt での noindex の指定には対応していないと明記しています(Google 検索セントラル:noindex を使用して検索インデックス登録をブロックする、
逆に、ページに noindex を付けたうえで robots.txt で止めると、Googleはページを読めないので、その noindex に気づけません。
検索結果から消したいページは、止めずに noindex を付けます。
User-agent: * のまとまりと、名前を指定したまとまりの両方があると、名前を指定した方だけが使われます。
1つのプログラムに使われるのは、いちばん当てはまる1つのまとまりだけだからです。* に書いた制限は名前を書いたプログラムには効かなくなるので、名前を書いたまとまりにも同じ制限を書き写します。
URLの大文字と小文字は区別されます。/file.asp と /FILE.asp は別のURLです。
項目名の User-agent や Disallow は、大文字でも小文字でもかまいません。
robots.txt がない場合や、404のように「見つからない」と
困るのは、サーバーのエラー(500番台)が
最初の12時間、Googleはサイトの読み取りを止めます。
置かないより、エラーを返し続ける方が困ります。
robots.txt に何も書いていないのに、AIの読み取りが止まっていることもあります。
サーバーやセキュリティのサービスの設定で、別に止めている場合です。
これは robots.txt を読むだけでは分からないので、次の節の方法で確かめます。
名乗って確かめた結果と、その手順
2026年10月9日に、各社のプログラムの名前を名乗って、この記事のページを取得してみました。
| 名乗ったプログラム | 提供会社 | 結果 |
|---|---|---|
Googlebot | 200(正常に | |
OAI-SearchBot | OpenAI(検索) | 200 |
GPTBot | OpenAI(学習) | 200 |
ChatGPT-User | OpenAI(利用者の | 200 |
Claude-SearchBot | Anthropic(検索) | 200 |
ClaudeBot | Anthropic(学習) | 200 |
PerplexityBot | Perplexity | 200 |
bingbot | Microsoft(Bing) | 200 |
同じことは、Macの「ターミナル」で
Windowsの「PowerShell」では、curl を curl.exe に、/dev/null を NUL に置き換えます。-A の後ろには確かめたいプログラムの名前を、最後に自社のページのURLを入れます。
curl -A "OAI-SearchBot" -o /dev/null -w "%{http_code}" https://自社のドメイン/
画面に3桁の数字が出ます。
200なら正常に読めています。
301や302は別のURLに案内されたということなので、案内先のURLでもう一度試します。
403は読み取りを断られた状態で、サーバーやセキュリティのサービスが止めている可能性があります。
404はURLの書き間違いを疑います。Google-Extended は読みに来るプログラムではないので、この方法では確かめられません。
ただし、これは名前を「名乗る」だけの
本物のプログラムは各社が公開しているIPアドレスから読みに来るので、ファイアウォールがその場所からの読み取りを止めている場合は、この方法では分かりません。
セキュリティのサービスを使っているなら、その設定画面で、AIのプログラムを止める機能が有効になっていないかも見てください。
止めるなら学習用だけで十分だと、私は考えています
AIの読み取りを止めるかどうかは、会社として決めてよいことです。
そのうえで、問い合わせを増やしたい会社なら、学習用だけを止めて、検索・回答用は止めない形が現実的だと私は考えています。
検索・回答用まで止めると、AIに聞かれたときに名前が出る道を自分で閉じることになるからです。
bundlyzeのサイトは、学習用も検索用も止めていません。
最初に載せた3行のとおりです。
AIの答えで紹介してもらうことを優先しています。
ここまでの3行になるまでに、2回手を入れました。
2026年5月24日に作り始めたときの robots.txt は Disallow: / で、サイト全体を止めていました。
検索に出さない指定(X-Robots-Tag: noindex, nofollow)も、全ページにヘッダーで付けていました。
6月27日に配信の構成を整理したとき、robots.txt を Allow: / と Sitemap: の行に書き換え、6月30日にサイトを検索に公開した日に、ヘッダーの指定を外して、Sitemap: の行も正式なURLとしてそろえた https://www.bundlyze.co.jp/ に直しました。
開発中に止めていた設定は、公開に合わせて1つずつ外さないと残ります。
bundlyzeは大阪市北区のグラングリーン大阪を拠点にしています。
全国からご相談いただけます。
打ち合わせはWeb会議でも、対面でも可能です。
この記事を書いている津嘉山は、業務システム開発とAWSを専門とするエンジニアで、このサイトのrobots.txtを含め、
よくある質問
robots.txtは、どこに置けばいいですか?
robots.txtで、ページを検索結果から消せますか?
robots.txtに noindex を書けば、検索に出なくなりますか?
検索には出たまま、AIの学習だけを断れますか?
Google-Extendedを止めると、AI Overviewに出なくなりますか?
robots.txtを置いていないと、何か困りますか?
Crawl-delayで、読みに来る間隔を指定できますか?
AIに紹介されるための取り組みの全体は、ChatGPTの回答に自社を出すにはとLLMOとは?に書いています。
検索結果から外したいページの扱いはnoindexとrobots.txtの違いに、Sitemap: の行で知らせるファイルの作り方はサイトマップの作り方に、AI向けの案内のファイルを置くかどうかはllms.txtとは。
作り方と確認方法にまとめています。
自社サイトで実際に進めている記録はbundlyzeのLLMO・SEO実践記録に、AIから来た訪問の数え方はAIから来た訪問と問い合わせを、どう数えるかに書いています。
検索やAIでの見つかり方について、
いまの状況をお聞かせください
「何から
相談の前に、いまの見え方だけ知りたい場合は
4つのAIに10の質問をした記録と、サイトの点検の結果を、30分ほどでご説明します。費用はかかりません。

