bundlyze
  1. ホーム
  2. コラム
  3. SEO・LLMO
  4. robots.txtとは。書き方の例と、検索は許してAIの学習だけ断る設定

robots.txtとは書き方の​例と​検索は​許して​AIの​学習だけ断る​設定

robots.txtとは、​クローラーに​読んで​よい​場所を​伝える​ファイルです。​3行で​済む​書き方の​例、​Googlebotや​OAI-SearchBotは許して​Google-ExtendedやGPTBotだけ拒否する​設定、​Search Consoleでの​確かめ方、​よく​ある​間違いを​各社の​公式の​説明で​確かめて​載せます。

この​記事の​結論

robots.txtとは、​検索エンジンや​AIの​プログラム​(クローラー)に、​サイトの​どの​URLを​読んで​よいかを​伝える​テキストファイルです。
サイトの​いちばん上の​階層​(https://自社のドメイン/robots.txt)に​1つだけ​置きます。
止めたい​場所が​なければ、​User-agent: *、​Allow: /、​Sitemap: の​3行で​足ります。
AIの​提供会社は、​読み取りの​プログラムを​検索・回答用と​学習用に​分けています。
検索や​AIの答えには​出たまま​学習だけを​断るなら、​Googlebot、​OAI-SearchBot、​Claude-SearchBot、​PerplexityBot は​止めずに、​学習用の​ Google-Extended、​GPTBot、​ClaudeBot にだけ Disallow: / を​書きます。
ページを​検索結果から​消す​仕組みではないので、​消したい​ページには​ robots.txt ではなく​ noindex を​使います。

株式会社bundlyze​(バンドライズ)は、​大阪市北区​(グラングリーン大阪)の会社です。​SEOと​AI検索​(LLMO)対策で、​中小企業の​ホームページが​検索と​AIの答えに​出るよう​支援しています。

​

robots.txtは、​サイトを​読みに​来る​プログラムに​「ここは読んでいい」「ここは読まないで」と伝える​小さな​テキストファイルです。
Googleは、​主な​目的を、​読み取りが​集中して​サーバーに​負担が​かかりすぎないように​することだと​説明しています​(Google 検索セントラル:robots.txt の​概要と​ガイド、2026年10月9日確認)。

よく​勘違いされますが、​ページを​検索結果に​出さないための​仕組みではありません。
同じ​ページで​Googleが​そう​書いています。
robots.txtで​止めた​ページでも、​ほかの​サイトから​リンクされていれば、​説明文のない​URLだけの​形で​検索結果に​出ることがあります。
検索結果に​出したくない​ページには、​noindex を​付けるか、​パスワードで​守ります。
2つの​使い分けはnoindexと​robots.txtの​違いに​詳しく​書きました。

従うか​どうかは、​読みに​来る​側に​任されています。
Googleも、​すべての​検索エンジンが​ robots.txt に​対応しているとは​限らないと​書いています。
人に​見せたくない​情報を​守る​仕組みとしては​使えない、と​考えておくのが​安全です。

いちばん短い​書き方は​3行

読ませたくない​場所が​ないなら、​次の​3行で​足ります。
この​サイト​(www.bundlyze.co.jp)の robots.txt も、​この​3行だけです。

User-agent: *
Allow: /

Sitemap: https://www.bundlyze.co.jp/sitemap.xml

1行目の​ * は​「すべてのプログラム」、​2行目は​「サイト全体を読んで​よい」、​最後の​行は​サイトマップの​場所です。
最後の​URLを​自社の​ドメインに​置き換えれば、​そのまま​使えます。

止めたい​場所が​あるときは、​Googleが​例に​挙げている​次の​形が​基本に​なります​(Google 検索セントラル:robots.txt ファイルの​作成と​送信、2026年10月9日確認)。

User-agent: Googlebot
Disallow: /nogooglebot/

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

「Googlebot は​ /nogooglebot/ から​始まる​URLを​読まない」「それ以外のプログラムは​サイト全体を​読んで​よい」「サイトマップはこの​場所に​ある」という意味です。
User-agent: から​次の​ User-agent: の​手前までが​1つの​まとまりで、​そのまとまりの​指定が、​名前を​書いた​相手に​効きます。

書き方意味
User-agent:どの​プログラムに​向けた​指定か。​* は、​すべての​プログラム
Disallow:読まないでほしい​URLの​始まり。​Disallow: / は​サイト全体
Allow:読んで​よい​URLの​始まり。​Disallow で​止めた​中の​一部だけを​許すときにも​使う
Sitemap:サイトマップの​場所。​https:// から​始まる​完全な​URLで​書く

Googleが​読むのは、​この​4つだけです。
Crawl-delay​(読みに来る​間隔)のような項目を​書いても、​Googleは​使いません​(Google 検索セントラル:Google に​よる​ robots.txt の​指定の​解釈、2026年10月9日確認)。
サイトマップそのものの​作り方はサイトマップの​作り方に​まとめています。

​

AIの​読み取りを​断りたいときに、​まず​知っておきたいのが​この​区別です。
主な​提供会社は、​AIの​検索や​答えに​サイトを​出すための​プログラムと、​AIの​学習に​使う​プログラムを、​別の​名前に​しています。
どちらを​止めるかで、​結果が​まったく​変わります。

提供会社検索・回答に​使うAIの​学習に​使う
GoogleGooglebot:Google検索の​読み取り。​止めると、​通常の​検索にも​AI Overviewにも​出に​くくなるGoogle-Extended:Geminiの​学習と、​Geminiの​答えの​根拠に​使うかの​指定。​Google検索への​掲載や​順位には​影響しない
OpenAI(ChatGPT)OAI-SearchBot:止めると、​ChatGPTの​検索の​答えに​表示されなくなる​(行き先を示すリンクとしては​出る​ことがある)GPTBot:止めると、​学習に​使わないでほしいという​意思表示に​なる
Anthropic(Claude)Claude-SearchBot:止めると、​検索のための​登録の​対象から​外れるClaudeBot:止めると、​それ以降の​内容を​学習の​データから​除くよう​伝えることになる
PerplexityPerplexityBot:Perplexityの​検索結果に​サイトを​表示し、​リンクするために​使う学習用として​公表している​プログラムは​ない。​PerplexityBot は​AIの​基盤モデルのための​収集には​使わないと​明記

出典は、Google:一般的な​クローラー、OpenAI:クローラーの​説明、Anthropic:クローラーの​説明、Perplexity:クローラーの​説明です。
いずれも​2026年10月9日に​確認しました。

Google-Extended は、​ほかと​違って、​実際に​読みに​来る​プログラムの​名前ではありません。
Googleは、​専用の​ユーザーエージェント​(読みに来たときに​名乗る​名前)はなく、​ふだんの​Googleの​プログラムが​読んだ​内容を​どう​使うかの​指定だと​説明しています。
止めると、​Geminiの​モデルの​学習だけでなく、​Geminiアプリなどで​AIが​答えるときの​根拠​(グラウンディング)としての利用も​断ることになります。

これとは​別に、​利用者が​AIに​頼んだときに、​その​場で​ページを​見に​行く​プログラムも​あります。
OpenAIの​ ChatGPT-User、​Anthropicの​ Claude-User、​Perplexityの​ Perplexity-User です。
OpenAIは、​利用者の​操作で​動く​ ChatGPT-User には​ robots.txt の​決まりが​当ては​まらない​場合が​あると​書き、​Perplexityは、​Perplexity-User は​基本的に​ robots.txt に​従わないと​説明しています。
Anthropicは、​自社の​プログラムは​ robots.txt の​標準的な​指定に​従うと​書いています。

透明なケースに入った白い紙と、青い札の付いた鍵を並べ、読んでよい範囲を考える様子

​

止めたい​プログラムの​名前を​ User-agent: に​書き、​その​下に​ Disallow: / を​書きます。
検索や​AIの答えには​出たまま、​学習だけを​断るなら、​学習に​かかわる​3つを​並べます。

# Google:Geminiの学習と答えの根拠
User-agent: Google-Extended
Disallow: /

# OpenAI:学習
User-agent: GPTBot
Disallow: /

# Anthropic:学習
User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Sitemap: https://自社のドメイン/sitemap.xml

# から​始まる​行は​メモで、​プログラムには​無視されます。
最後の​ User-agent: * からの​指定は、​ほかの​プログラムには​全体を​許すという、​いつもの​指定です。
Googlebot、​OAI-SearchBot、​Claude-SearchBot、​PerplexityBot は​名前を​書いていないので、​この​ * の​まとまりに​従い、​これまで​どおり読みに​来ます。

AIの​検索・回答にも​出たくないなら、​同じ形で​ OAI-SearchBot、​Claude-SearchBot、​PerplexityBot を​足します。
ただし、​そうすると​その​AIの答えで​紹介される​機会を​手放します。
Googlebot まで​止めると、​通常の​Google検索にも​ほとんど​出なくなる​(出てもURLだけで​説明文が​付かない)ので、​そこは​分けて​考えます。

Google-Extended を​止めても、​Google検索の​AI Overviewや​AIモードに​出なくなるわけではありません。
Googleは、​Google-Extended は​Google検索への​掲載にも​順位にも​影響しないと​書いています​(上の「一般的なクローラー」のページ)。
検索での​見え方を​制限するには​ nosnippet、​data-nosnippet、​max-snippet、​noindex を​使うよう​案内していて​(Google 検索セントラル:AI 機能と​ウェブサイト、2026年10月9日確認)、​こちらは​通常の​検索結果の​見え方にも​影響します。

反映には​時間が​かかります。
OpenAIは​書き換えから​24時間ほど、​Perplexityは​最大で​24時間かかると​書いています。
Anthropicは、​止めたい​サブドメインの​それぞれに​書くよう​案内しています。

目的別の​書き方の​例

ここからは、​Googleが​「便利な robots.txt ルール」として挙げている​形を、​よく​使う​順に​並べます​(Google 検索セントラル:便利な​ robots.txt ルール、2026年10月9日確認)。
どれも、​最後に​自社の​ Sitemap: の​行を​足して​使えます。

特定の​フォルダだけ読ませない

管理画面や、​作りかけの​ページを​まとめた​フォルダなどを​外すときの​形です。
末尾の​ / まで​書くと、​その​フォルダの​中だけが​対象に​なります。

User-agent: *
Disallow: /calendar/
Disallow: /junk/

サイト全体を​読ませない

公開前の​サイトや、​試しに​作った​環境で​使う形です。
この​指定を​しても、​URLが​検索の​登録に​残る​場合が​あります。

User-agent: *
Disallow: /

​

Disallow と​ Allow の​両方が​当ては​まるときは、​より​長く、​細かく​指定した​方が​使われます。
同じ​長さなら、​制限の​ゆる​い方が​使われます。
この​例では​ /public/ の​中だけが​読まれます。

User-agent: *
Disallow: /
Allow: /public/

特定の​種類の​ファイルを​読ませない

* は​「どんな文字が​何文字続いても​よい」、​$ は​「URLの終わり」を表します。
次の​例は、​.gif で​終わる​URLを​Googlebotに​読ませない​指定です。

User-agent: Googlebot
Disallow: /*.gif$

​

ファイル名は​ robots.txt、​文字コードは​UTF-8で、​サイトの​いちばん上の​階層​(https://自社のドメイン/robots.txt で​開ける​場所)に1つだけ​置きます。
/blog/robots.txt のような​下の​階層に​置いても​読まれません。
書いた​指定は、​その​ファイルを​置いた​ホスト、​https か​ http か、​ポート番号が​同じ​URLにだけ​効きます。
shop.自社のドメイン のような​サブドメインは​別の​サイトとして​扱われるので、​それぞれに​置きます。

作るときは、​メモ帳のような​テキストエディタを​使います。
ワープロソフトは​独自の​形式で​保存したり、​カーリークォート​(“ ” のような​向きの​ある​引用符)を混ぜたりすることが​あるので​使わないように、と​Googleの​説明に​あります。
大きさの​上限は​500KiBで、​それを​超えた​部分は​無視されます。

​

ひとつは、​ブラウザで​ https://自社のドメイン/robots.txt を​開いて、​中身を​読むことです。
Googleは、​シークレットウィンドウで​開いて​確かめる​方法を​挙げています。

もう​ひとつは、​Search Console の​「設定」(プロパティの設定)にある​ robots.txt レポートです。
Googleが​見つけた​ robots.txt と、​最後に​確かめた​日時、​取得できたか​どうか、​読めなかった​行が​分かります。
書き換えた後は、​ここから​再クロールを​頼めます。
この​レポートは、​ドメイン単位の​プロパティ​(パスの付かない​URLプレフィックスを​含む)でだけ使えます​(Search Console ヘルプ:robots.txt レポート、2026年10月9日確認)。

3つめは、​止まっていないか気になる​ページを、​Search Console の​ URL検査ツールに​かけることです。
同じヘルプで、​URLが​読めるか​どうかは​ここで​確かめるよう​案内されています。

robots.txt の​中身は、​Googleの​側で​通常は​最大24時間​覚えておかれるので、​書き換えても​すぐには​反映されないことがあります。
自社の​サイトで​検索・回答用の​AIの​読み取りが​止まっていないかは、​URLを​入れるだけで​確かめられるLLMO簡易診断でも、​ほかの​項目と​一緒に​見られます。

よく​ある​間違い

Disallow: / と、​何も​書かない​ Disallow: は​正反対です。
前者は​サイト全体を​止め、​後者は​何も​止めません。
1文字の​違いなので、​目で​見ても​気づきにくい所です。
公開前に​入れた​ Disallow: / が、​本番に​そのまま​残っていることもあります。
残っていると、​Google検索にも​AIの​検索にも​ほとんど​出なくなります。

robots.txt に​ noindex を​書いても​効きません。
Googleは、​robots.txt での​ noindex の​指定には​対応していないと​明記しています​(Google 検索セントラル:noindex を​使用して​検索インデックス登録を​ブロックする、2026年10月9日確認)。
逆に、​ページに​ noindex を​付けたうえで​ robots.txt で​止めると、​Googleは​ページを​読めないので、​その​ noindex に​気づけません。
検索結果から​消したい​ページは、​止めずに​ noindex を​付けます。

User-agent: * の​まとまりと、​名前を​指定したまとまりの​両方が​あると、​名前を​指定した​方だけが​使われます。
1つの​プログラムに​使われるのは、​いちばん当ては​まる​1つの​まとまりだけだからです。
* に​書いた​制限は​名前を​書いた​プログラムには​効かなくなるので、​名前を​書いたまとまりにも​同じ​制限を​書き写します。

URLの​大文字と​小文字は​区別されます。
/file.asp と​ /FILE.asp は​別の​URLです。
項目名の​ User-agent や​ Disallow は、​大文字でも​小文字でもかまいません。

robots.txt が​ない​場合や、​404のように​「見つからない」と返る​場合、​Googleは​読み取りの​制限が​ないものとして​扱います。
困るのは、​サーバーの​エラー​(500番台)が返る​場合です。
最初の​12時間、​Googleは​サイトの​読み取りを​止めます。
置かないより、​エラーを​返し続ける​方が​困ります。

robots.txt に​何も​書いていないのに、​AIの​読み取りが​止まっていることもあります。
サーバーや​セキュリティの​サービスの​設定で、​別に​止めている​場合です。
これは​ robots.txt を​読むだけでは​分からないので、​次の​節の​方法で​確かめます。

名乗って​確かめた​結果と​その​手順

2026年10月9日に、​各社の​プログラムの​名前を​名乗って、​この​記事の​ページを​取得してみました。

名乗った​プログラム提供会社結果
GooglebotGoogle200​(正常に読めた)
OAI-SearchBotOpenAI​(検索)200
GPTBotOpenAI​(学習)200
ChatGPT-UserOpenAI​(利用者の質問で​見に​行く)200
Claude-SearchBotAnthropic​(検索)200
ClaudeBotAnthropic​(学習)200
PerplexityBotPerplexity200
bingbotMicrosoft(Bing)200

同じことは、​Macの​「ターミナル」で次の​1行を​実行すれば​できます。
Windowsの​「PowerShell」では、​curl を​ curl.exe に、​/dev/null を​ NUL に​置き換えます。
-A の​後ろには​確かめたい​プログラムの​名前を、​最後に​自社の​ページの​URLを​入れます。

curl -A "OAI-SearchBot" -o /dev/null -w "%{http_code}" https://自社のドメイン/

画面に​3桁の​数字が​出ます。
200なら​正常に​読めています。
301や​302は​別の​URLに​案内されたということなので、​案内先の​URLでもう​一度​試します。
403は​読み取りを​断られた​状態で、​サーバーや​セキュリティの​サービスが​止めている​可能性が​あります。
404は​URLの​書き間違いを​疑います。
Google-Extended は​読みに​来る​プログラムではないので、​この​方法では​確かめられません。

ただし、​これは​名前を​「名乗る」だけの確認です。
本物の​プログラムは​各社が​公開している​IPアドレスから​読みに​来るので、​ファイアウォールが​その​場所からの​読み取りを​止めている​場合は、​この​方法では​分かりません。
セキュリティの​サービスを​使っているなら、​その​設定画面で、​AIの​プログラムを​止める​機能が​有効に​なっていないかも​見てください。

​

AIの​読み取りを​止めるか​どうかは、​会社として​決めて​よいことです。
そのうえで、​問い合わせを​増やしたい​会社なら、​学習用だけを​止めて、​検索・回答用は​止めない​形が​現実的だと​私は​考えています。
検索・回答用まで​止めると、​AIに​聞かれたときに​名前が​出る​道を​自分で​閉じることに​なるからです。

bundlyzeの​サイトは、​学習用も​検索用も​止めていません。
最初に​載せた​3行の​とおりです。
AIの答えで​紹介してもらうことを​優先しています。

ここまでの​3行に​なるまでに、​2回手を入れました。
2026年5月24日に​作り始めたときの​ robots.txt は​ Disallow: / で、​サイト全体を​止めていました。
検索に​出さない​指定​(X-Robots-Tag: noindex, nofollow)も、​全ページに​ヘッダーで​付けていました。
6月27日に​配信の​構成を​整理したとき、​robots.txt を​ Allow: / と​ Sitemap: の​行に​書き換え、​6月30日に​サイトを​検索に​公開した​日に、​ヘッダーの​指定を​外して、​Sitemap: の​行も​正式な​URLとして​そろえた​ https://www.bundlyze.co.jp/ に​直しました。
開発中に​止めていた​設定は、​公開に​合わせて​1つずつ外さないと​残ります。

bundlyzeは​大阪市北区の​グラングリーン大阪を​拠点に​しています。
全国から​ご相談いただけます。
打ち合わせは​Web会議でも、​対面でも​可能です。
この​記事を​書いている​津嘉山は、​業務システム開発と​AWSを​専門と​する​エンジニアで、​この​サイトの​robots.txtを​含め、SEO・LLMOの対策を​自分で​組んでいます。

Serviceサービス一覧検索にも、​AIの答えにも、​選ばれる​会社へサービスの​内容を​見る

よく​ある​質問

robots.txtは、​どこに​置けばいいですか?
サイトの​いちばん上の​階層に、​robots.txt という​名前で​1つだけ​置きます。​https://自社の​ドメイン/robots.txt で​開ける​場所です。​下の​階層に​置いたものは​読まれず、​サブドメインには​それぞれ置く​必要が​あります。
robots.txtで、​ページを​検索結果から​消せますか?
消せません。​Googleは、​robots.txtは​検索結果に​表示させないための​仕組みではないと​説明しています。​消したい​ページは、​robots.txtで​止めずに​ noindex を​付けるか、​パスワードで​守ります。
robots.txtに​ noindex を​書けば、​検索に​出なくなりますか?
なりません。​Googleは​ robots.txt での​ noindex の​指定に​対応していません。​noindex は​ページの​ meta タグか、​HTTPヘッダーの​ X-Robots-Tag で​指定します。
検索には​出たまま、​AIの​学習だけを​断れますか?
主な​提供会社に​ついては​断れます。​学習用の​ Google-Extended、​GPTBot、​ClaudeBot に​ Disallow: / を​書き、​Googlebot、OAI-SearchBot、​Claude-SearchBot、​PerplexityBot は​止めずに​おきます。​ただし robots.txt は​お願いの​仕組みなので、​従わない​プログラムには​効きません。
Google-Extendedを止めると、​AI Overviewに​出なくなりますか?
出なくなるわけではありません。​Googleは、Google-Extended は​Google検索への​掲載に​影響しないと​説明しています。​検索での​見え方を​制限する​指定は​ nosnippet や​ noindex で、​これらは​通常の​検索結果にも​影響します。
robots.txtを​置いていないと、​何か​困りますか?
置いていない​場合、​Googleは​読み取りの​制限が​ないものとして​扱います。​読ませたくない​ページが​なければ​困りません。​置いておけば、​サイトマップの​場所も​一緒に​伝えられます。
Crawl-delayで、​読みに​来る​間隔を​指定できますか?
Googleは​ Crawl-delay を​使いません。​Anthropicのように​ ClaudeBot で​使えると​案内している​提供会社も​あるので、​効くか​どうかは​相手ごとに​公式の​説明で​確かめます。

AIに​紹介されるための​取り組みの​全体は、ChatGPTの​回答に​自社を​出すにはとLLMOとは?に​書いています。
検索結果から​外したい​ページの​扱いはnoindexと​robots.txtの​違いに、​Sitemap: の​行で​知らせる​ファイルの​作り方はサイトマップの​作り方に、​AI向けの​案内の​ファイルを​置くかどうかはllms.txtとは。
作り方と​確認方法
に​まとめています。
自社サイトで​実際に​進めている​記録はbundlyzeの​LLMO・SEO実践記録に、​AIから​来た​訪問の​数え方はAIから​来た​訪問と​問い合わせを、​どう​数えるかに​書いています。

検索や​AIでの​見つかり方に​ついて
いまの​状況を​お聞かせ​ください

「何から手をつければいいか​分からない」という段階からで​構いません。

詳しく書く(任意)

送信した​あとの​流れ

  1. 24時間以内に、​担当者から​メールで​ご連絡します。
  2. 必要なときは、​Web会議か​対面で、​いまの​状況を​伺います。​全国から​ご相談いただけます。
  3. 進め方と​費用の​目安を​お伝えします。​頼むか​どうかは、​御社で​お決めください。

相談・診断までは​費用は​かかりません。
お電話:06-7688-6401(9:00〜18:00、土日祝を除く)

相談の​前に、​いまの​見え方だけ知りたい​場合は

無料の​AI検索・サイト診断を​見る

4つの​AIに​10の​質問を​した​記録と、​サイトの​点検の​結果を、​30分ほどで​ご説明します。​費用は​かかりません。