robots.txtで​AIの​読み取りを​拒否すべきか。​学習用と​検索用を​分けて​考える

robots.txtとは

robots.txtは、​サイトの​一番上に​置く​小さな​テキストファイルです。​検索エンジンや​AIの​プログラムに​対して、​「この​サイトの​この​部分は​読んでいい」​「ここは​読まないで」と​伝えます。​https://自社のドメイン/robots.txt を​ブラウザで​開くと、​中身を​確かめられます。

ここで​気を​つけたいのは、​AIの​提供会社が、​目的ごとに​別々の​プログラムを​持っている​ことです。​どの​プログラムを​止めるかで、​結果が​大きく​変わります。

学習用と、​検索・回答用の​違い

主な​AIの​提供会社は、​次のように​読み取りの​プログラムを​分けています。

OpenAIには、​ほかに​ ChatGPT-User という​プログラムも​あります。​利用者が​ChatGPTで​質問した​ときに、​その​場で​ページを​見に​行く​ための​もので、​検索の​答えに​表示されるか​どうかの​判断には​使わないとされています。

目的ごとの、​考え方

学習には​使われたくないが、​AIの​回答には​出たい

多くの​会社に​とって、​いちばん現実的な​考え方です。​止めるのは​学習用の​プログラムだけに​して、​検索・回答用は​止めません。

• 止める​：GPTBot、​Google-Extended など​学習用
• 止めない​：OAI-SearchBot、​Googlebot、​PerplexityBot など​検索・回答用

AIの​回答に​出る​ことを​優先したい

問い合わせを​増やすために、​AIの​回答で​紹介されたい​会社は、​検索・回答用の​プログラムを​止めない​ことが​大前提です。​学習用を​止めるか​どうかは、​会社の​考え方で​決めます。

AIに​一切​関わりたくない

すべてを​止める​こともできます。​ただし、​その​場合は​AIの​回答で​自社が​紹介される​機会も​手放すことになります。​Google検索​その​もの​（Googlebot）まで​止めると、​通常の​検索結果にも​出なくなるので、​ここは​止めません。

やりがちな​失敗

• 「AIを​止める」つもりで、​検索用まで​止めている。 ChatGPTの​検索の​答えなどに、​自社が​出なくなります
• 自社で​設定した​覚えが​ないのに、​止まっている。 制作会社の​設定や、​セキュリティの​サービスが、​まとめて​AIの​読み取りを​止めている​ことがあります
• robots.txtで、​Google検索まで​止めている。 公開前の​確認用の​設定が、​そのまま​本番に​残っている​ことがあります。​Disallow: / が​全体に​かかっていないか​確かめます

まず、​自社の​ robots.txt を​確かめる

1. ブラウザで​ https://自社のドメイン/robots.txt を​開く
2. User-agent: の​行に、​どの​プログラムの​名前が​書かれているかを​見る
3. その​下の​ Disallow: で、​何を​止めているかを​見る
4. 検索・回答用の​プログラム​（OAI-SearchBot、​Googlebot、​PerplexityBot）が​止まっていないかを​確かめる

robots.txtが​置かれていない​場合は、​すべての​プログラムに​読み取りを​許している​状態です。​AIの​回答に​出る​ことを​優先するなら、​それで​問題は​ありません。​AIに​紹介される​ための​取り組みの​全体は、ChatGPTに​自社を​紹介して​もらうにはとLLMOとは？に​まとめています。

私たちの​サイトで、​各社の​プログラムを​名乗って​確かめた​結果

bundlyzeの​サイトでは、​学習用・検索用ともに、​AIの​プログラムを​止めていません。​AIの​答えで​自社を​紹介して​もらう​ことを​優先している​ためです。

robots.txt を​読むだけでは、​本当に​読める​状態かまでは​分かりません。​そこで​2026年10月1日に、​各社の​プログラムの​名前を​名乗って、​自社の​コラムの​ページを​取得してみました。

同じ​確かめ方を、​自社でする​手順

Macの​「ターミナル」で、​次の​1行を​実行します。​Windowsの​「PowerShell」では、​先頭の​ curl を​ curl.exe に、​/dev/null を​ NUL に​置き換えます。​-A の​後ろには、​確かめたい​プログラムの​名前を​含む文字列を​入れ、​最後に​自社の​ページの​URLを​入れます。

curl -A "OAI-SearchBot" -o /dev/null -w "%{http_code}" https://自社のドメイン/

画面に​出る​3桁の​数字で、​結果を​読みます。

プログラムの​名前を​1つずつ​入れ替えて、​検索・回答用の​ものが​すべて​200に​なるかを​見ます。

AIに​紹介される​ための​取り組みを、​自社サイトで​どう​進めているかは、bundlyzeの​LLMO⁠・⁠SEO実践記録で​公開しています。​AI向けの​案内の​ファイルを​置くかどうかは、llms.txtとは。​作り方と​確認方法で​整理しています。

止めるのは、​学習用だけで​十分な​ことが​多い

AIの​読み取りを​止めるか​どうかは、​会社の​考え方で​決めて​よい​ことです。​ただ、​学習用と​検索・回答用を​区別せずに​止めると、​AIの​回答で​紹介される​機会まで​失います。​止めるなら、​どの​プログラムを​止めるのかを​1つずつ​確かめる。​それだけで、​意図しない​損を​防げます。

まずは​今日、​自社の​ robots.txt を​開いて、​中身を​確かめてみてください。