bundlyze
  1. ホーム
  2. コラム
  3. SEO・LLMO
  4. noindexとrobots.txtの違い。検索から外したいページは、読ませたうえで外す

noindexと​robots.txtの​違い検索から​外したい​ページは​読ませたうえで​外す

noindexは​検索結果に​出さない​指示、​robots.txtは​URLを​読みに​来ないでほしいという​お願いで、​両方かけると​noindexが​読まれません。​使い分け、X-Robots-Tagの書き方、​URL検査での​確かめ方、​削除ツールを、​自社で​記事を​外した​記録と​一緒に​書きます。

この​記事の​結論

noindexは​「このページを​検索結果に​出さないで」という指示で、​robots.txtは​「このURLを​読みに​来ないで」というお願いです。
止めているものが​違うので、​検索結果から​外したい​ページには​ noindex を​使い、​robots.txt では​止めません。
robots.txt で​読み取りを​止めると、​Googleは​ページの​中の​ noindex を​読めず、​ほかの​サイトから​リンクされていれば、​URLだけが​検索結果に​出ることがあります。
PDFのように​HTMLでない​ファイルは、​サーバーの​応答に​ X-Robots-Tag: noindex を​付けて​外します。
付けた​後は​ Search Console の​URL検査で、​Googleが​ noindex に​気づいたかを​確かめます。
急ぐときは​削除ツールで​一時的に​隠し、​その​あいだに​ noindex や​削除で​恒久的に​外します。

株式会社bundlyze​(バンドライズ)は、​大阪市北区​(グラングリーン大阪)の会社です。​SEOと​AI検索​(LLMO)対策で、​中小企業の​ホームページが​検索と​AIの答えに​出るよう​支援しています。

​

robots.txt は、​クローラーに​「サイトのどの​URLを​読んで​よいか」を伝える​ファイルです。
Googleは、​これを​ページを​検索結果に​出さないための​仕組みではない、とはっきり​書いています​(Google 検索セントラル:robots.txt の​概要と​ガイド、2026年10月4日確認)。
止めた​URLでも、​ほかの​サイトから​リンクされていれば、​説明文のない​形で​検索結果に​出ることが​ある、というのが​同じ​ページの​説明です。

noindex のほうは、​読んだうえで​「検索結果に出さない」と決める​指示です。
ページを​読ませないかぎり、​指示​そのものが​届きません。

robots.txt の​ Disallow<meta name="robots" content="noindex">X-Robots-Tag: noindex
伝えることこの​URLを​読みに​来ないでこの​ページを​検索結果に​出さないでこの​ファイルを​検索結果に​出さないで
書く​場所サイト直下の​ robots.txtページの​HTMLの​ <head> の​中サーバーが​返す応答の​ヘッダー
効く​相手フォルダ単位や​サイト全体で、​まとめてその​ページだけ設定しだいで、​1ファイルから​サイト全体まで
HTML以外の​ファイル止められる書けないPDFや​画像にも​付けられる
検索結果から​外れるか外れるとは​限らない次に​読まれたときに​外れる次に​読まれたときに​外れる

meta タグと​ヘッダーは、​書く​場所が​違うだけで、​使える​指示は​同じです​(Google 検索セントラル:robots meta タグ、data-nosnippet、​X-Robots-Tag の​指定、2026年10月4日確認)。

​

いちばん​起こりやすいのは、​念のため両方かけて​おこう、という​組み合わせです。
Googleは、​noindex を​効かせるには​ robots.txt で​ページを​ブロックせず、​クローラーが​ページに​アクセスできるように​しておく​必要が​ある、と​書いています​(Google 検索セントラル:noindex を​使用して​検索インデックス登録を​ブロックする、2026年10月4日確認)。
読み取りを​禁じた​URLでは、​noindex を​含めた​検索結果への​出し方の​指示は​見つけられず、​無視されることになります​(robots meta タグの​ページ)。

Search Console の​URL検査でも、​この​状態は​見分けに​くくなります。
robots.txt で​ブロックしている​URLでは、「インデックス登録を許可?」の欄が​常に​「はい」と出る、と​ヘルプに​あります​(Search Console ヘルプ:URL 検査ツール、2026年10月4日確認)。
noindex を​書いたのに​「はい」と出ていたら、​まず​ robots.txt を​疑います。

私たちの​サイトにも、​この​組み合わせが​ありました。
git の​履歴を​たどると、​2026年5月24日の​最初の​版から、​robots.txt は​ Disallow: / で​サイト全体を​止め、​同時に​全ページに​ X-Robots-Tag: noindex, nofollow を​付ける​設定に​していました。
さらに​その​手前に、​ログインしないと​開けない​入口を​置いていました。
6月27日に​ robots.txt を​ Allow: / に​変え、​6月30日に​入口と​ヘッダーの​ noindex を​外して、​検索に​出せる​状態に​しています。

ファイルの​上では、​5月から​6月27日までの​ noindex は、​robots.txt の​陰に​隠れる​書き方でした。
ただ、​実際には​ robots.txt も​入口の​後ろに​あり、​ログインしていない​Googleが​受け取れたのは、​ログインを​求める​画面だけでした。
Googleは、​robots.txt を​取りに​来て​ 4xx の​エラー​(429 を​除く)が返ると、​robots.txt が​ないもの、​つまり​読み取りの​制限が​ないものとして​扱います​(Google 検索セントラル:Google に​よる​ robots.txt の​指定の​解釈、2026年10月4日確認)。
つまり、​書いた​ Disallow: / も​ noindex の​ヘッダーも​Googleには​届いておらず、​検索から​隠していたのは​ログインの​入口でした。
重ねた​設定のうち、​効いていたのは​1つだけだったことになります。
Googleも、​検索に​出さない​方法の​1つに、​パスワードで​守って​許可した​人だけが​開けるように​することを​挙げています​(Google 検索セントラル:Google 検索から​コンテンツを​削除する、2026年10月4日確認)。

どちらを​使うか

迷ったら、「検索結果から外したいのか」「読みに来ること自体を​減らしたいのか」で分けます。

したいこと使うもの理由
公開している​ページを、​検索結果に​だけ出さないnoindex​(meta タグ)読ませたうえで​外せる
PDFや​画像を、​検索結果に​出さないX-Robots-TagHTMLでないので​ meta タグが​書けない
公開前の​サイトや、​社内向けの​ページを​見せないパスワード​(ログイン)人にも​クローラーにも​開けない
ページ​そのものを​消した404 か​ 410 を​返すもう​存在しないと​伝える
絞り込みの​組み合わせで​無数に​できる​URLを、​読みに​来させないrobots.txt読み取りの​量を​減らすのが​目的

robots.txt が​向いているのは、​最後の​行のような、​読み取りの​量を​抑えたいときです。
検索結果から​外す目的で​使う​場面は、​ほぼありません。

noindex の​書き方

ページに​書くなら、​<head> の​中に​次の​1行を​入れます。

<meta name="robots" content="noindex">

ヘッダーで​付けるなら、​サーバーの​応答に​次の​行が​入るように​設定します。

X-Robots-Tag: noindex

設定の​場所は、​使っている​サーバーや​サービスに​よって​変わります。
私たちが​開発中に​使っていたのは、​配信サービスの​ _headers という​設定ファイルで、​/* の​下に​1行足すだけで​全ページに​付く​設定です。
手軽な​ぶん、​外し忘れたときの​影響も​サイト全体に​及びます。

nofollow は​「このページの​リンクを​たどらない」という別の​指示です。
ページだけを​外して、​ページの​中の​リンクは​た​どってほしいなら、​付けません。

​

noindex は、​Googleが​次に​その​ページを​読んだときに​効きます。
ページに​よっては、​読み直しまで​数か​月かかることもあり、​URL検査から​読み直しを​頼めます​(noindex の​ページ、2026年10月4日確認)。

確かめる​場所は、​Search Console の​URL検査です。

  1. 上の​検索窓に、​外したい​ページの​URLを​入れる
  2. 「公開URLをテスト」で、​いまの​ページに​ noindex が​入っているかを​見る
  3. 「インデックス登録を許可?」が「いいえ」になっているかを​見る
  4. 「クロール済みのページを​表示」で、​Googleが​受け取った​HTMLや​応答の​ヘッダーを​見る

画面の​上に​出る​結果は、​前回登録されたときの​状態で、​いま公開している​ページと​同じとは​限りません​(URL 検査ツールの​ヘルプ)。
「公開URLをテスト」と見比べるのは​そのためです。

私たちは​2026年10月3日の​夜、​関西の​外の​8県を​扱った​記事を、​消さずに​ noindex に​しました。
robots.txt には​手を入れず、​記事の​ページに​ <meta name="robots" content="noindex, follow"> を​書いています。
同時に、​サイトマップ、​記事の​一覧、​関連記事の​欄からも​外しました。
noindex を​付けた​ページを​サイトマップに​残すと、​検索に​出したいのか出したくないのか、​食い​違った​知らせ方に​なるからです。

翌10月4日に、​8本を​URL検査の​仕組み​(API)で調べた​結果は​次の​とおりです。

状態本数Googleが​最後に​読んだ​日​時​(日本時間)
noindex タグに​よって​除外されました410月3日23時台〜10月4日17時台
登録済みのまま110月2日​(noindex を​付ける​前)
URL が​ Google に​認識されていません3記録なし

4本は、​付けた​当日の​夜から​翌日に​かけて​読み直され、​外れていました。
1本は、​noindex を​付ける​前の​10月2日に​読まれた​きりで、​まだ​登録されたままです。
残りの​3本は、​もともと​Googleに​見つかっていませんでした。
同じ​日に​同じ​書き方で​付けても、​外れる​日は​ページごとに​違います。

​

誤って​公開した​情報のように​急ぐときは、​Search Console の​削除ツールを​使います。
自分の​プロパティの​URLなら、​リクエストの​処理は​長くても​1日ほどです​(Search Console ヘルプ:削除ツール、2026年10月4日確認)。

ただし、​効き目は​およそ6か月の​一時的なものです。
その​あいだに、​ページを​消して​404か​410を​返すか、​パスワードを​かけるか、​noindex を​付けて、​恒久的に​外します。
削除ツールの​ヘルプも、​ブロックする​手段として​ robots.txt を​使わないように​書いています。

反対に、​載せたい​ページに​ noindex が​付いたままに​なっていないかは、​公開した​後に​一度​確かめておきます。
LLMO簡易診断に​URLを​入れると、「検索に載せない​指定を​していない」「AIの検索用の​読み取りを​止めていない」を含む​10の​項目を​まとめて​確かめられます。

Serviceサービス一覧検索にも、​AIの答えにも、​選ばれる​会社へサービスの​内容を​見る

よく​ある​質問

robots.txt で​止めた​ページが、​検索結果に​出てしまいます。​どうすればいいですか?
robots.txt の​止める​指定を​外して​クローラーが​読めるようにし、​ページに​ noindex を​付けます。​次に​読まれたときに​外れます。​急ぐなら、​あわせて​削除ツールで​一時的に​隠します。
noindex と​ robots.txt の​両方を​書いておけば、​より​確実ですか?
確実には​なりません。​robots.txt で​読み取りを​止めると、​Googleは​ページの​中の​ noindex を​読めないので、​noindex が​効かなくなります。
noindex を​付けた​ページは、​サイトマップから​外すべきですか?
外します。​サイトマップは​検索結果に​出したい​ページを​知らせるものなので、​出さないと​決めた​ページを​載せると、​知らせ方が​食い​違います。
noindex を​付けてから、​どの​くらいで​検索結果から​消えますか?
Googleが​次に​その​ページを​読んだときです。​私たちの​サイトでは、​付けた​当日の​夜に​外れた​ページも​あれば、​翌日も​まだ​登録されたままの​ページも​ありました。​URL検査から​読み直しを​頼むこともできます。
ほかの​検索エンジンでも、​noindex は​同じように​効きますか?
Googleは、​検索エンジンに​よっては​ noindex を​別の​意味に​解釈することが​あると​書いています。​Bing などで​確かめたいときは、​それぞれの​管理画面で​状態を​見ます。

robots.txt の​書き方​そのものと、​AIの​クローラーの​分け方はrobots.txtとはに、​サイトマップに​載せる​URLの​決め方はサイトマップの​作り方に​書いています。

bundlyzeは​大阪市北区の​グラングリーン大阪を​拠点に​しています。
全国から​ご相談いただけます。
打ち合わせは​Web会議でも、​対面でも​可能です。
この​記事を​書いた​津嘉山は、​業務システム開発と​AWSを​専門と​する​エンジニアで、​この​サイトの​開発中の​目隠しの​設定も、​記事を​ noindex に​する​仕組みも​自分で​組み、​URL検査の​結果を​ API で​取り出して​確かめています。

外したい​ページが​あるなら、​まず​ robots.txt で​その​URLを​止めていないかを​見てから、​noindex を​書くのが​順番です。

検索や​AIでの​見つかり方に​ついて
いまの​状況を​お聞かせ​ください

「何から手をつければいいか​分からない」という段階からで​構いません。

詳しく書く(任意)

送信した​あとの​流れ

  1. 24時間以内に、​担当者から​メールで​ご連絡します。
  2. 必要なときは、​Web会議か​対面で、​いまの​状況を​伺います。​全国から​ご相談いただけます。
  3. 進め方と​費用の​目安を​お伝えします。​頼むか​どうかは、​御社で​お決めください。

相談・診断までは​費用は​かかりません。
お電話:06-7688-6401(9:00〜18:00、土日祝を除く)

相談の​前に、​いまの​見え方だけ知りたい​場合は

無料の​AI検索・サイト診断を​見る

4つの​AIに​10の​質問を​した​記録と、​サイトの​点検の​結果を、​30分ほどで​ご説明します。​費用は​かかりません。