noindexと​robots.txtの​違い。​検索から​外したい​ページは、​読ませたうえで​外す

止めている​ものが、​そもそも​違う

robots.txt は、​クローラーに​「サイトの​どの​URLを​読んで​よいか」を​伝える​ファイルです。
Googleは、​これを​ページを​検索結果に​出さないための​仕組みではない、とはっきり​書いています​（⁠Google 検索セントラル：robots.txt の​概要と​ガイド、​2026年10月4日確認）。
止めた​URLでも、​ほかの​サイトから​リンクされていれば、​説明文のない​形で​検索結果に​出ることが​ある、というのが​同じ​ページの​説明です。

noindex の​ほうは、​読んだうえで​「検索結果に​出さない」と​決める​指示です。
ページを​読ませないかぎり、​指示​その​ものが​届きません。

meta タグと​ヘッダーは、​書く​場所が​違うだけで、​使える​指示は​同じです​（⁠Google 検索セントラル：robots meta タグ、​data-nosnippet、​X-Robots-Tag の​指定、​2026年10月4日確認）。

両方かけると、​noindex は​読まれない

いちばん​起こりやすいのは、​念の​ため両方かけて​おこう、という​組み合わせです。
Googleは、​noindex を​効かせるには​ robots.txt で​ページを​ブロックせず、​クローラーが​ページに​アクセスできるように​しておく​必要が​ある、と​書いています​（⁠Google 検索セントラル：noindex を​使用して​検索インデックス登録を​ブロックする、​2026年10月4日確認）。
読み取りを​禁じた​URLでは、​noindex を​含めた​検索結果への​出し方の​指示は​見つけられず、​無視される​ことになります​（robots meta タグの​ページ）。

Search Console の​URL検査でも、​この​状態は​見分けに​くくなります。
robots.txt で​ブロックしている​URLでは、​「インデックス登録を​許可？」の​欄が​常に​「はい」と​出る、と​ヘルプに​あります​（⁠Search Console ヘルプ：URL 検査ツール、​2026年10月4日確認）。
noindex を​書いたのに​「はい」と​出ていたら、​まず​ robots.txt を​疑います。

私たちの​サイトにも、​この​組み合わせが​ありました。
git の​履歴を​たどると、​2026年5月24日の​最初の​版から、​robots.txt は​ Disallow: / で​サイト全体を​止め、​同時に​全ページに​ X-Robots-Tag: noindex, nofollow を​付ける​設定に​していました。
さらに​その​手前に、​ログインしないと​開けない​入口を​置いていました。
6月27日に​ robots.txt を​ Allow: / に​変え、​6月30日に​入口と​ヘッダーの​ noindex を​外して、​検索に​出せる​状態に​しています。

ファイルの​上では、​5月から​6月27日までの​ noindex は、​robots.txt の​陰に​隠れる​書き方でした。
ただ、​実際には​ robots.txt も​入口の​後ろに​あり、​ログインしていない​Googleが​受け取れたのは、​ログインを​求める​画面だけでした。
Googleは、​robots.txt を​取りに​来て​ 4xx の​エラー​（429 を​除く）が​返ると、​robots.txt が​ない​もの、​つまり​読み取りの​制限が​ない​ものとして​扱います​（⁠Google 検索セントラル：Google に​よる​ robots.txt の​指定の​解釈、​2026年10月4日確認）。
つまり、​書いた​ Disallow: / も​ noindex の​ヘッダーも​Googleには​届いておらず、​検索から​隠していたのは​ログインの​入口でした。
重ねた​設定の​うち、​効いていたのは​1つだけだった​ことになります。
Googleも、​検索に​出さない​方法の​1つに、​パスワードで​守って​許可した​人だけが​開けるように​する​ことを​挙げています​（⁠Google 検索セントラル：Google 検索から​コンテンツを​削除する、​2026年10月4日確認）。

どちらを​使うか

迷ったら、​「検索結果から​外したいのか」​「読みに​来る​こと自体を​減らしたいのか」で​分けます。

robots.txt が​向いているのは、​最後の​行のような、​読み取りの​量を​抑えたい​ときです。
検索結果から​外す目的で​使う​場面は、​ほぼありません。

noindex の​書き方

ページに​書くなら、​<head> の​中に​次の​1行を​入れます。

<meta name="robots" content="noindex">

ヘッダーで​付けるなら、​サーバーの​応答に​次の​行が​入るように​設定します。

X-Robots-Tag: noindex

設定の​場所は、​使っている​サーバーや​サービスに​よって​変わります。
私たちが​開発中に​使っていたのは、​配信サービスの​ _headers という​設定ファイルで、​/* の​下に​1行足すだけで​全ページに​付く​設定です。
手軽な​ぶん、​外し忘れた​ときの​影響も​サイト全体に​及びます。

nofollow は​「この​ページの​リンクを​たどらない」という​別の​指示です。
ページだけを​外して、​ページの​中の​リンクは​た​どって​ほしいなら、​付けません。

付けたら、​URL検査で​確かめる

noindex は、​Googleが​次に​その​ページを​読んだ​ときに​効きます。
ページに​よっては、​読み直しまで​数か​月かかる​こともあり、​URL検査から​読み直しを​頼めます​（noindex の​ページ、​2026年10月4日確認）。

確かめる​場所は、​Search Console の​URL検査です。

1. 上の​検索窓に、​外したい​ページの​URLを​入れる
2. 「公開URLを​テスト」で、​いまの​ページに​ noindex が​入っているかを​見る
3. 「インデックス登録を​許可？」が​「いいえ」に​なっているかを​見る
4. 「クロール済みの​ページを​表示」で、​Googleが​受け取った​HTMLや​応答の​ヘッダーを​見る

画面の​上に​出る​結果は、​前回登録された​ときの​状態で、​いま公開している​ページと​同じとは​限りません​（URL 検査ツールの​ヘルプ）。
「公開URLを​テスト」と​見比べるのは​その​ためです。

私たちは​2026年10月3日の​夜、​関西の​外の​8県を​扱った​記事を、​消さずに​ noindex に​しました。
robots.txt には​手を​入れず、​記事の​ページに​ <meta name="robots" content="noindex, follow"> を​書いています。
同時に、​サイトマップ、​記事の​一覧、​関連記事の​欄からも​外しました。
noindex を​付けた​ページを​サイトマップに​残すと、​検索に​出したいのか出したくないのか、​食い​違った​知らせ方に​なるからです。

翌10月4日に、​8本を​URL検査の​仕組み​（API）で​調べた​結果は​次の​とおりです。

4本は、​付けた​当日の​夜から​翌日に​かけて​読み直され、​外れていました。
1本は、​noindex を​付ける​前の​10月2日に​読まれた​きりで、​まだ​登録されたままです。
残りの​3本は、​もともと​Googleに​見つかっていませんでした。
同じ​日に​同じ​書き方で​付けても、​外れる​日は​ページごとに​違います。

急いで​消したい​ときは、​削除ツール

誤って​公開した​情報のように​急ぐ​ときは、​Search Console の​削除ツールを​使います。
自分の​プロパティの​URLなら、​リクエストの​処理は​長くても​1日ほどです​（⁠Search Console ヘルプ：削除ツール、​2026年10月4日確認）。

ただし、​効き目は​およそ6か月の​一時的な​ものです。
その​あいだに、​ページを​消して​404か​410を​返すか、​パスワードを​かけるか、​noindex を​付けて、​恒久的に​外します。
削除ツールの​ヘルプも、​ブロックする​手段として​ robots.txt を​使わないように​書いています。

robots.txt の​書き方​その​ものと、​AIの​クローラーの​分け方はrobots.txtとはに、​サイトマップに​載せる​URLの​決め方はサイトマップの​作り方に​書いています。

bundlyzeは、​大阪市北区の​グラングリーン大阪を​拠点に、​大阪・兵庫を​中心とした​関西の​会社からの​ご相談に​対応していて、​打ち合わせは​Web会議でも​対面でも​できます。
全国から​オンラインでも​ご相談いただけます。
この​記事を​書いた​津嘉山は、​業務システム開発と​AWSを​専門と​する​エンジニアで、​この​サイトの​開発中の​目隠しの​設定も、​記事を​ noindex に​する​仕組みも​自分で​組み、​URL検査の​結果を​ API で​取り出して​確かめています。

外したい​ページが​あるなら、​まず​ robots.txt で​その​URLを​止めていないかを​見てから、​noindex を​書くのが​順番です。