robots.txtとは？触るべきかの判断と書き方・確認方法

robots.txt（ロボッツ・テキスト）とは、Googleなどの検索エンジンのプログラムに「サイトの中の、どのアドレスを読みに来てよいか」を伝えるための、文字だけのファイルです。サイトのいちばん上の階層に robots.txt という名前で置かれていて、https://example.com/robots.txt のように、誰でもブラウザで開いて中身を見られます。

名前は知っていても、自分のサイトで何をすればよいのか分からない、という方は多いと思います。先に結論を言うと、小さな会社やお店のサイトの多くは、robots.txt を自分で書き換える必要はありません。WordPressやWixなどの仕組みが、最初からふさわしい中身を用意しているからです。やっておきたいのは、「サイト全体を読ませない」書き方が残っていないかを一度確かめることと、robots.txt を「検索結果から消す設定」と取り違えないことの2つです。

この記事では、本業の合間に自社のホームページやブログを運営している方に向けて、robots.txt の役割、自分で触る必要があるかの見分け方、検索に出さない設定との違い、中身の読み方と書き方、使っている仕組みごとの扱い、サーチコンソール（Search Console）での確かめ方、AIのクローラーを止めるかどうかの考え方を、Googleの公式ドキュメントを根拠に順番に説明します。

robots.txt とは、プログラムに「読んでよい場所」を伝えるファイル

robots.txt は、サイトを読みに来るプログラムに向けて、読んでよい場所と読まないでほしい場所を書いておくファイルです。Googleのrobots.txt の概要とガイド（外部サイト・新しいタブで開きます）は、robots.txt を、検索エンジンのクローラーに対して、サイトのどのURLにアクセスしてよいかを伝えるもの、と説明しています。クローラーとは、ページを自動で読みに来るプログラムのことで、Googleのクローラーは「Googlebot」と呼ばれます。

同じガイドによると、robots.txt の主な目的は、クローラーのアクセスでサーバーに負担がかかりすぎないようにすることです。たくさんのページを持つサイトが、検索に出す必要のない似たページを読ませないようにする、といった使い方が想定されています。

置き場所は、サイトのいちばん上の階層に1つだけ

robots.txt には、置き場所と名前に決まりがあります。Googleのrobots.txt の作成と送信（外部サイト・新しいタブで開きます）によると、ファイル名は「robots.txt」でなければならず、各サイトに置ける robots.txt は1つだけで、適用したいサイトのいちばん上の階層（ルート）に置く必要があります。https://example.com/blog/robots.txt のように下の階層に置いても、プログラムは読みません。

決まりの大もとは、2022年9月にインターネットの技術標準を定める団体が公開したRFC 9309（Robots Exclusion Protocol）（外部サイト・新しいタブで開きます）という文書です。ここでも、ファイルはサイトの最上位の「/robots.txt」に、すべて小文字の名前で置くと定められています。

同じ会社のサイトでも、shop.example.com のように頭に別の名前が付いたアドレス（サブドメイン）は、別のサイトとして扱われます。robots.txt の作成と送信（外部サイト・新しいタブで開きます）は、robots.txt は置いたサイトのプロトコル・ホスト・ポートの中にあるパスにだけ適用されるとしています。ネットショップを別のアドレスで運営しているなら、robots.txt もそちらに別に置かれます。

守るかどうかは、読みに来るプログラムしだい

robots.txt は「お願い」であって、鍵ではありません。robots.txt の概要とガイド（外部サイト・新しいタブで開きます）は、robots.txt の指示を強制適用することはできず、従うかどうかはクローラーしだいであること、クローラーによってルールの解釈が異なる可能性があることを、注意点として挙げています。Googlebotなどの信頼できるクローラーは従いますが、すべてのプログラムが従うわけではありません。

RFC 9309（外部サイト・新しいタブで開きます）も、robots.txt のルールはアクセスを許可・制限する仕組み（アクセス認可）ではなく、きちんとしたセキュリティ対策の代わりにはならないと書いています。人に見られて困るページを守りたいなら、パスワードをかける必要があります。この点は、あとの「やってはいけない書き方」でもう一度触れます。

状況別の読み分け早見表

今の状況に近い行から読むと、必要なところにすぐたどり着けます。

自分で触る必要があるかの見分け方

多くの小さな会社やお店のサイトでは、robots.txt を自分で書き換える必要はありません。次の3つの問いに順に当てはめてください。

ホームページ作成サービスなら、まずサービスの設定を使う

Wixなどのホームページ作成サービスを使っているなら、robots.txt はサービスが作って管理しています。robots.txt の作成と送信（外部サイト・新しいタブで開きます）も、WixやBloggerなどのサイトホスティングサービスを利用している場合は、robots.txt を編集できない、もしくは編集しなくてよい場合があり、その場合はサービスの検索エンジン向けの設定を使うよう案内しています。

「このページを検索に出したくない」「サイトを公開前で隠したい」といった目的は、たいていサービスのページごとの設定や公開設定で済みます。robots.txt の画面を探す前に、まずそちらを確かめてください。

WordPressなら、自動で用意された中身のままでよいことが多い

WordPressは、サーバーに robots.txt のファイルを置いていなくても、robots.txt のアドレスが開かれたときに、その場で中身を作って返す仕組みを持っています。WordPressの開発者向けドキュメントのdo_robots() の説明（外部サイト・新しいタブで開きます）によると、作られる中身は、すべてのプログラムに向けて管理画面のアドレスを読ませない行と、管理画面の中で使う1つのファイル（admin-ajax.php）だけは読ませる行です。

これは、管理画面のように検索に出す必要のない場所だけを外した、控えめな内容です。ブログ記事や固定ページはすべて読める状態なので、小さなサイトならこのままで困ることはまずありません。SEO対策用のプラグインを入れている場合は、プラグインが中身を書き足していることもあります。

書き換えが必要になるのは、限られた場面だけ

自分で robots.txt を書き換えることになるのは、おおむね次のような場面です。

• サイト全体を読ませない書き方（Disallow: /）が、公開後も残っている。
• 絞り込みや並べ替えで、ほぼ同じ一覧ページが何千通りものアドレスで作られ、そのクロールでサーバーが重くなっている。
• ChatGPTなどのAIの学習に、サイトの文章を使わせたくない。
• サイトマップのアドレスを書き足したい。

1つ目は今すぐ直すべき問題です。2つ目は、ネットショップのように商品数の多いサイトで起きることで、ページ数の少ないサイトにはまず当てはまりません。3つ目と4つ目は、やるかどうかを選べることです。どれにも当てはまらないなら、robots.txt は「中身を一度確かめる」だけで十分です。

robots.txt でできること・できないこと

robots.txt について最も多い取り違えは、「robots.txt に書けば、そのページは検索結果から消える」という思い込みです。robots.txt の概要とガイド（外部サイト・新しいタブで開きます）は、robots.txt はGoogleにウェブページが表示されないようにするためのメカニズムではない、とはっきり書いています。

読ませないようにしても、アドレスは検索に出ることがある

robots.txt で読ませないようにしたページも、ほかのページからリンクされていると、アドレスが検索結果に出ることがあります。robots.txt の概要とガイド（外部サイト・新しいタブで開きます）によると、robots.txt でブロックされたページのURLが検索結果に表示されることはあり、その場合は説明文が表示されません。Googleはページの中身を読めないので、ほかのサイトに張られたリンクなどからアドレスの存在だけを知り、そのアドレスを登録する可能性がある、と説明しています。

つまり、robots.txt で読ませないようにすると、「説明文のない状態で、アドレスだけが検索に出る」という中途半端な状態になることがあります。検索結果から確実に外したいなら、robots.txt ではなく、次に説明する「検索に載せない指示」を使います。

検索から外したいなら noindex。そのとき robots.txt で隠さない

ページを検索結果に出したくないときに使うのは、ページの中に入れる「検索に載せない指示」です。英語で noindex（ノーインデックス）と呼ばれ、ページの見えない部分（head）に <meta name="robots" content="noindex"> という1行を入れる方法などがあります。WordPressやホームページ作成サービスでは、ページごとの設定画面のチェックで入れられることが多いです。

ここで大事なのが、noindex を入れたページを、robots.txt で読ませないようにしてはいけない、という点です。Googleのnoindex を使用してインデックス登録をブロックする（外部サイト・新しいタブで開きます）は、noindex を有効にするには、robots.txt でページをブロックせず、クローラーがページにアクセスできるようにする必要がある、としています。robots.txt で読ませないと、Googleはページの中の noindex に気づけず、ほかのページからリンクされていれば検索結果に表示され続ける可能性があります。

同じページは、robots.txt に noindex のルールを書くことはGoogleではサポートされていない、とも書いています。古い解説では robots.txt に Noindex: と書く方法が紹介されていることがありますが、いまは効きません。

すでに「クロール済み - インデックス未登録」などの一覧に並んでいるページをどう扱うかは、「クロール済み - インデックス未登録」の原因と直し方で、ページの種類ごとに説明しています。

画像や動画を検索に出さないことには使える

robots.txt が「検索に出さない」ことに効く例外が、画像・動画・音声のファイルです。robots.txt の概要とガイド（外部サイト・新しいタブで開きます）は、Googleの検索結果に画像ファイル、動画ファイル、音声ファイルが表示されないようにするために、robots.txt を使用できるとしています。ただし、ほかのサイトがその画像に直接リンクしたり、画像を載せたりすることまでは防げません。

一方で、ページの見た目を作るファイル（CSSやJavaScript）や、ページに表示する画像を読ませないようにするのは避けます。同じガイドは、それらのリソースがないとGoogleのクローラーがページを把握しにくくなる場合はブロックしないよう、注意しています。

自分のサイトの robots.txt を開いて、中身を読む

自分のサイトの robots.txt は、ブラウザのアドレス欄に、サイトのアドレスに続けて /robots.txt を入れると開けます。例えば、サイトが https://example.com なら https://example.com/robots.txt です。robots.txt の作成と送信（外部サイト・新しいタブで開きます）も、ブラウザのシークレットウィンドウ（履歴を残さないウィンドウ）で開いて、ファイルの内容が表示されるかを確かめる方法を紹介しています。

開くと、次のような数行の文字が出ます。これはrobots.txt の作成と送信（外部サイト・新しいタブで開きます）に載っている例と同じものです。

User-agent: Googlebot
Disallow: /nogooglebot/

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

「ページが見つかりません」と出た場合は、robots.txt が無い状態です。無くても困ることはありません。GoogleのGoogle による robots.txt の指定の解釈（外部サイト・新しいタブで開きます）によると、robots.txt のアドレスが「見つからない」を意味する4xxの応答を返すと、Googleはクロールの制限はないものとみなします。つまり、サイト全体を読んでよいと受け取ります。

4つの項目の意味

robots.txt に書く項目は、主に4つです。robots.txt の作成と送信（外部サイト・新しいタブで開きます）の説明を、言い換えて並べます。

上の例は、「Googlebotは /nogooglebot/ から始まる場所を読まないこと。ほかのすべてのプログラムは、サイト全体を読んでよい。サイトマップはこのアドレスにある」という意味になります。User-agent の行のあとに、そのプログラム向けの Disallow や Allow の行が続き、空の行で次のまとまりに区切ります。# から始まる行は、人が読むためのメモ（コメント）で、プログラムは無視します。

Sitemap の行は、Googleにサイトマップの場所を知らせるためのものです。サイトマップを送る方法としては、サーチコンソールで送るほうが状態を画面で確かめられるので便利です。違いはXMLサイトマップとはの「robots.txt に書いておく方法もある」の項で説明しています。

よく見かける3つの形と、その意味

実際のサイトで見かける robots.txt は、だいたい次の3つの形のどれかです。

1つ目と2つ目は、特に何もしなくて構いません。困るのは3つ目です。Disallow: / の「/」はサイトのいちばん上を指すので、サイトのすべてのページを読ませない、という意味になります。制作中に検索に出ないようにした設定が、公開後もそのまま残っていることがあります。会社名や店名で検索しても出てこないなら、ホームページが検索に出てこない原因と対処で、ほかの原因もあわせて確かめてください。

細かい決まり｜大文字と小文字、長いほうが優先

書き換えたり、複雑な robots.txt を読んだりするときは、GoogleのGoogle による robots.txt の指定の解釈（外部サイト・新しいタブで開きます）にある次の決まりを押さえておくと、読み違えません。

• 場所の書き方は、大文字と小文字を区別する。 Disallow: /Admin/ と書いても、/admin/ には効きません。一方、User-agent や Disallow といった項目名は、大文字でも小文字でも構いません。
• 場所は「/」から始める。 Disallow: admin/ のように「/」を省くと、意図どおりに働きません。
• 当てはまるルールが複数あるときは、道すじが長い（より細かい）ほうが勝つ。 Disallow: /shop/ と Allow: /shop/info/ があれば、/shop/info/ は読ませ、それ以外の /shop/ は読ませません。長さが同じで食い違うときは、制限の少ないほう（読ませるほう）が使われます。
• * と $ という2つの記号が使える。 * は「どんな文字が何文字続いてもよい」、$ は「アドレスの終わり」を表します。例えば Disallow: /*.pdf$ は、末尾が .pdf のアドレスをすべて読ませない、という意味です。

使っている仕組みごとの扱い

使っている仕組みによって、robots.txt を触れるかどうか、触るならどこからかが変わります。主な仕組みでの扱いは次のとおりです（2026年10月時点の各公式ドキュメントによる）。

WordPress｜「検索エンジンでの表示」は robots.txt ではなくページの指示で働く

WordPressの「設定」の「表示設定」にある「検索エンジンがサイトをインデックスしないようにする」にチェックを入れると、サイト全体が検索に出にくくなります。このチェックは以前、robots.txt に Disallow: / を書き込む形で働いていました。do_robots() の説明（外部サイト・新しいタブで開きます）の変更履歴によると、バージョン5.3でこの書き込みは取りやめられ、代わりにページの中に検索に載せない指示（robots の meta タグ）を入れる形に変わりました。

そのため、いまのWordPressでは、robots.txt を開いて Disallow: / が無くても、このチェックが入っていればサイトは検索に出ません。robots.txt と表示設定の両方を確かめてください。チェックが入っていると、サイトマップも作られなくなります。

WordPressは、5.5から自動で作るサイトマップのアドレスも robots.txt に書き込んでいます（WordPress 5.5の新しいXMLサイトマップ機能の説明（外部サイト・新しいタブで開きます）による）。SEOプラグインを入れていると、プラグインが自分のサイトマップのアドレスに書き換えていることもあります。開いて見たときに Sitemap: の行が1つか2つあるのは、このためです。

Wix｜編集はできるが、「高度な機能」と案内されている

Wixでは、サイトダッシュボードの「SEO・GEO」から「ツールと設定」に進み、「robots.txt エディタ」で中身を見たり、書き足したりできます。Wixのヘルプサイトの robots.txt ファイルを編集する（外部サイト・新しいタブで開きます）は、robots.txt の編集は高度な機能で、変更するとサイトが検索結果に表示されなくなる可能性がある、と注意しています。同じヘルプによると、Wixはページを公開したあとに robots.txt を自動で更新し、書き換えて困ったときは、エディタの「初期設定に戻す」で元に戻せます。

ページを検索に出したくないだけなら、robots.txt エディタではなく、ページごとのSEOの設定で検索エンジンに表示しないようにするほうが確実です。

書き換えるときの決まりと、やってはいけない書き方

自分で書き換える、または制作会社に書き換えてもらうときは、Googleの決まりを守ります。小さなサイトでつまずきやすいものを並べます。

500KiBは、文字だけのファイルとしてはかなり大きな量で、小さなサイトの robots.txt が届くことはまずありません。crawl-delay は、ほかの検索エンジン向けの解説で見かけることがありますが、Googleには効きません。

やってはいけない書き方

書き換えのときに起きやすい失敗と、それぞれの避け方です。

いちばん影響が大きいのは1つ目です。制作会社にサイトを作ってもらったときは、公開の連絡を受けたら、robots.txt を開いて Disallow: / が残っていないかを自分の目で確かめてください。

サーチコンソールで確かめる手順と、反映の目安

書き換えたあと、またはいまの robots.txt がGoogleにどう読まれているかを知りたいときは、サーチコンソールの「robots.txt レポート」を使います。Search Console ヘルプ「robots.txt レポート」（外部サイト・新しいタブで開きます）によると、このレポートには、Googleが見つけた robots.txt と、前回読みに来た日、見つかった警告やエラーが表示されます。

1. サーチコンソールを開き、左のメニューの「設定」を開く。
2. 「robots.txt」の項目から、レポートを開く。
3. 一覧に出た robots.txt のアドレスと、読み込みの状態、前回読みに来た日を見る。
4. アドレスを押すと、Googleが読み込んだ robots.txt の中身と、警告やエラーの場所を確かめられる。

読み込みの状態は、次の3つのどれかです。

同じヘルプ（外部サイト・新しいタブで開きます）によると、このレポートはドメインプロパティか、https://example.com/ のように道すじの付いていないURLプレフィックスのプロパティでだけ使えます。プロパティの違いは、サーチコンソールの使い方で説明しています。

特定のページが読ませない指定になっていないかは、URL検査で見る

「このページが robots.txt で止められていないか」を1ページずつ確かめたいときは、robots.txt レポートではなく、URL検査を使います。同じヘルプ（外部サイト・新しいタブで開きます）も、特定のURLが robots.txt でブロックされているかをテストするには、URL検査ツールを使うよう案内しています。画面上部の検査の欄に確かめたいページのアドレスを入れ、「公開 URL をテスト」を押して、ページの読み込みの項目で「クロールを許可？」が「はい」になっているかを見ます。

直したら、24時間ほどで反映される

Googleは robots.txt の中身を一定の時間ためておいて（キャッシュして）使います。Google による robots.txt の指定の解釈（外部サイト・新しいタブで開きます）によると、Googleは通常、robots.txt の内容を最大24時間キャッシュに保存します。書き換えても、すぐにGoogleの動きが変わるわけではありません。

急ぐときは、robots.txt レポートで、一覧の robots.txt の右にある「その他の操作」から「再クロールをリクエスト」を選びます。robots.txt を更新する（外部サイト・新しいタブで開きます）も、キャッシュを早く更新したいときはこの機能を使うよう案内しています。ただし、robots.txt レポートのヘルプ（外部サイト・新しいタブで開きます）によると、Googleはふだんから robots.txt を頻繁に読み直すので、リクエストが必要になるのは、大事なページの読ませない指定を急いで外したいときや、読み込みのエラーを直したときくらいです。

robots.txt を直しても、止められていたあいだに読まれなかったページが、すぐに検索に出るわけではありません。ページが再び読まれ、登録されるまでには、さらに時間がかかります。

サーバーの不調で読めないと、クロールが止まることがある

robots.txt のアドレスがサーバーの不調を表すエラー（5xx）を返すと、Googleは慎重に動きます。Google による robots.txt の指定の解釈（外部サイト・新しいタブで開きます）によると、最初の12時間はサイトのクロールを止め、そのあいだも robots.txt の取得を試み続けます。うまくいかないあいだは、最後に読み込めた robots.txt を最長30日使い、それを過ぎると、一般に公開されているサイトなら robots.txt が無いものとして動きます。

robots.txt レポートで「未取得 - その他の理由」が続くときは、サイト全体の読み込みに影響が出ている可能性があるので、早めに管理者や制作会社に伝えてください。

AIのクローラーを止めるかどうかの考え方

最近は、検索エンジンだけでなく、AIの会社のプログラムもサイトを読みに来ます。robots.txt で、こうしたプログラムを名前で指定して止めることができます。ただし、プログラムごとに役割が違うので、止めると何が変わるかを知ってから決めます。

OpenAIのクローラーの説明（外部サイト・新しいタブで開きます）によると、GPTBotは生成AIの基盤モデルをより役立つ安全なものにするために使われ、止めるとサイトの内容を学習に使わないでほしいという合図になります。OAI-SearchBotはChatGPTの検索機能でサイトを表示するためのもので、2つの設定はそれぞれ別に決められます。つまり、「学習には使わせないが、ChatGPTの検索の答えには出てほしい」という選び方ができます。同じ説明によると、robots.txt を変えてから、検索の側に反映されるまで24時間ほどかかります。

同じ説明は、ChatGPT-Userという名前のプログラムについて、ユーザーがChatGPTに頼んだときにページを開くためのもので、自動でサイトを巡回するものではなく、robots.txt のルールが当てはまらない場合があるとしています。

GoogleのGoogle のクローラーの一覧（外部サイト・新しいタブで開きます）によると、Google-Extendedは、サイトの内容を次の世代のGeminiモデルの学習や、Geminiアプリでの回答の根拠に使わせるかを選ぶための名前です。Google-Extendedを止めても、Google検索でのサイトの登録や順位には影響しないと書かれています。Google-Extendedという名前のプログラムが別に読みに来るわけではなく、robots.txt での指定にだけ使う名前です。

例えば、OpenAIの学習とGeminiの学習だけを断り、ほかはこれまでどおり読ませるなら、robots.txt に次のまとまりを書き足します。

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

小さな会社やお店は、止めないほうが得になることも多い

止めるかどうかに、正解はありません。考える材料を2つ挙げます。

ひとつは、AIに名前を知ってもらう機会です。お客さんがChatGPTなどで「近くの外壁塗装の会社」のように聞いたとき、サイトの内容が読まれていなければ、答えに出てくる機会は減ります。少なくとも検索の答えに使うプログラム（OAI-SearchBotなど）は、止めないほうが見つけてもらいやすくなります。

もうひとつは、文章や写真の扱いです。時間をかけて書いた施工事例の文章や、オリジナルの写真を学習に使われたくない、と考えるのも自然です。その場合は、学習に使うプログラム（GPTBot・Google-Extended）だけを止める、という分け方ができます。どちらにしても、robots.txt は守るプログラムにしか効かないので、完全に読まれなくする方法ではないことは覚えておいてください。

robots.txt を確かめたら、次に見直したいこと

robots.txt は、Googleがサイトを読みに来るときの入口の決まりです。入口に問題が無ければ、あとは読まれたページが検索で選ばれるかどうかで、それはページの中身と、実際に検索されている言葉に答えているかで決まります。サイトマップの送信と状態の確認がまだなら、XMLサイトマップとはで、あわせて整えておくと安心です。

つむぎは、この「どの言葉で書くか、どの記事を直すか」を決める作業を手伝う道具です。サーチコンソールとつなぐと、順位・表示回数・クリック率を取り込み、キーワードごとに「新規で書く」「リライトする」「タイトルだけ直す」「内部リンクを足す」「今は様子を見る」のどれがよいかを、理由をつけて提案します。

つむぎは、robots.txt を書き換えたり、クロールの状態を調べたりする道具ではありません。robots.txt の確認と書き換えはこの記事の方法とサーチコンソールで行い、読まれるようになったページを検索で選ばれるように育てる段階で使ってください。作った下書きを読んで承認するのはあなたで、つむぎが勝手に公開することはありません。

登録時に付与される初回8クレジットで、新しい記事なら2本ほど試せます。自分のサイトの検索データでどんな提案が出るかを確かめたい場合は、無料で始めるから試してください。

よくある質問

チェックリスト

robots.txt を確かめるときに、上から順に確認してください。

• 自分のサイトのアドレスに /robots.txt を付けて開き、中身を見た。
• User-agent: * のあとに Disallow: / だけが書かれた形になっていないことを確かめた。
• WordPressなら、「表示設定」の「検索エンジンがサイトをインデックスしないようにする」にチェックが入っていないことを確かめた。
• 検索から外したいページには、robots.txt ではなく検索に載せない指示（noindex）を使っている。
• CSSやJavaScript、ページの画像を読ませない書き方をしていない。
• 人に見られたくないページは、robots.txt に書かずにパスワードをかけている。
• 書き換えたあとは、サーチコンソールの robots.txt レポートで状態が「取得済み」になり、中身が新しくなったことを確かめた。
• AIのクローラーを止めるなら、学習用と検索用のどちらを止めるかを決めてから書いた。

あわせて読む

• XMLサイトマップとは：robots.txt の Sitemap の行と、サーチコンソールでのサイトマップの送り方を知りたい人向け。
• 「クロール済み - インデックス未登録」の原因と直し方：検索に出したくないページ、出したいのに登録されないページを、どう扱うかを決めたい人向け。
• ホームページが検索に出てこない原因と対処：会社名や店名で検索しても出てこない人、robots.txt 以外の原因もまとめて確かめたい人向け。
• サーチコンソールの使い方：サーチコンソールの登録や、プロパティの種類、URL検査の使い方を画面の順に知りたい人向け。

出典

• robots.txt の概要とガイド（外部サイト・新しいタブで開きます）：robots.txt の役割と主な目的、検索に表示させないための仕組みではないこと、ブロックしたURLが説明文なしで表示されうること、画像・動画・音声への効果、CSSなどのリソースをブロックしない注意、指示を強制できないこととクローラーごとの解釈の違いの裏づけ。
• robots.txt の作成と送信（外部サイト・新しいタブで開きます）：ファイル名・1サイト1つ・ルートに置くこと、適用される範囲、UTF-8、User-agent・Disallow・Allow・Sitemap の意味、例のファイル、シークレットウィンドウでの確かめ方、ホスティングサービスでは編集できない・しなくてよい場合があることの裏づけ。
• Google による robots.txt の指定の解釈（外部サイト・新しいタブで開きます）：500KiBの上限、最大24時間のキャッシュ、4xxと5xxの扱い（12時間・30日）、より細かいルールが優先されること、* と $、パスの大文字と小文字の区別、crawl-delay などをサポートしないことの裏づけ。
• robots.txt を更新する（外部サイト・新しいタブで開きます）：更新の手順と、キャッシュを早く更新したいときに「再クロールをリクエスト」を使うことの裏づけ。
• noindex を使用してインデックス登録をブロックする（外部サイト・新しいタブで開きます）：noindex の入れ方、robots.txt でブロックすると noindex が認識されないこと、robots.txt での noindex をサポートしないことの裏づけ。
• Search Console ヘルプ「robots.txt レポート」（外部サイト・新しいタブで開きます）：レポートに表示される内容、取得ステータスの3つの値、再クロールのリクエストとその使いどころ、使えるプロパティ、URL検査で特定のURLを確かめることの裏づけ。
• RFC 9309（Robots Exclusion Protocol）（外部サイト・新しいタブで開きます）：2022年9月の公開、/robots.txt という置き場所と名前、アクセス認可の仕組みではないことの裏づけ。
• Google のクローラーの一覧（外部サイト・新しいタブで開きます）：Google-Extended の役割、Google検索での登録や順位に影響しないこと、専用のプログラムが無いことの裏づけ。
• OpenAI のクローラーの説明（外部サイト・新しいタブで開きます）：GPTBot・OAI-SearchBot・ChatGPT-User の役割、設定を別に決められること、約24時間で反映されること、ChatGPT-User に robots.txt が当てはまらない場合があることの裏づけ。
• WordPress do_robots() の説明（外部サイト・新しいタブで開きます）：WordPressが自動で作る robots.txt の中身と、5.3で検索エンジンに表示させない設定の働き方が変わったことの裏づけ。
• WordPress 5.5の新しいXMLサイトマップ機能の説明（外部サイト・新しいタブで開きます）：自動で作る robots.txt にサイトマップのアドレスを書き込むこと、検索エンジンに表示させない設定ではサイトマップが作られないことの裏づけ。
• Wix ヘルプ「サイトの robots.txt ファイルを編集する」（外部サイト・新しいタブで開きます）：robots.txt エディタの場所、高度な機能であることの注意、公開後の自動更新、初期設定に戻す方法の裏づけ。