robots.txt 生成
robots.txt をフォームから生成する無料オンラインツール。
User-agent: * Allow: /wp-admin/admin-ajax.php Disallow: /wp-admin/ Disallow: /?s= Disallow: /search/ Sitemap: https://example.com/sitemap.xml
User-agent ごとの Allow / Disallow・Sitemap・Crawl-delay を設定でき、GPTBot・ClaudeBot などの AI クローラー拒否や WordPress のプリセットも用意。誤りは警告します。
User-agent ごとに Allow / Disallow / Crawl-delay を設定し、Sitemap の URL を加えると robots.txt を生成します。
「すべて許可」「すべて拒否」「WordPress」のほか、AI クローラー拒否用に「AI 学習を拒否」「AI 検索も拒否」の2つのプリセットがあり、GPTBot・ClaudeBot・CCBot・Google-Extended など学習用の拒否と、OAI-SearchBot など AI 検索用の拒否を分けて1クリックで追加できます。
次のような、事故につながる設定は警告します。
- 先頭の
/がないパス Disallow: *のような無効な記述User-agent: *へのDisallow: /
robots.txt 生成の機能と特徴
robots.txt の基本構造
robots.txt は User-agent: でクローラーを指定し、続く Disallow: / Allow: 行でそのクローラーに対するパスの許可・不許可を書く、グループの繰り返しです。User-agent: * はすべてのクローラーに適用されます。
クローラーは自分の名前に最も具体的に一致するグループだけを読むため、Googlebot 用のグループがあれば Googlebot は * のグループを無視します。
Googlebot に * の内容も適用したい場合は、同じ行を Googlebot のグループにも書く必要があります。
ファイルはサイトのルート(https://example.com/robots.txt)に UTF-8 で置きます。
Disallow と noindex の違い: クロール禁止であって検索結果からの削除ではない
最も多い誤解です。Disallow: /secret/ はクローラーに「取得しないで」と頼むだけで、他のページからリンクされていれば URL 自体は検索結果に出ることがあります(内容が読めないため説明文なしで表示されます)。
検索結果から消したいページには <meta name="robots" content="noindex"> を使い、しかもそのページはクロールを許可しておく必要があります。Disallow すると noindex が読まれないからです。
noindex の設定は meta / OGP タグ生成 で出力できます。
AI クローラー(GPTBot・ClaudeBot など)を robots.txt で拒否する
AI 関連のクローラーは、用途で3種類に分かれます。
- 学習用:OpenAI の
GPTBot、Anthropic のClaudeBot、Meta のmeta-externalagent、Amazon のAmazonbot、ByteDance のBytespider、Mistral AI のMistralAI-Trainingなどで、公開データセットを作る Common Crawl のCCBotもここに含めます。Google のGoogle-Extendedと Apple のApplebot-Extendedはクロールせず、学習などへの利用を制御するトークンです。 - AI 検索用:
OAI-SearchBot、Claude-SearchBot、PerplexityBot、Meta-WebIndexer、Amzn-SearchBot、DuckAssistBot、MistralAI-Index、YouBotなど - ユーザーの依頼で取得するもの:
ChatGPT-User、Claude-User、Perplexity-User、Meta-ExternalFetcher、Amzn-User、MistralAI-User
本ツールの「AI 学習を拒否」プリセットは学習用だけを拒否するので、AI 検索からの引用や流入は残ります。
「AI 検索も拒否」は残りの2種類も拒否しますが、そのぶん AI 検索に出にくくなります。どちらも通常の検索クローラーは許可したままです。
どのクローラーがアクセスしているかは User-Agent解析 でアクセスログの UA 文字列から判定でき、各クローラーの UA・robots.txt の名前・本物か確かめる方法は User-Agent 一覧 にまとめています。
なお robots.txt に強制力はなく、ユーザーの依頼で動くものには適用されない場合もあるため、確実に止めるには CDN やファイアウォールで UA や IP を遮断する必要があります。
robots.txt のワイルドカード(*)と末尾の $ の書き方
Google・Bing など主要クローラーは *(任意の文字列)と $(末尾)を解釈します。Disallow: /*.pdf$ は .pdf で終わる URL を、Disallow: /*? はクエリ文字列付きの URL を拒否します。
ただしパスは必ず / で始める必要があり、Disallow: * や Disallow: *.pdf は無効です。
また Disallow:(空)は「何も拒否しない」の意味で、「すべて許可」を明示するときに使います。
本ツールはこれらの誤りを警告します。
WordPress の robots.txt 定番設定
WordPress では /wp-admin/ を拒否しつつ、フロントエンドの Ajax が使う /wp-admin/admin-ajax.php だけは Allow で許可するのが定番です。
検索結果ページ(/?s= や /search/)は重複コンテンツになりやすいため拒否することが多く、逆に /wp-content/uploads/ の画像や /wp-includes/ の CSS・JS は、Google がページを正しく描画するために拒否しないほうがよいとされています。
本ツールの「WordPress」プリセットはこの構成になっています。
robots.txt 生成に関するよくある質問
robots.txt はどこに置きますか?
サイトのルート直下、
https://example.com/robots.txtでアクセスできる場所に置きます。サブディレクトリ(/blog/robots.txt)に置いても読まれません。サブドメインは別サイト扱いなので、
blog.example.comには別の robots.txt が必要です。また
httpとhttpsも別に扱われるため、HTTPS 化後は https 側に置かれているか確認してください。何も制限しない場合も robots.txt は必要ですか?
必須ではありません。ファイルがなければ(404 なら)すべて許可と解釈されます。
ただし、サーバーエラー(5xx)を返すとクローラーが「全拒否」と判断することがあるため、
User-agent: *と空のDisallow:だけの最小構成でも置いておくと安全です。Sitemap の場所を伝える目的でも役立ちます。
Disallow: / と書くと何が起きますか?
そのクローラーはサイト全体をクロールしなくなります。
User-agent: *に対して指定すると、すべての検索エンジンからサイトが消えていきます。開発環境や公開前サイトでは意図的に使いますが、本番に持ち込んでしまう事故が非常に多い設定です。本ツールはこの組み合わせを警告します。
Crawl-delay は効きますか?
Google は無視します。Bing などは秒数として解釈し、リクエスト間隔を空けますが、Yandex は 2018年に対応を終了しており、扱いは検索エンジンごとに異なります。
Search Console のクロール頻度の設定は 2024年1月に廃止されたため、Googlebot のクロールを減らしたい場合はサーバーで 503 や 429 を返す方法を使います。
本ツールは Crawl-delay を指定したときに Google では無効である旨を表示します。
Sitemap の行はどこに書きますか?
どのグループにも属さない独立した行なので、ファイルのどこに書いても構いませんが、慣例として末尾にまとめます。
Sitemap: https://example.com/sitemap.xmlのように絶対 URL で指定し、複数ある場合は行を分けます。サイトマップインデックスを使っている場合はインデックスの URL だけで十分です。
特定のディレクトリだけ Google に許可し、他のクローラーには拒否したい
グループを2つ作ります。
User-agent: Googlebotのグループに必要な Allow / Disallow を書き、User-agent: *のグループに拒否設定を書きます。クローラーは自分に最も具体的に一致するグループだけを読むので、Googlebot は Googlebot 用のグループだけを見ます。
本ツールでは「+ グループを追加」で複数グループを作成できます。
AI クローラーを拒否すると検索順位に影響しますか?
GPTBotやClaudeBot、CCBotなどは Google や Bing の検索クローラーとは別なので、拒否しても検索順位には影響しません。Google-Extendedも検索には影響しませんが、制御できるのは Gemini の学習やグラウンディング(回答時の情報参照)への利用だけで、AI による概要(AI Overviews)など検索機能側の利用は止められません。一方
OAI-SearchBotなどの AI 検索用を拒否すると、ChatGPT 検索などの AI 検索に出にくくなり、そこからの流入が減ります。学習だけを止めたい場合は「AI 学習を拒否」プリセットを使ってください。
robots.txt の変更はいつ反映されますか?
Google は通常 24 時間以内に robots.txt を再取得します。すぐに反映させたい場合は Search Console の robots.txt レポートから再取得をリクエストできます。
すでにクロール済みのページは、次回クロール時から新しいルールが適用されます。
Disallow したページが検索結果から消えません
正常な動作です。Disallow はクロールを止めるだけで、インデックスからは削除しません。
消したい場合は、一時的に Disallow を外して
noindexメタタグを読ませるか、Search Console の「削除」ツールで URL の削除をリクエストしてください。入力内容は外部に送信されますか?
いいえ、生成はすべてブラウザ内で完結します。管理画面のパスや非公開ディレクトリ名など、robots.txt に書くこと自体を慎重にすべき情報を入力しても外部には送信されません。
なお robots.txt は誰でも閲覧できるファイルなので、隠したいパスを Disallow に書くとかえって存在を公開することになる点にご注意ください。
robots.txt 生成の使い方
-
プリセットを選ぶ
「すべて許可」「WordPress」「AI 学習を拒否」などから近いものを選びます。ゼロから書くより、プリセットを読み込んでから自サイト用に調整するほうが抜け漏れを防げます。
-
User-agent ごとのルールを調整
グループごとに対象クローラー、Disallow / Allow のパス(1行1つ、先頭は
/)を入力します。AI 学習用・AI 検索用の拒否グループは専用ボタンで追加でき、Sitemap は絶対 URL で指定します。 -
警告を確認して保存
先頭スラッシュの欠落や全拒否などの警告を確認したら、「robots.txt を保存」でダウンロードするか、コピーしてサイトのルートに配置します。公開後は Search Console の robots.txt レポートで取得状況を確認してください。
カテゴリ SEO