robots.txtジェネレーター

robots.txtは、サイトのルートに置くテキストファイルで、検索エンジンのクローラーがどのURLをクロールしてよいか、または避けるべきかを伝えます。たとえば「Disallow: /cart/」とすることで、ショッピングカートのページをクロールしないよう指示し、SEOにとって重要なページにクロールバジェットを集中させることができます。robots.txtはRobots Exclusion Protocol（現在はRFC 9309として標準化）の一部で、Google・Bing・その他の主要クローラーが従います。ただし、クロールを制御するものであり、アクセス制限やセキュリティのためのものではありません。誰でもyoursite.com/robots.txtで内容を読めるため、プライバシー保護ツールとしては機能しません。

上のビルダーを使ってください。プリセットを選ぶか、ルールグループを追加して、User-agent（全クローラー対象は *）を設定し、Disallow・Allowするパスを入力します。オプションでCrawl-delayを設定し、サイトマップURLを貼り付けます。リアルタイムで出力が更新されるので、コピーまたはダウンロードしてrobots.txtとして保存し、サイトのルートフォルダにアップロードしてhttps://yoursite.com/robots.txtでアクセスできるようにしてください。コーディングは不要で、公開前にパステスターでルールを確認できます。

TechnicalSEO.comのrobots.txtジェネレーターやSEOptimerも正しいファイルを生成できますが、どちらも特定のURLにどのルールが適用されるかを確認できる内蔵パステスターがありません。このツールにはあります。パスとクローラー名を入力すると、Googleが適用するのと同じ最長一致ロジックを使って、現在のルールで許可・ブロックのどちらになるかを表示します。また、よくあるミス（先頭スラッシュ欠落、相対パスのサイトマップURL、Googlebotへのクロールディレイ設定など）をリアルタイムで警告します。これらすべてがブラウザ内で動作し、データはサーバーに送信されません。

ドメインのルートディレクトリに置き、https://yoursite.com/robots.txtでアクセスできる必要があります。/blog/robots.txtのようなサブフォルダに置いてもクローラーには無視されます。サブドメインにはそれぞれ独自のファイルが必要で、blog.yoursite.comとshop.yoursite.comにはそれぞれ別のrobots.txtが必要です。WordPressではFTPやホスティングのファイルマネージャーからアップロードするか、Yoast SEOなどのプラグインを使って管理できます。Bloggerでは「設定 → 検索設定 → カスタムrobots.txt」から設定できます。

User-agentは、ルールブロックが適用されるクローラーを指定します。「User-agent: *」はすべてのクローラーを対象とし、「User-agent: Googlebot」はGoogleのメインウェブクローラーのみを対象にします。複数のグループを設定できます（例：全員を許可しつつGPTBotだけブロック）。各クローラーは自分の名前に最も一致するグループのルールに従います。主な値には、Googlebot、Bingbot、Googlebot-Image、GPTBot（OpenAI / ChatGPT）、CCBot（Common Crawl、多くのAI学習データセットで使用）、Google-Extended（GoogleのGemini）、PerplexityBotなどがあります。

Disallowはクローラーに対象URLを取得しないよう要求し、Allowは許可します。Allowは主に、禁止フォルダ内で例外を設定するために使います。たとえば「Disallow: /wp-admin/」と「Allow: /wp-admin/admin-ajax.php」を組み合わせると、WordPressの管理エリアをブロックしつつ、プラグインが必要とするAJAXファイルだけを通すことができます。ルールが競合する場合、Googleは最も詳細な（最長の）一致パスに従い、同じ長さの場合はAllowが勝ちます。Bingも同じロジックを使用し、Yandexはエッジケースで若干異なります。

完全な絶対URLで「Sitemap:」行を追加します（例：Sitemap: https://example.com/sitemap.xml）。ファイル内のどこに置いてもよく、User-agentグループとは独立しています。複数のサイトマップを別々の行に記載することもできます。上のサイトマップフィールドにURLを貼り付けると、ツールが正しい位置に行を配置します。Googleのドキュメントでは、この方法とSearch Consoleからの直接送信を併用することを推奨しており、両方の方法でGoogleがすべてのページを発見しやすくなります。

そのページのパスに対してDisallowルールを追加します（例：Disallow: /draft-page/）。ただし、クロールを止めることと検索結果から除外することは別物です。DisallowされたURLも、他のサイトからリンクされている場合は検索結果に表示され続けることがあります。ページをGoogleの検索結果から完全に除外するには、noindexディレクティブ（meta name='robots' content='noindex'）またはX-Robots-Tagヘッダーを追加し、robots.txtではブロックしないようにしてください。robots.txtでブロックすると、Googleはページをクロールできず、noindexの指示も読み取れなくなります。

いいえ。robots.txtはクロールを制御するものであり、インデックスを制御するものではありません。URLをDisallowしてもGoogleはそのコンテンツを取得しませんが、他のページからリンクされている場合、URLは検索結果に表示され続けることがあります。説明文なしのURLだけが表示されることもあります。ページをインデックスから除外するには、ページ自体にnoindexディレクティブを追加し、Googleがそのディレクティブを読み取れるようクロール可能な状態にしておいてください。これはSEOで最もよくある誤りの一つです。Disallowルールを追加してページを検索結果から除外しようとし、なぜまだ表示されるのかと悩む方が多くいます。

Google Search Consoleで「robots.txtにブロックされています」と表示されるのは、GoogleがURLを発見したものの、robots.txtがそのURLのクロールを禁止しているため、ページが取得・インデックス登録されなかったことを意味します。そのページを公開すべき場合は、該当するDisallowルールを削除するか範囲を絞ってください。管理者ページ、ステージング環境、薄いコンテンツページなど意図的なブロックであれば、そのままで問題ありません。ファイルを編集する前に、このジェネレーターのパステスターで、どのルールが対象URLをブロックしているかを確認してください。

Crawl-delayはクローラーに対し、リクエスト間に一定の秒数待つよう要求することで、サーバーへの負荷を軽減します。「Crawl-delay: 10」は約10秒に1リクエストを意味します。BingとYandexはこれを尊重しますが、Googlebotは完全に無視します。Googleのクロールレートを調整するにはSearch ConsoleのCrawl Statsレポートを使ってください。クロールによってサーバーが本当に高負荷な場合のみ追加することをお勧めします。値が大きいとサイトのインデックス更新が遅くなります。

上のWordPressまたはBloggerプリセットをクリックしてください。WordPressの標準ファイルは管理エリアをブロックしつつ、クローラーが必要とするAjaxファイルを開放します（User-agent: * / Disallow: /wp-admin/ / Allow: /wp-admin/admin-ajax.php）。Bloggerのデフォルトはすべてを許可しつつ検索ページを除外します（User-agent: * / Disallow: /search / Allow: /）。サイトマップURLを追加し、WordPressではYoast SEOを使うかFTP経由でファイルをアップロードし、BloggerではSettings → Search preferences → Custom robots.txtに貼り付けてください。

このツールのパステスターを使ってください。URLまたはパス（例：/blog/post-1）とクローラー名を入力すると、現在のルールで許可・ブロックのどちらになるか、どのルールが適用されるかをGoogleと同じ最長一致ロジックで表示します。ビルダーはリアルタイムで、先頭スラッシュ欠落、相対パスのサイトマップURL、Googlebotへのクロールディレイ設定などのよくあるミスも警告します。公開後は、Google Search Consoleのrobots.txtレポートでライブファイルを確認し、URLインスペクションツールで個別のページをチェックしてください。

robots.txtは安全に使用できますが、セキュリティツールではありません。yoursite.com/robots.txtで誰でも読める公開ファイルのため、「秘密の」フォルダをそこに記載すると、チェックする人に逆に知らせてしまいます。Google・Bing・Appleなどの行儀の良いクローラーはルールに従いますが、悪意あるボットは完全に無視することがあります。機密ページを保護するには、適切な認証（ログイン・パスワード・IPホワイトリスト）やサーバーサイドのアクセス制御を使ってください。プライベートデータを隠す目的でDisallowに頼ってはいけません。

各AI学習クローラーに対して個別のUser-agentグループを作成し、それぞれに「Disallow: /」を追加してください。主要なもの：GPTBot（OpenAI / ChatGPT）、CCBot（Common Crawl、多くのAI学習データセットで使用）、Google-Extended（GoogleのGeminiおよびVertex AI）、ClaudeBot（Anthropic / Claude）、PerplexityBot、Applebot-Extended、meta-externalagent（Meta / Llama）。このジェネレーターの「AIボットブロック」プリセットを使えばワンクリックで一括設定でき、Googlebot・Bingbotなど通常の検索クローラーには影響せず、コンテンツの検索インデックスは維持されます。