Robots.txt 生成器

robots.txt 是位于网站根目录的纯文本文件，用于告知搜索引擎爬虫哪些 URL 可以或不可以抓取。例如，Disallow: /cart/ 指示爬虫跳过购物车页面，让爬虫将抓取预算用在对 SEO 真正重要的页面上。它是爬虫排除协议（现已标准化为 RFC 9309）的组成部分，Google、百度、必应等主流爬虫均遵守该协议——但它控制的是抓取行为，而非访问权限或安全性。任何人都可以通过 yoursite.com/robots.txt 查看您的 robots.txt 文件，因此它不是隐私保护工具。

使用上方的生成器：选择预设或添加规则组，设置 User-agent（使用 * 表示所有爬虫），列出需要 Disallow 或 Allow 的路径，可选添加 Crawl-delay，并粘贴 Sitemap URL。输入时实时预览输出内容——点击复制或下载，保存为 robots.txt 文件，然后上传至网站根目录，确保可通过 https://yoursite.com/robots.txt 访问。无需编写代码，路径测试器可在发布前验证规则是否正确。

TechnicalSEO.com 的 robots.txt 生成器和 SEOptimer 都能生成合规文件，但两者均不包含内置路径测试器——无法直观显示某个具体 URL 匹配哪条规则。本工具支持该功能：输入任意路径和爬虫名称，即可显示当前规则是允许还是屏蔽该路径，并采用与 Google 相同的最长匹配逻辑。工具还会实时提示常见错误——路径缺少开头斜杠、Sitemap 为相对路径、Crawl-delay 针对 Googlebot 设置（Googlebot 会忽略此项）。所有操作均在浏览器端完成，不向服务器发送任何数据。

robots.txt 必须位于域名根目录，可通过 https://yoursite.com/robots.txt 精确访问——不能放在子目录中（如 /blog/robots.txt），爬虫会忽略子目录中的文件。每个子域名需要独立的 robots.txt 文件，例如 blog.yoursite.com 和 shop.yoursite.com 各需要一个单独的文件。WordPress 用户可通过 FTP 或主机文件管理器上传，也可使用 Yoast SEO 等插件自动管理。Blogger 用户可在「设置 → 搜索偏好设置」中启用自定义 robots.txt。

User-agent 指定一组规则适用于哪个爬虫。User-agent: * 针对所有爬虫，User-agent: Googlebot 仅针对 Google 主爬虫。您可以设置多个规则组——例如允许所有爬虫但屏蔽 GPTBot——每个爬虫遵循与其名称最匹配的规则组。常见值包括：Googlebot、Bingbot、Baiduspider（百度）、Googlebot-Image、GPTBot（OpenAI 用于训练 ChatGPT）、CCBot（Common Crawl，被多个 AI 训练数据集使用）、Google-Extended（Google Gemini）以及 PerplexityBot。

Disallow 要求爬虫不要抓取匹配的 URL；Allow 则允许抓取。Allow 主要用于在已禁止的目录中开放例外路径。例如，Disallow: /wp-admin/ 加上 Allow: /wp-admin/admin-ajax.php，可屏蔽 WordPress 管理后台，但允许插件所需的 AJAX 文件通过。规则冲突时，Google 遵循最具体（最长）的匹配路径，等长时 Allow 优先。必应采用相同逻辑；Yandex 在边缘情况下略有不同。

添加一行 Sitemap: 并填写完整的绝对路径 URL，例如 Sitemap: https://example.com/sitemap.xml。该行可放在文件任意位置，不归属于任何 User-agent 规则组，还可在多行分别列出多个 Sitemap。将 URL 粘贴到上方的 Sitemap 字段，工具会自动将其放置在正确位置。Google 官方文档建议同时在 Search Console 中直接提交 Sitemap，两种方式结合有助于 Google 发现您的所有页面。

要阻止 Google 抓取某个页面，可为其路径添加 Disallow: 规则，例如 Disallow: /draft-page/。但阻止抓取与从搜索结果中删除页面并不相同——被 Disallow 的 URL 如果有其他网站链接指向它，仍可能被收录。要彻底让页面不出现在 Google 搜索结果中，应在页面添加 noindex 指令（meta name='robots' content='noindex'）或 X-Robots-Tag 响应头，同时不要在 robots.txt 中屏蔽该页面，否则 Google 无法爬取页面并读取 noindex 指令。

不会。robots.txt 控制的是抓取行为，而非收录。如果您 Disallow 了某个 URL，Google 不会抓取其内容，但当该 URL 被其他页面链接时，仍可能出现在搜索结果中——通常没有摘要描述，只显示 URL。要让页面从索引中消失，需在页面本身添加 noindex 指令，并保持页面可被爬取，以便 Google 能读取该指令。这是最常见的 SEO 误区之一：站长以为添加 Disallow 规则就能从搜索结果中删除页面，却发现页面依然出现在结果中。

在 Google Search Console 中，「被 robots.txt 屏蔽」表示 Google 发现了某个 URL，但 robots.txt 指示不抓取该 URL，因此该页面未被抓取或收录。如果该页面应该公开，请修改或缩小对应的 Disallow 规则。如果屏蔽是有意为之——例如管理后台、测试环境或低质量页面——可以保持原样。使用本工具的路径测试器，可以在编辑文件前准确查看哪条规则屏蔽了特定 URL。

Crawl-delay 要求爬虫在两次请求之间等待指定的秒数，以减轻服务器压力。Crawl-delay: 10 表示大约每 10 秒发送一次请求。必应和 Yandex 支持该指令；Googlebot 完全忽略 Crawl-delay——如需控制 Google 的抓取频率，请在 Search Console 的抓取统计报告中设置。仅在服务器因爬取压力确实过大时才考虑添加 Crawl-delay，因为较高的值会降低网站被收录的速度。

点击上方的 WordPress 或 Blogger 预设即可。WordPress 标准配置屏蔽管理后台，但保留爬虫所需的 AJAX 文件：User-agent: * / Disallow: /wp-admin/ / Allow: /wp-admin/admin-ajax.php。Blogger 默认配置允许抓取所有内容，仅屏蔽搜索页面：User-agent: * / Disallow: /search / Allow: /。添加 Sitemap URL 后，将结果复制到 WordPress（通过 Yoast SEO 插件或 FTP 上传文件），或粘贴到 Blogger 的「设置 → 搜索偏好设置 → 自定义 robots.txt」中。

使用本工具的路径测试器：输入 URL 或路径（例如 /blog/post-1）及爬虫名称，即可查看当前规则是允许还是屏蔽该路径——并显示具体是哪条规则生效，遵循与 Google 相同的最长匹配逻辑。生成器还会实时提示常见错误，如路径缺少开头斜杠或 Sitemap 为相对路径。发布后，可在 Google Search Console 的 robots.txt 报告中确认线上文件状态，并使用网址检查工具检查具体页面。

robots.txt 可以安全使用，但它不是安全工具。它是一个公开文件，任何人都可以通过 yoursite.com/robots.txt 查看，因此在其中列出「隐秘」目录反而会向查看者暴露该路径的存在。合规爬虫——Google、百度、苹果——会遵守规则，但恶意爬虫可能完全无视这些规定。要保护敏感页面，请使用真实的身份验证（登录、密码、IP 白名单）或服务器端访问控制。切勿依赖 Disallow 来隐藏私密数据。

为每个 AI 训练爬虫分别添加 User-agent 规则组，并设置 Disallow: /。主要爬虫包括：GPTBot（OpenAI / ChatGPT）、CCBot（Common Crawl，被多个 AI 训练数据集使用）、Google-Extended（Google Gemini 和 Vertex AI）、ClaudeBot（Anthropic / Claude）、PerplexityBot、Applebot-Extended 以及 meta-externalagent（Meta / Llama）。本工具的「屏蔽 AI 爬虫」预设一键添加所有上述规则，同时不影响正常搜索引擎爬虫（Googlebot、Bingbot），确保您的内容继续被搜索引擎收录。