Robots.txt 產生器

robots.txt 是放在網站根目錄的純文字檔案，用來告知搜尋引擎爬蟲哪些網址可以或不可以存取。例如，Disallow: /cart/ 要求爬蟲跳過購物車頁面，讓爬取預算集中於對 SEO 真正重要的頁面。這是機器人排除協定（現已標準化為 RFC 9309）的一部分，Google、Bing 及其他主要爬蟲均會遵守——但它控制的是爬取行為，而非存取權限或安全性。任何人都可以在 yoursite.com/robots.txt 讀取您的 robots.txt，因此它並非隱私保護工具。

使用上方的產生器：選擇預設範本或新增規則群組，設定 User-agent（使用 * 代表所有爬蟲），列出要 Disallow 或 Allow 的路徑，視需要加入 Crawl-delay，並貼上您的 Sitemap 網址。輸入時即時預覽輸出內容——點擊「複製」或「下載」儲存為 robots.txt，再上傳至網站根目錄，確保可透過 https://yoursite.com/robots.txt 存取。無需撰寫程式碼，路徑測試器可在發布前確認規則正確無誤。

TechnicalSEO.com 的 robots.txt 產生器和 SEOptimer 都能產生有效的檔案，但兩者都沒有內建路徑測試器，無法顯示特定網址適用哪條規則。本工具可以：輸入任意路徑和爬蟲名稱，即可得知目前規則是否允許或封鎖，採用與 Google 相同的最長匹配邏輯。工具也會即時標記常見錯誤——路徑缺少開頭斜線、相對路徑的 Sitemap 網址、針對 Googlebot 設定 Crawl-delay（Googlebot 會忽略此設定）。所有操作均在瀏覽器中執行，不傳送任何資料至伺服器。

必須放在您網域的根目錄，並可透過 https://yoursite.com/robots.txt 精確存取——不能放在子資料夾如 /blog/robots.txt，爬蟲不會讀取子資料夾的設定。每個子網域需要各自的檔案，因此 blog.yoursite.com 和 shop.yoursite.com 都需要各自的 robots.txt。在 WordPress 中，可透過 FTP 或主機的檔案管理員上傳（或使用 Yoast SEO 等外掛自動管理）。在 Blogger 中，可在「設定」→「搜尋偏好」→「自訂 robots.txt」中啟用並貼上內容。

User-agent 指定一組規則適用於哪個爬蟲。User-agent: * 針對所有爬蟲，而 User-agent: Googlebot 則只針對 Google 的主要網路爬蟲。您可以設定多個群組——例如允許所有人但封鎖 GPTBot——每個爬蟲會遵守與其名稱最匹配的群組規則。常見的值包括：Googlebot、Bingbot、Googlebot-Image、GPTBot（OpenAI 用於訓練 ChatGPT）、CCBot（Common Crawl，被許多 AI 訓練資料集使用）、Google-Extended（Google 的 Gemini 使用）及 PerplexityBot。

Disallow 要求爬蟲不要抓取符合條件的網址；Allow 則允許抓取。Allow 主要用於在已封鎖的資料夾中設定例外。例如，Disallow: /wp-admin/ 加上 Allow: /wp-admin/admin-ajax.php 可封鎖 WordPress 管理區域，但讓爬蟲所需的 AJAX 檔案通過。當規則衝突時，Google 會遵循最具體（最長）的匹配路徑，若長度相同則 Allow 優先。Bing 使用相同邏輯；Yandex 在邊緣情況下略有不同。

新增一行 Sitemap: 並附上完整的絕對網址，例如 Sitemap: https://example.com/sitemap.xml。此行可放在檔案中的任何位置，且不受任何 User-agent 群組限制；您也可以在不同行列出多個 Sitemap。在上方的 Sitemap 欄位貼上網址，工具即會將該行正確放置。Google 的文件建議同時採用此方法與直接在 Search Console 提交 Sitemap，因為兩者都有助於 Google 發現您的所有頁面。

若要阻止 Google 爬取某頁面，針對該路徑新增 Disallow: 規則，例如 Disallow: /draft-page/。但封鎖爬取並不等於從搜尋結果中移除頁面——被封鎖的網址若有其他網站連結，仍可能被收錄。若要真正將頁面排除在 Google 搜尋之外，請加入 noindex 指令（meta name='robots' content='noindex'）或 X-Robots-Tag 標頭，並且不要在 robots.txt 中封鎖該頁面，否則 Google 無法爬取頁面以讀取 noindex 指令。

不行。robots.txt 控制的是爬取，而非收錄。若您 Disallow 某個網址，Google 不會抓取其內容，但該網址本身仍可能出現在搜尋結果中——通常沒有描述——因為其他頁面連結了它。若要將頁面從索引中移除，請在頁面本身使用 noindex 指令，並保持頁面可被爬取，讓 Google 能讀取該指令。這是最常見的 SEO 錯誤之一：網站主新增 Disallow 規則想要移除頁面，卻疑惑為何頁面仍然出現在搜尋結果中。

在 Google Search Console 中，「已被 robots.txt 封鎖」表示 Google 發現了某個網址，但您的 robots.txt 指示它不要爬取該網址，因此該頁面未被抓取或從此次爬取中收錄。若該頁面應為公開，請移除或縮小對應的 Disallow 規則。若封鎖是刻意為之——例如管理員路徑、測試環境或低品質頁面——則可安心保留。在編輯檔案前，請使用本產生器的路徑測試器，確認究竟是哪條規則封鎖了指定網址。

Crawl-delay 要求爬蟲在每次請求之間等待指定秒數，以減輕伺服器負擔。Crawl-delay: 10 表示大約每 10 秒發出一次請求。Bing 和 Yandex 會遵守此設定；Googlebot 完全忽略 Crawl-delay——若需設定 Google 的爬取頻率，請改在 Search Console 的「爬取統計資料」報告中調整。只有在伺服器確實因爬取而承受壓力時，才建議加入 Crawl-delay，因為較高的值會減慢網站被收錄的速度。

點擊上方的 WordPress 或 Blogger 預設按鈕即可載入。WordPress 的標準設定封鎖管理員區域，但保留 AJAX 檔案：User-agent: * / Disallow: /wp-admin/ / Allow: /wp-admin/admin-ajax.php。Blogger 的預設設定允許所有內容，除了搜尋頁面：User-agent: * / Disallow: /search / Allow: /。填入您的 Sitemap 網址，然後將結果複製至 WordPress（透過 Yoast SEO 或以 FTP 上傳檔案），或貼至 Blogger 的「設定」→「搜尋偏好」→「自訂 robots.txt」中。

使用本工具的路徑測試器：輸入網址或路徑（例如 /blog/post-1）和爬蟲名稱，即可得知目前規則是否允許或封鎖該路徑——並顯示哪條具體規則生效，採用與 Google 相同的最長匹配邏輯。產生器也會即時標記常見錯誤，例如路徑缺少開頭斜線或 Sitemap 使用相對路徑。發布後，請在 Google Search Console 的 robots.txt 報告中確認線上檔案是否正確，並使用「網址檢查」工具核查特定頁面。

robots.txt 使用起來是安全的，但它並非安全工具。這是一個任何人都可在 yoursite.com/robots.txt 讀取的公開檔案，因此將「秘密」資料夾列在其中，反而會向所有查看者公開其存在。Google、Bing、Apple 等遵守規範的爬蟲會遵循規則，但惡意爬蟲可能完全忽略這些設定。若要保護敏感頁面，請使用正式的身份驗證機制（登入、密碼、IP 白名單）或伺服器端存取控制。切勿依賴 Disallow 來隱藏私密資料。

為每個 AI 訓練爬蟲分別建立 User-agent 群組，並設定 Disallow: /。主要的 AI 爬蟲包括：GPTBot（OpenAI / ChatGPT）、CCBot（Common Crawl，被許多 AI 訓練資料集使用）、Google-Extended（Google 的 Gemini 和 Vertex AI）、ClaudeBot（Anthropic / Claude）、PerplexityBot、Applebot-Extended，以及 meta-externalagent（Meta / Llama）。本產生器的「封鎖 AI 機器人」預設只需一鍵即可新增所有這些設定，同時保持一般搜尋爬蟲（Googlebot、Bingbot）不受影響，讓您的內容繼續被收錄。