Robots.txt 생성기

robots.txt는 사이트 루트에 위치한 일반 텍스트 파일로, 검색엔진 크롤러에게 어떤 URL을 요청할 수 있는지 알려줍니다. 예를 들어 Disallow: /cart/는 크롤러에게 장바구니 페이지를 건너뛰도록 요청하여 SEO에 실제로 중요한 페이지에 크롤링 예산을 사용하게 합니다. 이는 Google, Bing 등 주요 크롤러가 준수하는 로봇 배제 프로토콜(RFC 9309로 표준화)의 일부입니다 — 단, 크롤링을 제어할 뿐 접근 권한이나 보안을 제어하지는 않습니다. 누구나 yoursite.com/robots.txt에서 파일을 읽을 수 있으므로 개인정보 보호 도구가 아닙니다.

위의 빌더를 사용하세요: 프리셋을 선택하거나 규칙 그룹을 추가하고, User-agent를 설정(모든 크롤러에는 *를 사용)하고, Disallow 또는 Allow할 경로를 나열하고, 필요하면 Crawl-delay를 추가하고, 사이트맵 URL을 붙여넣습니다. 입력하는 즉시 출력이 업데이트됩니다 — 복사 또는 다운로드를 클릭해 robots.txt로 저장한 뒤 https://yoursite.com/robots.txt에서 접근 가능하도록 사이트 루트 폴더에 업로드하세요. 코딩이 필요 없으며, 경로 테스터로 배포 전에 규칙을 확인할 수 있습니다.

TechnicalSEO.com의 robots.txt 생성기와 SEOptimer는 유효한 파일을 만들어 주지만, 특정 URL에 어떤 규칙이 적용되는지 보여주는 내장 경로 테스터가 없습니다. 이 도구는 다릅니다: 경로와 크롤러 이름을 입력하면 Google이 적용하는 것과 동일한 최장 일치 로직을 사용해 현재 규칙이 허용인지 차단인지 알려줍니다. 또한 실시간으로 일반적인 실수를 감지합니다 — 경로 앞 슬래시 누락, 상대 경로 사이트맵 URL, Googlebot을 대상으로 한 Crawl-delay(Googlebot은 무시함). 이 모든 것이 서버에 데이터를 전송하지 않고 브라우저에서 실행됩니다.

도메인의 루트 디렉터리에 위치하여 정확히 https://yoursite.com/robots.txt에서 제공되어야 합니다 — /blog/robots.txt 같은 하위 폴더에 넣으면 크롤러가 무시합니다. 각 서브도메인에는 별도의 파일이 필요하므로 blog.yoursite.com과 shop.yoursite.com에는 각각 별도의 robots.txt가 필요합니다. WordPress에서는 FTP나 호스팅 파일 관리자를 통해 업로드하거나(또는 Yoast SEO 같은 플러그인이 자동으로 관리해 줌) Blogger에서는 설정 → 검색 환경설정에서 커스텀 robots.txt를 활성화하면 됩니다.

User-agent는 규칙 블록이 적용될 크롤러를 지정합니다. User-agent: *는 모든 크롤러를 대상으로 하고, User-agent: Googlebot은 Google의 메인 웹 크롤러만 대상으로 합니다. 여러 그룹을 사용할 수 있어 예를 들어 모든 봇은 허용하되 GPTBot만 차단하는 설정이 가능합니다. 각 크롤러는 자신의 이름과 일치하는 가장 구체적인 그룹을 따릅니다. 주요 값으로는 Googlebot, Bingbot, Googlebot-Image, GPTBot(OpenAI의 ChatGPT 학습에 사용), CCBot(많은 AI 학습 데이터셋에 사용되는 Common Crawl), Google-Extended(구글의 Gemini에 사용), PerplexityBot이 있습니다.

Disallow는 크롤러에게 일치하는 URL을 가져오지 말도록 요청하고, Allow는 허용합니다. Allow는 주로 차단된 폴더 내에서 예외를 만들 때 사용합니다. 예를 들어 Disallow: /wp-admin/ 뒤에 Allow: /wp-admin/admin-ajax.php를 추가하면 WordPress 관리자 영역을 차단하면서 크롤러가 필요로 하는 AJAX 파일 하나만 열어둡니다. 규칙이 충돌할 때 Google은 가장 구체적인(가장 긴) 일치 경로를 따르며, 길이가 같으면 Allow가 우선입니다. Bing도 같은 로직을 사용하며, Yandex는 경계 사례에서 약간 다릅니다.

전체 절대 URL로 Sitemap: 줄을 추가하세요. 예: Sitemap: https://example.com/sitemap.xml. 파일 어디에나 위치할 수 있으며 특정 User-agent 그룹에 묶이지 않고, 여러 사이트맵을 별도 줄에 나열할 수 있습니다. 위의 사이트맵 필드에 URL을 붙여넣으면 도구가 올바른 위치에 줄을 추가합니다. Google 문서에서는 Search Console에 사이트맵을 직접 제출하는 방법과 함께 이 방식을 권장하며, 두 방법 모두 Google이 모든 페이지를 발견하는 데 도움이 됩니다.

Google의 크롤링을 막으려면 해당 경로에 Disallow: 규칙을 추가하세요. 예: Disallow: /draft-page/. 그러나 크롤링 차단이 검색 결과에서 제거되는 것과 같지 않습니다 — 차단된 URL도 다른 사이트가 링크하면 색인될 수 있습니다. 페이지를 Google 결과에서 완전히 제외하려면 noindex 지시어(meta name='robots' content='noindex')나 X-Robots-Tag 헤더를 추가하고, robots.txt에서는 차단하지 마세요. 그렇지 않으면 Google이 페이지를 크롤링하지 못해 noindex 지시어를 읽을 수 없습니다.

아니요. robots.txt는 크롤링을 제어하지 색인화를 제어하지 않습니다. URL을 Disallow하면 Google이 콘텐츠를 가져오지 않지만, URL 자체는 다른 곳에서 링크되면 검색 결과에 여전히 나타날 수 있습니다 — 종종 설명 없이 URL만 표시됩니다. 페이지를 색인에서 제거하려면 페이지 자체에 noindex 지시어를 추가하고 페이지를 크롤링 가능한 상태로 두어 Google이 그 지시어를 읽을 수 있도록 하세요. 이것은 가장 흔한 SEO 실수 중 하나입니다: Disallow 규칙으로 페이지를 검색 결과에서 제거하려 했다가 페이지가 여전히 나타나는 이유를 모르는 경우입니다.

Google Search Console에서 'robots.txt에 의해 차단됨'은 Google이 URL을 발견했지만 robots.txt가 해당 URL을 크롤링하지 말라고 지시했기 때문에 해당 크롤링에서 페이지가 가져와지거나 색인화되지 않았다는 의미입니다. 페이지가 공개되어야 한다면 일치하는 Disallow 규칙을 제거하거나 좁혀서 수정하세요. 차단이 의도적인 경우(관리자 경로, 스테이징 환경, 얇은 콘텐츠 페이지 등)라면 그대로 두어도 됩니다. 이 생성기의 경로 테스터를 사용해 파일을 편집하기 전에 어떤 규칙이 해당 URL을 차단하는지 정확히 확인하세요.

Crawl-delay는 크롤러에게 서버 부하를 줄이기 위해 요청 사이에 지정된 초 수만큼 대기하도록 요청합니다. Crawl-delay: 10은 대략 10초에 한 번씩 요청한다는 의미입니다. Bing과 Yandex는 이를 준수하지만 Googlebot은 Crawl-delay를 완전히 무시합니다 — Google의 크롤링 속도는 Search Console의 크롤링 통계 보고서에서 설정하세요. 서버가 크롤링으로 인해 실제로 과부하가 걸리는 경우에만 Crawl-delay를 추가하세요. 높은 값은 사이트 색인화 속도를 늦춥니다.

위의 WordPress 또는 Blogger 프리셋을 클릭하세요. WordPress의 표준 파일은 관리자 영역을 차단하되 크롤러가 필요로 하는 Ajax 파일 하나는 열어둡니다: User-agent: * / Disallow: /wp-admin/ / Allow: /wp-admin/admin-ajax.php. Blogger의 기본값은 검색 페이지를 제외한 모든 것을 허용합니다: User-agent: * / Disallow: /search / Allow: /. 사이트맵 URL을 추가한 뒤 결과를 WordPress에 적용하거나(Yoast SEO를 통해 또는 FTP로 파일 업로드) Blogger의 설정 → 검색 환경설정 → 커스텀 robots.txt에 붙여넣으세요.

이 도구의 경로 테스터를 사용하세요: URL이나 경로(예: /blog/post-1)와 크롤러 이름을 입력하면 현재 규칙이 허용인지 차단인지, 그리고 어떤 특정 규칙이 결정을 내리는지 알려줍니다 — Google이 적용하는 것과 동일한 최장 일치 로직을 사용합니다. 빌더는 또한 경로 앞의 슬래시 누락이나 상대 경로 사이트맵 URL 같은 일반적인 실수를 실시간으로 감지합니다. 배포 후에는 Google Search Console의 robots.txt 보고서에서 실제 파일을 확인하고 URL 검사 도구로 특정 페이지를 점검하세요.

robots.txt는 사용하기에 안전하지만 보안 도구가 아닙니다. yoursite.com/robots.txt에서 누구나 읽을 수 있는 공개 파일이므로 '비밀' 폴더를 나열하면 오히려 해당 폴더를 확인하는 모든 사람에게 알려주는 셈입니다. Google, Bing, Apple 같은 규칙을 준수하는 크롤러는 규칙을 따르지만 악성 봇은 완전히 무시할 수 있습니다. 민감한 페이지를 보호하려면 실제 인증(로그인, 비밀번호, IP 허용 목록) 또는 서버 측 접근 제어를 사용하세요. Disallow로 개인 데이터를 숨기려 하지 마세요.

각 AI 학습 크롤러에 대해 별도의 User-agent 그룹을 추가하고 각각 Disallow: /를 설정하세요. 주요 대상: GPTBot(OpenAI / ChatGPT), CCBot(많은 AI 학습 데이터셋에 사용되는 Common Crawl), Google-Extended(구글의 Gemini 및 Vertex AI), ClaudeBot(Anthropic / Claude), PerplexityBot, Applebot-Extended, meta-externalagent(Meta / Llama). 이 생성기의 'AI 봇 차단' 프리셋은 클릭 한 번으로 이 모든 것을 추가하면서 일반 검색 크롤러(Googlebot, Bingbot)는 그대로 두어 콘텐츠가 색인에 유지됩니다.