Gerador de robots.txt

O robots.txt é um arquivo de texto simples na raiz do seu site que informa aos rastreadores de mecanismos de busca quais URLs eles podem ou não acessar. Por exemplo, Disallow: /carrinho/ pede aos rastreadores que ignorem suas páginas de carrinho de compras, para que eles usem o orçamento de rastreamento nas páginas que realmente importam para o SEO. Faz parte do Protocolo de Exclusão de Robôs (agora padronizado como RFC 9309) que Google, Bing e outros grandes rastreadores respeitam — mas controla o rastreamento, não o acesso ou a segurança. Qualquer pessoa pode ler seu robots.txt em seusite.com.br/robots.txt, então ele não é uma ferramenta de privacidade.

Use o editor acima: escolha um preset ou adicione um grupo de regras, defina o User-agent (use * para todos os rastreadores), liste os caminhos para Disallow ou Allow, adicione um Crawl-delay se quiser, e cole a URL do seu Sitemap. O resultado é atualizado em tempo real enquanto você digita — clique em Copiar ou Baixar para salvar como robots.txt, depois faça o upload para a pasta raiz do seu site para que ele fique acessível em https://seusite.com.br/robots.txt. Sem programação, e o testador de caminhos verifica suas regras antes de publicar.

O gerador de robots.txt da TechnicalSEO.com e o SEOptimer produzem arquivos válidos, mas nenhum dos dois inclui um testador de caminhos integrado que mostra qual regra se aplica a uma URL específica. Esta ferramenta sim: insira qualquer caminho e nome de rastreador e ela indica se suas regras atuais permitem ou bloqueiam, usando a mesma lógica de correspondência mais específica que o Google aplica. Ela também sinaliza erros comuns em tempo real — barras iniciais faltando, URLs de sitemap relativas, Crawl-delay voltado ao Googlebot (que o ignora). Tudo isso roda no seu navegador sem enviar dados a nenhum servidor.

Ele deve ficar no diretório raiz do seu domínio e ser acessível exatamente em https://seusite.com.br/robots.txt — não em uma subpasta como /blog/robots.txt, que os rastreadores ignoram. Cada subdomínio precisa do seu próprio arquivo, então blog.seusite.com.br e loja.seusite.com.br precisam cada um de um robots.txt separado. No WordPress você pode fazer o upload via FTP ou pelo gerenciador de arquivos da hospedagem (ou usar um plugin como o Yoast SEO que gerencia isso por você). No Blogger, ative um robots.txt personalizado em Configurações → Preferências de pesquisa.

User-agent nomeia o rastreador ao qual um bloco de regras se aplica. User-agent: * atinge todos os rastreadores, enquanto User-agent: Googlebot atinge somente o principal rastreador do Google. Você pode ter vários grupos — por exemplo, permitir todos, mas bloquear o GPTBot — e cada rastreador obedece ao grupo mais específico que corresponde ao seu nome. Valores comuns incluem Googlebot, Bingbot, Googlebot-Image, GPTBot (usado pela OpenAI para treinar o ChatGPT), CCBot (Common Crawl, usado em muitos conjuntos de dados de treinamento de IA), Google-Extended (usado pelo Gemini do Google) e PerplexityBot.

Disallow pede a um rastreador que não acesse as URLs correspondentes; Allow as permite. Allow é usado principalmente para criar uma exceção dentro de uma pasta bloqueada. Por exemplo, Disallow: /wp-admin/ junto com Allow: /wp-admin/admin-ajax.php bloqueia a área administrativa do WordPress mas deixa passar o único arquivo AJAX que os rastreadores precisam. Quando as regras entram em conflito, o Google segue o caminho correspondente mais específico (mais longo), e Allow vence um empate de comprimento igual. O Bing usa a mesma lógica; o Yandex difere levemente em casos extremos.

Adicione uma linha Sitemap: com a URL absoluta completa, por exemplo Sitemap: https://exemplo.com.br/sitemap.xml. Ela pode ir em qualquer lugar no arquivo e não está vinculada a nenhum grupo de User-agent, e você pode listar vários sitemaps em linhas separadas. Cole a URL no campo Sitemap acima e a ferramenta insere a linha corretamente. A documentação do Google recomenda essa abordagem junto com o envio do sitemap diretamente pelo Search Console, já que ambos os métodos ajudam o Google a descobrir todas as suas páginas.

Para parar o Google de rastrear uma página, adicione uma regra Disallow: para o caminho dela, por exemplo Disallow: /pagina-rascunho/. Mas bloquear o rastreamento não é a mesma coisa que remover uma página dos resultados — uma URL bloqueada ainda pode ser indexada se outros sites apontarem para ela. Para realmente manter uma página fora do Google, adicione uma diretiva noindex (meta name='robots' content='noindex') ou um cabeçalho X-Robots-Tag, e não a bloqueie também no robots.txt, senão o Google não consegue rastrear a página para ver a instrução noindex.

Não. O robots.txt controla o rastreamento, não a indexação. Se você usar Disallow em uma URL, o Google não vai buscar seu conteúdo, mas a própria URL ainda pode aparecer nos resultados — muitas vezes sem descrição — quando outras páginas apontam para ela. Para remover uma página do índice, use uma diretiva noindex na própria página e deixe-a rastreável para que o Google possa ler essa diretiva. Esse é um dos erros de SEO mais comuns: as pessoas adicionam regras Disallow para remover páginas dos resultados e ficam se perguntando por que elas ainda aparecem.

No Google Search Console, 'Bloqueado pelo robots.txt' significa que o Google descobriu uma URL, mas seu robots.txt disse a ele para não rastrear essa URL, então a página não foi buscada ou indexada naquele rastreamento. Se a página deve ser pública, corrija removendo ou restringindo a regra Disallow correspondente. Se o bloqueio for intencional — um caminho administrativo, área de homologação ou página de conteúdo fraco — é seguro deixar assim. Use o testador de caminhos neste gerador para ver exatamente qual regra está bloqueando uma determinada URL antes de editar o arquivo.

Crawl-delay pede a um rastreador que aguarde um determinado número de segundos entre as requisições para aliviar a carga do servidor. Crawl-delay: 10 significa aproximadamente uma requisição a cada 10 segundos. Bing e Yandex respeitam; o Googlebot ignora o Crawl-delay completamente — configure a taxa de rastreamento do Google no relatório de Estatísticas de Rastreamento do Search Console. Só adicione Crawl-delay se seu servidor estiver realmente sobrecarregado pelo rastreamento, pois um valor alto retarda a velocidade com que seu site é indexado.

Clique no preset WordPress ou Blogger acima. O arquivo padrão do WordPress bloqueia a área administrativa mas mantém o arquivo Ajax que os rastreadores precisam: User-agent: * / Disallow: /wp-admin/ / Allow: /wp-admin/admin-ajax.php. O padrão do Blogger permite tudo exceto suas páginas de busca: User-agent: * / Disallow: /search / Allow: /. Adicione a URL do seu sitemap, depois copie o resultado para o WordPress (via Yoast SEO ou fazendo o upload do arquivo por FTP) ou cole no Blogger em Configurações → Preferências de pesquisa → Robots.txt personalizado.

Use o testador de caminhos nesta ferramenta: informe uma URL ou caminho (por exemplo /blog/post-1) e um nome de rastreador, e ela indica se suas regras atuais permitem ou bloqueiam — e qual regra específica de <code>Allow</code> ou <code>Disallow</code> decide, usando a mesma lógica de correspondência mais específica que o Google aplica. O editor também sinaliza erros comuns em tempo real, como um caminho sem a barra inicial ou uma URL de sitemap relativa. Depois de publicar, confirme o arquivo ativo no relatório de robots.txt do Google Search Console e use a ferramenta de Inspeção de URL para verificar páginas específicas.

O robots.txt é seguro de usar, mas não é uma ferramenta de segurança. É um arquivo público que qualquer pessoa pode ler em seusite.com.br/robots.txt, então listar uma pasta 'secreta' lá na verdade a anuncia para qualquer um que verificar. Rastreadores bem-comportados — Google, Bing, Apple — obedecem às regras, mas bots maliciosos podem ignorá-las completamente. Para proteger páginas sensíveis, use autenticação real (login, senhas, allowlisting de IP) ou controles de acesso no servidor. Nunca confie no Disallow para esconder dados privados.

Adicione grupos User-agent separados para cada rastreador de treinamento de IA e Disallow: / para cada um. Os principais: GPTBot (OpenAI / ChatGPT), CCBot (Common Crawl, usado em muitos conjuntos de dados de treinamento de IA), Google-Extended (Gemini e Vertex AI do Google), ClaudeBot (Anthropic / Claude), PerplexityBot, Applebot-Extended e meta-externalagent (Meta / Llama). O preset 'Bloquear bots de IA' neste gerador adiciona todos esses com um clique, deixando os rastreadores de busca normais (Googlebot, Bingbot) sem alterações para que seu conteúdo continue indexado.