Gerador de robots.txt

O robots.txt é um ficheiro de texto simples na raiz do seu site que indica aos crawlers dos motores de busca quais os URLs que podem ou não visitar. Por exemplo, Disallow: /cart/ pede aos crawlers que saltem as páginas do carrinho de compras para que gastem o seu orçamento de crawl em páginas que realmente importam para o SEO. Faz parte do Robots Exclusion Protocol (agora padronizado como RFC 9309) que a Google, Bing e outros crawlers principais respeitam — mas controla o crawling, não o acesso nem a segurança. Qualquer pessoa pode ler o seu robots.txt em oseusite.com/robots.txt, pelo que não é uma ferramenta de privacidade.

Use o criador acima: escolha uma predefinição ou adicione um grupo de regras, defina o User-agent (use * para todos os crawlers), liste os caminhos a Bloquear ou Permitir, adicione opcionalmente um Crawl-delay e cole o URL do seu Sitemap. O resultado atualiza-se em tempo real enquanto escreve — clique em Copiar ou Descarregar para o guardar como robots.txt e depois faça upload para a pasta raiz do seu site para que fique acessível em https://oseusite.com/robots.txt. Não é necessário programar, e o testador de caminhos verifica as suas regras antes de publicar.

O gerador de robots.txt do TechnicalSEO.com e o SEOptimer produzem ambos ficheiros válidos, mas nenhum inclui um testador de caminhos integrado que mostre qual a regra que se aplica a um URL específico. Esta ferramenta faz isso: introduza qualquer caminho e nome de crawler e indica-lhe se as suas regras atuais o permitem ou bloqueiam, usando a mesma lógica de correspondência mais longa que a Google aplica. Também assinala erros comuns em tempo real — barras iniciais em falta, URLs de sitemap relativos, Crawl-delay direcionado ao Googlebot (que o ignora). Tudo isto funciona no seu browser sem enviar dados para um servidor.

Deve estar na diretoria raiz do seu domínio e ser servido exatamente em https://oseusite.com/robots.txt — não numa subpasta como /blog/robots.txt, que os crawlers ignoram. Cada subdomínio precisa do seu próprio ficheiro, pelo que blog.oseusite.com e loja.oseusite.com requerem cada um um robots.txt separado. No WordPress pode fazer upload via FTP ou pelo gestor de ficheiros do seu alojamento (ou usar um plugin como o Yoast SEO que o gere por si). No Blogger, ative um robots.txt personalizado em Definições → Preferências de pesquisa.

User-agent designa o crawler a que se aplica um bloco de regras. User-agent: * abrange todos os crawlers, enquanto User-agent: Googlebot abrange apenas o principal crawler web da Google. Pode ter vários grupos — por exemplo, permitir a todos mas bloquear o GPTBot — e cada crawler obedece ao grupo mais específico que corresponde ao seu nome. Os valores comuns incluem Googlebot, Bingbot, Googlebot-Image, GPTBot (usado pela OpenAI para treinar o ChatGPT), CCBot (Common Crawl, usado por muitos conjuntos de dados de treino de IA), Google-Extended (usado pelo Gemini da Google) e PerplexityBot.

Disallow pede a um crawler que não aceda aos URLs correspondentes; Allow permite-o. O Allow é usado principalmente para criar uma exceção dentro de uma pasta bloqueada. Por exemplo, Disallow: /wp-admin/ mais Allow: /wp-admin/admin-ajax.php bloqueia a área de administração do WordPress mas deixa passar o único ficheiro AJAX de que os crawlers precisam. Quando as regras entram em conflito, a Google segue o caminho correspondente mais específico (mais longo), e o Allow vence um empate de igual comprimento. O Bing usa a mesma lógica; o Yandex é ligeiramente diferente em casos extremos.

Adicione uma linha Sitemap: com o URL absoluto completo, por exemplo Sitemap: https://exemplo.com/sitemap.xml. Pode ser colocada em qualquer parte do ficheiro e não está associada a nenhum grupo User-agent; pode listar vários sitemaps em linhas separadas. Cole o URL no campo Sitemap acima e a ferramenta coloca a linha corretamente. A documentação da Google recomenda esta abordagem em conjunto com a submissão do sitemap diretamente na Search Console, uma vez que ambos os métodos ajudam a Google a descobrir todas as suas páginas.

Para impedir que a Google faça crawl de uma página, adicione uma regra Disallow: para o seu caminho, por exemplo Disallow: /rascunho-pagina/. Mas bloquear o crawling não é o mesmo que remover uma página dos resultados — um URL bloqueado pode ainda ser indexado se outros sites lhe fizerem link. Para realmente manter uma página fora da Google, adicione uma diretiva noindex (meta name='robots' content='noindex') ou um cabeçalho X-Robots-Tag, e não a bloqueie também no robots.txt, caso contrário a Google não consegue fazer crawl da página para ver a instrução noindex.

Não. O robots.txt controla o crawling, não a indexação. Se bloquear um URL com Disallow, a Google não vai buscar o seu conteúdo, mas o próprio URL pode continuar a aparecer nos resultados — frequentemente sem descrição — quando está referenciado noutros locais. Para remover uma página do índice, use uma diretiva noindex na própria página e deixe-a acessível ao crawler para que a Google possa ler essa diretiva. Este é um dos erros de SEO mais comuns: as pessoas adicionam regras Disallow para remover páginas dos resultados de pesquisa e depois questionam-se por que razão as páginas continuam a aparecer.

Na Google Search Console, 'Bloqueado pelo robots.txt' significa que a Google descobriu um URL mas o seu robots.txt indicou-lhe para não fazer crawl desse URL, pelo que a página não foi acedida nem indexada nesse crawl. Se a página deve ser pública, corrija removendo ou restringindo a regra Disallow correspondente. Se o bloqueio é intencional — um caminho de administração, área de staging ou página com conteúdo escasso — pode deixar ficar. Use o testador de caminhos neste gerador para ver exatamente qual a regra que está a bloquear um determinado URL antes de editar o ficheiro.

O Crawl-delay pede a um crawler que aguarde um determinado número de segundos entre pedidos para aliviar a carga do servidor. Crawl-delay: 10 significa aproximadamente um pedido a cada 10 segundos. O Bing e o Yandex respeitam-no; o Googlebot ignora completamente o Crawl-delay — defina a taxa de crawl da Google no relatório de Estatísticas de Crawl da Search Console. Adicione Crawl-delay apenas se o seu servidor estiver genuinamente sob pressão devido ao crawling, uma vez que um valor elevado atrasa a rapidez com que o seu site é indexado.

Clique na predefinição WordPress ou Blogger acima. O ficheiro padrão do WordPress bloqueia a área de administração mas mantém o ficheiro Ajax de que os crawlers precisam: User-agent: * / Disallow: /wp-admin/ / Allow: /wp-admin/admin-ajax.php. A predefinição do Blogger permite tudo exceto as páginas de pesquisa: User-agent: * / Disallow: /search / Allow: /. Adicione o URL do seu sitemap e depois copie o resultado para o WordPress (via Yoast SEO ou fazendo upload do ficheiro via FTP) ou cole-o no Blogger em Definições → Preferências de pesquisa → Robots.txt personalizado.

Use o testador de caminhos nesta ferramenta: introduza um URL ou caminho (por exemplo /blog/artigo-1) e um nome de crawler, e indica-lhe se as suas regras atuais o permitem ou bloqueiam — e qual a regra específica que decide, usando a mesma lógica de correspondência mais longa que a Google aplica. O criador também assinala erros comuns em tempo real, como um caminho sem a barra inicial ou um URL de sitemap relativo. Após publicar, confirme o ficheiro em vigor no relatório de robots.txt da Google Search Console e use a ferramenta de Inspeção de URL para verificar páginas específicas.

O robots.txt é seguro de usar, mas não é uma ferramenta de segurança. É um ficheiro público que qualquer pessoa pode ler em oseusite.com/robots.txt, pelo que listar uma pasta 'secreta' aí acaba por a publicitar a quem verificar. Os crawlers bem comportados — Google, Bing, Apple — respeitam as regras, mas os bots maliciosos podem ignorá-las completamente. Para proteger páginas sensíveis, use autenticação real (início de sessão, palavras-passe, lista de IPs permitidos) ou controlos de acesso do lado do servidor. Nunca confie no Disallow para ocultar dados privados.

Adicione grupos User-agent separados para cada crawler de treino de IA e Disallow: / para cada um. Os principais: GPTBot (OpenAI / ChatGPT), CCBot (Common Crawl, usado por muitos conjuntos de dados de treino de IA), Google-Extended (Gemini e Vertex AI da Google), ClaudeBot (Anthropic / Claude), PerplexityBot, Applebot-Extended e meta-externalagent (Meta / Llama). A predefinição 'Bloquear bots de IA' neste gerador adiciona todos estes com um clique, mantendo os crawlers de pesquisa normais (Googlebot, Bingbot) sem restrições para que o seu conteúdo continue indexado.