Generador de robots.txt

robots.txt es un archivo de texto plano en la raíz de tu sitio que indica a los rastreadores de motores de búsqueda qué URLs pueden o no solicitar. Por ejemplo, Disallow: /carrito/ le pide a los rastreadores que omitan las páginas del carrito de compras para que gasten su presupuesto de rastreo en páginas que realmente importan para el SEO. Es parte del Protocolo de Exclusión de Robots (ahora estandarizado como RFC 9309) que respetan Google, Bing y otros rastreadores principales — pero controla el rastreo, no el acceso ni la seguridad. Cualquiera puede leer tu robots.txt en tusitio.com/robots.txt, por lo que no es una herramienta de privacidad.

Usa el constructor de arriba: elige un preset o añade un grupo de reglas, establece el User-agent (usa * para todos los rastreadores), lista las rutas a Disallow o Allow, añade opcionalmente un Crawl-delay y pega la URL de tu Sitemap. La vista previa se actualiza mientras escribes — haz clic en Copiar o Descargar para guardarlo como robots.txt y luego súbelo a la carpeta raíz de tu sitio para que sea accesible en https://tusitio.com/robots.txt. No necesitas saber programar, y el verificador de rutas comprueba tus reglas antes de publicar.

El generador de robots.txt de TechnicalSEO.com y SEOptimer producen archivos válidos, pero ninguno incluye un verificador de rutas integrado que muestre qué regla se aplica a una URL específica. Esta herramienta sí lo hace: introduce cualquier ruta y nombre de rastreador y te indica si tus reglas actuales la permiten o la bloquean, usando la misma lógica de coincidencia más larga que aplica Google. También detecta errores comunes en tiempo real — barras diagonales iniciales faltantes, URLs de sitemap relativas, Crawl-delay dirigido a Googlebot (que lo ignora). Todo funciona en tu navegador sin enviar datos a ningún servidor.

Debe estar en el directorio raíz de tu dominio y servirse exactamente en https://tusitio.com/robots.txt — no en una subcarpeta como /blog/robots.txt, que los rastreadores ignoran. Cada subdominio necesita su propio archivo, por lo que blog.tusitio.com y tienda.tusitio.com requieren cada uno un robots.txt separado. En WordPress puedes subirlo por FTP o mediante el administrador de archivos de tu hosting (o usar un plugin como Yoast SEO que lo gestiona automáticamente). En Blogger lo activas bajo Configuración → Preferencias de búsqueda.

User-agent nombra al rastreador al que se aplica un bloque de reglas. User-agent: * apunta a todos los rastreadores, mientras que User-agent: Googlebot apunta solo al rastreador web principal de Google. Puedes tener varios grupos — por ejemplo, permitir a todos pero bloquear GPTBot — y cada rastreador obedece el grupo más específico que coincida con su nombre. Los valores más comunes incluyen Googlebot, Bingbot, Googlebot-Image, GPTBot (usado por OpenAI para entrenar ChatGPT), CCBot (Common Crawl, usado por muchos conjuntos de datos de entrenamiento de IA), Google-Extended (usado por Gemini de Google) y PerplexityBot.

Disallow le pide a un rastreador que no acceda a las URLs que coincidan; Allow las permite. Allow se usa principalmente para crear una excepción dentro de una carpeta bloqueada. Por ejemplo, Disallow: /wp-admin/ más Allow: /wp-admin/admin-ajax.php bloquea el área de administración de WordPress pero deja pasar el único archivo AJAX que los rastreadores necesitan. Cuando las reglas entran en conflicto, Google sigue la ruta de coincidencia más específica (más larga), y Allow gana un empate de igual longitud. Bing usa la misma lógica; Yandex es ligeramente diferente en casos límite.

Añade una línea Sitemap: con la URL absoluta completa, por ejemplo Sitemap: https://ejemplo.com/sitemap.xml. Puede ir en cualquier parte del archivo y no está vinculada a ningún grupo User-agent, y puedes listar varios sitemaps en líneas separadas. Pega la URL en el campo Sitemap de arriba y la herramienta coloca la línea correctamente. La documentación de Google recomienda este enfoque junto con enviar el sitemap directamente en Search Console, ya que ambos métodos ayudan a Google a descubrir todas tus páginas.

Para que Google no rastree una página, añade una regla Disallow: para su ruta, por ejemplo Disallow: /borrador-pagina/. Pero bloquear el rastreo no es lo mismo que eliminar una página de los resultados — una URL bloqueada puede seguir indexándose si otros sitios enlazan a ella. Para mantener realmente una página fuera de Google, añade una directiva noindex (meta name='robots' content='noindex') o una cabecera X-Robots-Tag, y no la bloquees en robots.txt, o Google no podrá rastrear la página para ver la instrucción noindex.

No. robots.txt controla el rastreo, no la indexación. Si bloqueas una URL con Disallow, Google no obtendrá su contenido, pero la URL en sí puede seguir apareciendo en los resultados — a menudo sin descripción — cuando está enlazada desde otro lugar. Para eliminar una página del índice, usa una directiva noindex en la propia página y deja la página rastreable para que Google pueda leer esa directiva. Este es uno de los errores SEO más comunes: la gente añade reglas Disallow para eliminar páginas de los resultados de búsqueda y luego se pregunta por qué siguen apareciendo.

En Google Search Console, 'Bloqueado por robots.txt' significa que Google descubrió una URL pero tu robots.txt le indicó que no rastreara esa URL, por lo que la página no se obtuvo ni se indexó en ese rastreo. Si la página debería ser pública, corrígelo eliminando o acotando la regla Disallow que coincide. Si el bloqueo es intencional — una ruta de administración, un entorno de staging o una página de poco contenido — es seguro dejarlo. Usa el verificador de rutas de este generador para ver exactamente qué regla está bloqueando una URL determinada antes de editar el archivo.

Crawl-delay le pide a un rastreador que espere un número determinado de segundos entre solicitudes para aliviar la carga del servidor. Crawl-delay: 10 significa aproximadamente una solicitud cada 10 segundos. Bing y Yandex lo respetan; Googlebot ignora Crawl-delay por completo — configura la tasa de rastreo de Google en el informe de estadísticas de rastreo de Search Console. Solo añade Crawl-delay si tu servidor tiene problemas reales de carga por el rastreo, ya que un valor alto ralentiza la velocidad con la que se indexa tu sitio.

Haz clic en el preset de WordPress o Blogger de arriba. El archivo estándar de WordPress bloquea el área de administración pero mantiene el archivo Ajax que los rastreadores necesitan: User-agent: * / Disallow: /wp-admin/ / Allow: /wp-admin/admin-ajax.php. El valor predeterminado de Blogger permite todo excepto sus páginas de búsqueda: User-agent: * / Disallow: /search / Allow: /. Añade la URL de tu sitemap, luego copia el resultado en WordPress (mediante Yoast SEO o subiendo el archivo por FTP) o pégalo en Blogger bajo Configuración → Preferencias de búsqueda → robots.txt personalizado.

Usa el verificador de rutas de esta herramienta: introduce una URL o ruta (por ejemplo /blog/entrada-1) y un nombre de rastreador, y te indica si tus reglas actuales la permiten o la bloquean — y qué regla específica <code>Allow</code> o <code>Disallow</code> lo decide, usando la misma lógica de coincidencia más larga que aplica Google. El constructor también detecta errores comunes en tiempo real, como una ruta sin su barra diagonal inicial o una URL de sitemap relativa. Después de publicar, confirma el archivo activo en el informe de robots.txt de Google Search Console y usa la herramienta de inspección de URLs para comprobar páginas específicas.

robots.txt es seguro de usar, pero no es una herramienta de seguridad. Es un archivo público que cualquiera puede leer en tusitio.com/robots.txt, así que listar una carpeta 'secreta' allí en realidad la anuncia a cualquiera que lo consulte. Los rastreadores bien comportados — Google, Bing, Apple — obedecen las reglas, pero los bots maliciosos pueden ignorarlas por completo. Para proteger páginas sensibles, usa autenticación real (inicio de sesión, contraseñas, lista de IPs permitidas) o controles de acceso en el servidor. Nunca te fíes de Disallow para ocultar datos privados.

Añade grupos User-agent separados para cada rastreador de entrenamiento de IA y Disallow: / para cada uno. Los principales son: GPTBot (OpenAI / ChatGPT), CCBot (Common Crawl, usado por muchos conjuntos de datos de entrenamiento de IA), Google-Extended (Gemini y Vertex AI de Google), ClaudeBot (Anthropic / Claude), PerplexityBot, Applebot-Extended y meta-externalagent (Meta / Llama). El preset 'Bloquear bots de IA' de este generador añade todos estos con un solo clic, sin afectar a los rastreadores de búsqueda normales (Googlebot, Bingbot) para que tu contenido siga indexado.