Generatore di robots.txt

robots.txt è un file di testo normale nella radice del tuo sito che dice ai crawler dei motori di ricerca quali URL possono o non possono richiedere. Ad esempio, Disallow: /cart/ chiede ai crawler di saltare le pagine del carrello in modo da spendere il budget di scansione sulle pagine che contano davvero per la SEO. Fa parte del Robots Exclusion Protocol (ora standardizzato come RFC 9309) che Google, Bing e altri crawler principali rispettano — ma controlla la scansione, non l'accesso o la sicurezza. Chiunque può leggere il tuo robots.txt su tuodominio.it/robots.txt, quindi non è uno strumento per la privacy.

Usa il generatore qui sopra: scegli un preset o aggiungi un gruppo di regole, imposta lo User-agent (usa * per tutti i crawler), elenca i percorsi da vietare o consentire, aggiungi opzionalmente un Crawl-delay e incolla l'URL della tua Sitemap. L'output si aggiorna in tempo reale mentre digiti — clicca su Copia o Scarica per salvarlo come robots.txt, poi caricalo nella cartella radice del tuo sito in modo che sia accessibile su https://tuodominio.it/robots.txt. Nessuna competenza di programmazione richiesta, e il tester di percorsi verifica le tue regole prima che tu pubblichi.

Il generatore robots.txt di TechnicalSEO.com e SEOptimer producono entrambi file validi, ma nessuno include un tester di percorsi integrato che mostra quale regola si applica a un URL specifico. Questo strumento sì: inserisci qualsiasi percorso e il nome del crawler e ti dice se le tue regole attuali lo consentono o lo bloccano, usando la stessa logica di corrispondenza più lunga applicata da Google. Segnala anche gli errori comuni in tempo reale — slash iniziali mancanti, URL di sitemap relativi, Crawl-delay diretto a Googlebot (che lo ignora). Tutto questo avviene nel tuo browser senza dati inviati a un server.

Deve trovarsi nella directory radice del tuo dominio ed essere servito esattamente a https://tuodominio.it/robots.txt — non in una sottocartella come /blog/robots.txt, che i crawler ignorano. Ogni sottodominio ha bisogno di un proprio file, quindi blog.tuodominio.it e shop.tuodominio.it richiedono ciascuno un robots.txt separato. Su WordPress puoi caricarlo via FTP o tramite il gestore file del tuo hosting (o usare un plugin come Yoast SEO che lo gestisce per te). Su Blogger lo abiliti come robots.txt personalizzato in Impostazioni → Preferenze di ricerca.

User-agent indica il crawler a cui si applica un blocco di regole. User-agent: * si rivolge a tutti i crawler, mentre User-agent: Googlebot si rivolge solo al crawler web principale di Google. Puoi avere più gruppi — ad esempio, consentire a tutti ma bloccare GPTBot — e ogni crawler segue il gruppo più specifico che corrisponde al suo nome. I valori comuni includono Googlebot, Bingbot, Googlebot-Image, GPTBot (usato da OpenAI per addestrare ChatGPT), CCBot (Common Crawl, usato da molti dataset di addestramento AI), Google-Extended (usato da Gemini di Google) e PerplexityBot.

Disallow chiede a un crawler di non recuperare gli URL corrispondenti; Allow li permette. Allow viene usato principalmente per creare un'eccezione all'interno di una cartella vietata. Ad esempio, Disallow: /wp-admin/ più Allow: /wp-admin/admin-ajax.php blocca l'area di amministrazione di WordPress ma lascia passare il file AJAX di cui i crawler hanno bisogno. Quando le regole sono in conflitto, Google segue il percorso corrispondente più specifico (più lungo), e Allow vince in caso di parità di lunghezza uguale. Bing usa la stessa logica; Yandex è leggermente diverso nei casi limite.

Aggiungi una riga Sitemap: con l'URL assoluto completo, ad esempio Sitemap: https://esempio.it/sitemap.xml. Può andare ovunque nel file e non è legata a nessun gruppo User-agent, e puoi elencare più sitemap su righe separate. Incolla l'URL nel campo Sitemap qui sopra e lo strumento posiziona la riga correttamente. La documentazione di Google raccomanda questo approccio insieme all'invio diretto della sitemap in Search Console, poiché entrambi i metodi aiutano Google a scoprire tutte le tue pagine.

Per impedire a Google di scansionare una pagina, aggiungi una regola Disallow: per il suo percorso, ad esempio Disallow: /bozza-pagina/. Ma bloccare la scansione non è lo stesso che rimuovere una pagina dai risultati — un URL vietato può ancora essere indicizzato se altri siti vi collegano. Per tenere davvero una pagina fuori da Google, aggiungi una direttiva noindex (meta name='robots' content='noindex') o un header X-Robots-Tag, e non bloccarla anche in robots.txt, altrimenti Google non può scansionare la pagina per leggere l'istruzione noindex.

No. robots.txt controlla la scansione, non l'indicizzazione. Se vieti un URL, Google non ne recupera il contenuto, ma l'URL stesso può ancora apparire nei risultati — spesso senza descrizione — quando è collegato da altri siti. Per rimuovere una pagina dall'indice, usa una direttiva noindex sulla pagina stessa e lascia la pagina scansionabile in modo che Google possa leggere quella direttiva. Questo è uno degli errori SEO più comuni: le persone aggiungono regole Disallow per rimuovere pagine dai risultati di ricerca e poi si chiedono perché le pagine appaiano ancora.

In Google Search Console, 'Bloccato da robots.txt' significa che Google ha scoperto un URL ma il tuo robots.txt gli ha detto di non scansionare quell'URL, quindi la pagina non è stata recuperata o indicizzata da quella scansione. Se la pagina dovrebbe essere pubblica, correggi il problema rimuovendo o restringendo la regola Disallow corrispondente. Se il blocco è intenzionale — un percorso amministrativo, un'area di staging o una pagina con contenuto scarso — è sicuro lasciarlo. Usa il tester di percorsi in questo generatore per vedere esattamente quale regola blocca un determinato URL prima di modificare il file.

Crawl-delay chiede a un crawler di aspettare un certo numero di secondi tra le richieste per alleggerire il carico del server. Crawl-delay: 10 significa circa una richiesta ogni 10 secondi. Bing e Yandex lo rispettano; Googlebot ignora completamente Crawl-delay — imposta invece la velocità di scansione di Google nel report Statistiche di scansione di Search Console. Aggiungi Crawl-delay solo se il tuo server è davvero sotto pressione a causa della scansione, poiché un valore alto rallenta la velocità con cui il tuo sito viene indicizzato.

Clicca sul preset WordPress o Blogger qui sopra. Il file standard di WordPress blocca l'area di amministrazione ma mantiene aperto il file Ajax necessario ai crawler: User-agent: * / Disallow: /wp-admin/ / Allow: /wp-admin/admin-ajax.php. L'impostazione predefinita di Blogger consente tutto tranne le pagine di ricerca: User-agent: * / Disallow: /search / Allow: /. Aggiungi l'URL della sitemap, poi copia il risultato in WordPress (tramite Yoast SEO o caricando il file via FTP) o incollalo in Blogger in Impostazioni → Preferenze di ricerca → Robots.txt personalizzato.

Usa il tester di percorsi in questo strumento: inserisci un URL o percorso (ad esempio /blog/articolo-1) e il nome di un crawler, e ti dice se le tue regole attuali lo consentono o lo bloccano — e quale regola specifica decide, usando la stessa logica di corrispondenza più lunga applicata da Google. Il generatore segnala anche gli errori comuni in tempo reale, come un percorso a cui manca lo slash iniziale o un URL di sitemap relativo. Dopo aver pubblicato, conferma il file live nel report robots.txt di Google Search Console e usa lo strumento Ispezione URL per verificare pagine specifiche.

robots.txt è sicuro da usare, ma non è uno strumento di sicurezza. È un file pubblico che chiunque può leggere su tuodominio.it/robots.txt, quindi elencare una cartella 'segreta' lì in realtà la pubblicizza a chiunque lo controlli. I crawler ben educati — Google, Bing, Apple — rispettano le regole, ma i bot malintenzionati possono ignorarle completamente. Per proteggere le pagine sensibili, usa una vera autenticazione (login, password, whitelist IP) o controlli di accesso lato server. Non fare mai affidamento su Disallow per nascondere dati privati.

Aggiungi gruppi User-agent separati per ogni crawler di addestramento AI e Disallow: / per ciascuno. I principali: GPTBot (OpenAI / ChatGPT), CCBot (Common Crawl, usato da molti dataset di addestramento AI), Google-Extended (Gemini e Vertex AI di Google), ClaudeBot (Anthropic / Claude), PerplexityBot, Applebot-Extended e meta-externalagent (Meta / Llama). Il preset 'Blocca bot AI' in questo generatore aggiunge tutti questi con un clic, lasciando intatti i normali crawler di ricerca (Googlebot, Bingbot) in modo che i tuoi contenuti restino indicizzati.