Robots.txt-Generator

robots.txt ist eine Nur-Text-Datei im Wurzelverzeichnis Ihrer Website, die Suchmaschinen-Crawlern mitteilt, welche URLs sie aufrufen dürfen und welche nicht. Zum Beispiel fordert Disallow: /warenkorb/ Crawler auf, Ihre Warenkorb-Seiten zu überspringen, damit sie ihr Crawl-Budget für Seiten verwenden, die für SEO tatsächlich relevant sind. Sie ist Teil des Robots Exclusion Protocol (inzwischen als RFC 9309 standardisiert), das von Google, Bing und anderen wichtigen Crawlern befolgt wird — aber sie kontrolliert das Crawling, nicht den Zugriff oder die Sicherheit. Jeder kann Ihre robots.txt unter ihrewebsite.de/robots.txt lesen, sie ist also kein Datenschutzwerkzeug.

Nutzen Sie den Builder oben: Wählen Sie ein Preset oder fügen Sie eine Regelgruppe hinzu, legen Sie den User-agent fest (nutzen Sie * für alle Crawler), listen Sie die zu sperrenden oder erlaubenden Pfade auf, fügen Sie optional einen Crawl-delay hinzu und tragen Sie Ihre Sitemap-URL ein. Die Live-Vorschau aktualisiert sich während der Eingabe — klicken Sie auf Kopieren oder Herunterladen, um die Datei als robots.txt zu speichern, und laden Sie sie dann in das Wurzelverzeichnis Ihrer Website hoch, sodass sie unter https://ihrewebsite.de/robots.txt erreichbar ist. Keine Programmierkenntnisse erforderlich, und der Pfad-Tester prüft Ihre Regeln vor der Veröffentlichung.

Der robots.txt-Generator von TechnicalSEO.com und SEOptimer erzeugen beide gültige Dateien, aber keiner davon enthält einen integrierten Pfad-Tester, der anzeigt, welche Regel für eine bestimmte URL gilt. Dieses Tool tut es: Geben Sie einen Pfad und einen Crawler-Namen ein, und es teilt Ihnen mit, ob Ihre aktuellen Regeln diesen erlauben oder blockieren — nach derselben Longest-Match-Logik wie Google. Es markiert außerdem live häufige Fehler: fehlende führende Schrägstriche, relative Sitemap-URLs, Crawl-delay für Googlebot (der diesen ignoriert). Alles läuft in Ihrem Browser, ohne Daten an einen Server zu senden.

Sie muss im Wurzelverzeichnis Ihrer Domain liegen und genau unter https://ihrewebsite.de/robots.txt erreichbar sein — nicht in einem Unterordner wie /blog/robots.txt, den Crawler ignorieren. Jede Subdomain benötigt eine eigene Datei, also brauchen blog.ihrewebsite.de und shop.ihrewebsite.de jeweils eine separate robots.txt. Unter WordPress können Sie sie per FTP oder über den Dateimanager Ihres Hosters hochladen (oder ein Plugin wie Yoast SEO verwenden, das sie für Sie verwaltet). Bei Blogger aktivieren Sie eine individuelle robots.txt unter Einstellungen → Sucheinstellungen.

User-agent gibt den Crawler an, für den ein Regelblock gilt. User-agent: * richtet sich an alle Crawler, während User-agent: Googlebot nur Googles Haupt-Webcrawler anspricht. Sie können mehrere Gruppen haben — zum Beispiel alle erlauben, aber GPTBot blockieren — und jeder Crawler befolgt die spezifischste Gruppe, die seinem Namen entspricht. Gängige Werte sind: Googlebot, Bingbot, Googlebot-Image, GPTBot (von OpenAI zum Training von ChatGPT verwendet), CCBot (Common Crawl, von vielen KI-Trainingsdatensätzen genutzt), Google-Extended (von Googles Gemini verwendet) und PerplexityBot.

Disallow fordert einen Crawler auf, passende URLs nicht abzurufen; Allow erlaubt sie. Allow wird hauptsächlich verwendet, um innerhalb eines gesperrten Ordners eine Ausnahme zu definieren. Zum Beispiel sperrt Disallow: /wp-admin/ zusammen mit Allow: /wp-admin/admin-ajax.php den WordPress-Adminbereich, lässt aber die eine AJAX-Datei durch, die Crawler benötigen. Bei Regelkonflikten folgt Google dem spezifischsten (längsten) passenden Pfad, und Allow gewinnt bei gleicher Länge. Bing verwendet dieselbe Logik; Yandex verhält sich bei Grenzfällen leicht abweichend.

Fügen Sie eine Sitemap:-Zeile mit der vollständigen absoluten URL hinzu, zum Beispiel Sitemap: https://beispiel.de/sitemap.xml. Sie kann an beliebiger Stelle in der Datei stehen und ist an keine User-agent-Gruppe gebunden; Sie können mehrere Sitemaps in separaten Zeilen auflisten. Tragen Sie die URL in das Sitemap-Feld oben ein, und das Tool platziert die Zeile korrekt. Googles Dokumentation empfiehlt diesen Ansatz ergänzend zur direkten Einreichung der Sitemap in der Search Console, da beide Methoden Google dabei helfen, alle Ihre Seiten zu entdecken.

Um das Crawling einer Seite durch Google zu stoppen, fügen Sie eine Disallow:-Regel für deren Pfad hinzu, zum Beispiel Disallow: /entwurf-seite/. Crawling zu blockieren ist jedoch nicht dasselbe wie eine Seite aus den Ergebnissen zu entfernen — eine gesperrte URL kann dennoch indexiert werden, wenn andere Websites auf sie verlinken. Um eine Seite wirklich aus Google fernzuhalten, fügen Sie eine noindex-Direktive (meta name='robots' content='noindex') oder einen X-Robots-Tag-Header hinzu, und sperren Sie die Seite dabei nicht in robots.txt — sonst kann Google die Seite nicht crawlen, um den noindex-Hinweis zu lesen.

Nein. robots.txt steuert das Crawling, nicht die Indexierung. Wenn Sie eine URL mit Disallow sperren, ruft Google deren Inhalt nicht ab, aber die URL selbst kann weiterhin in den Ergebnissen erscheinen — oft ohne Beschreibung — wenn andere Seiten auf sie verlinken. Um eine Seite aus dem Index zu entfernen, verwenden Sie eine noindex-Direktive auf der Seite selbst und lassen Sie die Seite crawlbar, damit Google diese Direktive lesen kann. Dies ist einer der häufigsten SEO-Fehler: Webseitenbetreiber fügen Disallow-Regeln hinzu, um Seiten aus den Suchergebnissen zu entfernen, und wundern sich dann, warum die Seiten weiterhin erscheinen.

In der Google Search Console bedeutet 'Von robots.txt blockiert', dass Google eine URL entdeckt hat, aber Ihre robots.txt ihr mitgeteilt hat, diese URL nicht zu crawlen — die Seite wurde daher bei diesem Crawl weder abgerufen noch indexiert. Wenn die Seite öffentlich sein soll, beheben Sie das Problem, indem Sie die passende Disallow-Regel entfernen oder einschränken. Wenn die Sperre beabsichtigt ist — ein Adminbereich, eine Staging-Umgebung oder eine inhaltsarme Seite — ist es sicher, sie beizubehalten. Nutzen Sie den Pfad-Tester in diesem Generator, um genau zu sehen, welche Regel eine bestimmte URL blockiert, bevor Sie die Datei bearbeiten.

Crawl-delay fordert einen Crawler auf, eine bestimmte Anzahl von Sekunden zwischen Anfragen zu warten, um die Serverlast zu reduzieren. Crawl-delay: 10 bedeutet etwa eine Anfrage alle 10 Sekunden. Bing und Yandex berücksichtigen diesen Wert; Googlebot ignoriert Crawl-delay vollständig — stellen Sie Googles Crawl-Rate stattdessen im Crawl-Statistiken-Bericht der Search Console ein. Fügen Sie Crawl-delay nur hinzu, wenn Ihr Server tatsächlich durch Crawling-Aktivitäten überlastet ist, da ein hoher Wert verlangsamt, wie schnell Ihre Website indexiert wird.

Klicken Sie oben auf das Preset WordPress oder Blogger. Die WordPress-Standarddatei sperrt den Adminbereich, lässt aber die eine Ajax-Datei offen, die Crawler benötigen: User-agent: * / Disallow: /wp-admin/ / Allow: /wp-admin/admin-ajax.php. Der Blogger-Standard erlaubt alles außer Suchseiten: User-agent: * / Disallow: /search / Allow: /. Fügen Sie Ihre Sitemap-URL hinzu, kopieren Sie dann das Ergebnis in WordPress (über Yoast SEO oder per FTP-Upload) oder fügen Sie es bei Blogger unter Einstellungen → Sucheinstellungen → Individuelle robots.txt ein.

Nutzen Sie den Pfad-Tester in diesem Tool: Geben Sie eine URL oder einen Pfad (zum Beispiel /blog/beitrag-1) und einen Crawler-Namen ein, und er zeigt Ihnen, ob Ihre aktuellen Regeln diesen erlauben oder blockieren — und welche spezifische Allow- oder Disallow-Regel entscheidet, nach derselben Longest-Match-Logik wie Google. Der Builder weist auch live auf häufige Fehler hin, wie einen Pfad ohne führenden Schrägstrich oder eine relative Sitemap-URL. Bestätigen Sie nach der Veröffentlichung die Live-Datei im robots.txt-Bericht der Google Search Console und nutzen Sie das URL-Prüftool, um einzelne Seiten zu überprüfen.

robots.txt ist sicher zu verwenden, aber kein Sicherheitswerkzeug. Es ist eine öffentliche Datei, die jeder unter ihrewebsite.de/robots.txt lesen kann — ein dort aufgeführter 'geheimer' Ordner wird damit jedem bekannt gemacht, der nachschaut. Gutartige Crawler — Google, Bing, Apple — befolgen die Regeln, aber bösartige Bots können sie vollständig ignorieren. Um sensible Seiten zu schützen, verwenden Sie echte Authentifizierung (Login, Passwörter, IP-Allowlisting) oder serverseitige Zugriffskontrollen. Verlassen Sie sich nie auf Disallow, um private Daten zu verbergen.

Fügen Sie separate User-agent-Gruppen für jeden KI-Trainings-Crawler hinzu und setzen Sie für jeden Disallow: /. Die wichtigsten: GPTBot (OpenAI / ChatGPT), CCBot (Common Crawl, von vielen KI-Trainingsdatensätzen genutzt), Google-Extended (Googles Gemini und Vertex AI), ClaudeBot (Anthropic / Claude), PerplexityBot, Applebot-Extended und meta-externalagent (Meta / Llama). Das Preset 'KI-Bots blockieren' in diesem Generator fügt all diese mit einem einzigen Klick hinzu, während normale Suchcrawler (Googlebot, Bingbot) unberührt bleiben, sodass Ihre Inhalte weiterhin indexiert werden.