Cyberknecht

Wissen / Anleitungen / SEO & GEO

robots.txt verstehen und richtig einsetzen

Crawler-Regeln richtig lesen und häufige Fehler vermeiden.

Stand: 27.10.2026 · Redaktion: Carl Thorns · Kostenlos und ohne Anmeldung

PDF herunterladenAlle Ressourcen

Dieser Leitfaden führt dich vom konkreten Ausgangsproblem über die praktische Umsetzung bis zur überprüfbaren Abnahme. Jeder Abschnitt nennt eine Methode, ein Beispiel, ein Erfolgskriterium und eine typische Fehlerquelle.

Arbeitsablauf auf einen Blick

1. Zweck verstehen

robots.txt steuert Crawling-Regeln für kooperative Bots, ist aber kein Zugriffsschutz und garantiert keine Deindexierung.

Praxisbeispiel
https://example.org/robots.txt
So erkennst du, dass es funktioniert: Datei ist öffentlich erreichbar und syntaktisch korrekt.
Typischer Fehler: Vertrauliche Pfade durch robots.txt schützen wollen.

2. Regeln definieren

Nutze User-agent, Disallow und Allow gezielt; prüfe die Semantik des jeweiligen Crawlers.

Praxisbeispiel
User-agent: * Disallow: /intern/ Allow: /
So erkennst du, dass es funktioniert: Wichtige öffentliche Inhalte sind nicht versehentlich gesperrt.
Typischer Fehler: Disallow: / auf Produktion stehen lassen.

3. Sitemap referenzieren

Verweise optional auf die XML-Sitemap mit absoluter URL.

Praxisbeispiel
Sitemap: https://example.org/sitemap.xml
So erkennst du, dass es funktioniert: Sitemap lässt sich abrufen und verarbeiten.
Typischer Fehler: Sitemap-Pfad mit einer Sperrregel verwechseln.

4. Noindex getrennt behandeln

Verwende für indexierbare abrufbare Seiten bei Bedarf robots-Meta noindex oder X-Robots-Tag; gesperrte Seiten können von Bots nicht ausgelesen werden.

Praxisbeispiel
<meta name="robots" content="noindex,follow">
So erkennst du, dass es funktioniert: Crawler kann die Noindex-Anweisung abrufen.
Typischer Fehler: Disallow und noindex kombinieren und sofortige Entfernung erwarten.

5. Deployment testen

Prüfe Regeln auf Live-Host und Staging getrennt. Teste mit URL-Prüfung und HTTP-Abruf.

Praxisbeispiel
curl https://example.org/robots.txt
So erkennst du, dass es funktioniert: Produktionsregeln stimmen mit dem gewünschten Crawling überein.
Typischer Fehler: Staging-Robots-Datei unbemerkt übernehmen.

Abnahmeprotokoll für die Praxis

Nutze die folgenden Punkte als dokumentierbare Abnahme. Trage bei jedem Punkt Datum, getestete URL beziehungsweise System, Ergebnis und gegebenenfalls einen offenen Befund ein.

  1. Abnahmekriterium: Datei ist öffentlich erreichbar und syntaktisch korrekt.

  2. Abnahmekriterium: Wichtige öffentliche Inhalte sind nicht versehentlich gesperrt.

  3. Abnahmekriterium: Sitemap lässt sich abrufen und verarbeiten.

  4. Abnahmekriterium: Crawler kann die Noindex-Anweisung abrufen.

  5. Abnahmekriterium: Produktionsregeln stimmen mit dem gewünschten Crawling überein.

Fachquellen und weiterführende Dokumentation

Diese Primärquellen dienen zur Vertiefung und zur Prüfung versionsabhängiger Details. Bei rechtlichen Themen ersetzt der Leitfaden keine individuelle Rechtsberatung.

Praxisvertiefung: Crawling ist nicht Indexierung

Die robots.txt steuert, welche Pfade bestimmte Bots abrufen dürfen. Sie ist kein Zugriffsschutz und kein zuverlässiger Weg, eine bekannte URL aus dem Suchindex zu entfernen.

Technische Umsetzung

Beispiel: User-agent: * gefolgt von Disallow: /admin/ und Sitemap: https://www.example.de/sitemap.xml. Die Datei liegt unter /robots.txt und gilt nur für ihren Host.

So überprüfst du das Ergebnis

Teste Regeln mit dem passenden Crawler und kontrolliere wichtige URLs. Eine blockierte Seite kann unter Umständen dennoch ohne Inhalt in Suchergebnissen erscheinen.