Ein gemeinsames Signal statt vieler einzelner Bot-Regeln

Am 30. Oktober 2026 hat Google angekündigt, künftig ein gemeinsames Signal für KI-Trainingspräferenzen in der robots.txt zu unterstützen. Grundlage ist ein neuer Internet-Draft aus dem Umfeld der IETF-Arbeitsgruppe AIPREF. Für Betreiber von Websites, Blogs und Online-Magazinen ist das relevant: Bislang mussten sie sich mit unterschiedlichen Anbieternamen, Kontrollmechanismen und teils widersprüchlichen Regeln beschäftigen. Ein einheitliches Signal könnte diese Pflege deutlich vereinfachen.

Wichtig ist der Zeitpunkt: Google spricht von einer geplanten Unterstützung im Jahr 2027, nicht von einer bereits weltweit wirksamen Sperre. Der Vorschlag ist außerdem noch kein verabschiedeter Internetstandard. Wer jetzt seine robots.txt verändert, sollte den Eintrag deshalb als dokumentierte Präferenz verstehen und bestehende, unterstützte Anbieterregeln nicht vorschnell löschen.

Was genau wurde am 30. Oktober vorgestellt?

Der von Kevin Kelley eingereichte Entwurf „Machine-Readable Training Preference Signal“ beschreibt einen speziellen Policy-Token namens __usage_ai-training. Er steht in einer gewöhnlichen User-Agent-Gruppe der robots.txt. Mit „Disallow: /“ erklärt eine Website, dass ihre Inhalte grundsätzlich nicht für das Training von KI-Modellen genutzt werden sollen. Über spezifische Allow-Regeln lassen sich einzelne Verzeichnisse ausnehmen.

Technisch ist der Ansatz bewusst konservativ. Er führt weder neue robots.txt-Direktiven noch eine neue Grammatik ein. Stattdessen nutzt er die bekannten Regeln für Gruppen und Pfadabgleich aus RFC 9309. Software, die den Policy-Token nicht kennt, ignoriert diese Gruppe wie einen unbekannten User-Agent. Genau diese Rückwärtskompatibilität ist ein wichtiger Vorteil, aber zugleich eine Grenze: Ignorieren bedeutet nicht, dass eine Trainingssperre automatisch durchgesetzt wird.

So könnte die robots.txt künftig aussehen

Ein minimales Beispiel besteht aus zwei Zeilen: „User-Agent: __usage_ai-training“ und darunter „Disallow: /“. Damit wird eine Trainingspräferenz für alle Pfade ausgedrückt. Wer etwa öffentliches Pressematerial ausnehmen möchte, ergänzt „Allow: /press-kit/“. Die genauere Regel für einen Pfad gewinnt nach dem bekannten Prinzip des längsten passenden Pfades.

Dieser Token ist kein echter Browser oder Crawler, der zwingend in Serverlogs auftaucht. Er beschreibt die beabsichtigte Nutzung von Inhalten. Er ist auch kein Ersatz für Zugangsschutz, Bezahlschranken oder vertragliche Lizenzvereinbarungen. Besonders wichtig: Eine normale Gruppe „User-Agent: *“ drückt nicht automatisch dieselbe Trainingspräferenz aus. Betreiber sollten deshalb weder das Sternchen noch die neue Policy-Gruppe als universellen Schalter missverstehen.

Was Google ausdrücklich zusagt – und was nicht

Google erklärt, dass ein allgemeines Opt-out künftig wie eine Ablehnung von Google-Extended interpretiert werden soll, sofern die Website Google-Extended nicht ausdrücklich anders konfiguriert hat. Bestehende anbieterspezifische Einstellungen bleiben demnach parallel möglich. Damit lassen sich grundsätzlich breite Präferenzen und individuelle Ausnahmen kombinieren.

Die Ankündigung enthält allerdings keine Zusage, dass ab sofort sämtliche Google-Produkte jede denkbare KI-Nutzung unterlassen. Google-Extended betrifft bestimmte Trainings- und Grounding-Nutzungen von Gemini. Wer Google-Extended ausdrücklich erlaubt, kann weiterhin für entsprechende Gemini-Antworten berücksichtigt werden. Das ist eine bewusste Abwägung zwischen Kontrolle über Trainingsnutzung und möglicher Sichtbarkeit in KI-Produkten.

KI-Training ist nicht dasselbe wie Suche oder Zusammenfassung

Ein zentraler Unterschied wird in der Debatte häufig übersehen: Das Trainieren eines Modells verändert seine gelernten Parameter. Das Abrufen einer Website zur Suche, das Zitieren einer Quelle oder das Verwenden von Informationen in einer aktuellen Antwort sind andere Vorgänge. Der vorgeschlagene Policy-Token richtet sich ausdrücklich an KI-Training und ist deshalb kein pauschales Verbot aller KI-gestützten Suchfunktionen.

Für Marketing- und SEO-Teams ist diese Trennung entscheidend. Eine Website kann reguläre Suchmaschinen auffindbar halten und zugleich erklären, dass ihre Texte nicht als Trainingsmaterial dienen sollen. Ob ein bestimmter Anbieter diese Unterscheidung in allen Produkten tatsächlich respektiert, muss anhand seiner offiziellen Dokumentation und der realen Implementierung geprüft werden. Aus dem bloßen Vorhandensein eines Tokens lässt sich keine garantierte Wirkung ableiten.

Warum der Entwurf noch kein verbindlicher Standard ist

Der IETF-Datatracker führt den Vorschlag vom 30. Oktober 2026 als Internet-Draft. Solche Dokumente sind Arbeitsfassungen und können geändert, ersetzt oder verworfen werden. Auch wenn mehrere Anbieter Unterstützung signalisieren, ist damit noch keine abschließende Norm geschaffen. Die laufenden AIPREF-Arbeiten beschäftigen sich zudem mit einem breiteren Vokabular für KI-Nutzung, das über die reine Trainingsfrage hinausgeht.

Website-Betreiber sollten daher zwei Ebenen unterscheiden: Erstens den technischen Vorschlag, wie eine Präferenz in einer Datei ausgedrückt wird; zweitens die organisatorische oder rechtliche Frage, ob und wie ein Anbieter sie befolgt. robots.txt ist traditionell ein kooperativer Mechanismus. Sie verhindert nicht physisch, dass ein beliebiger Client öffentlich abrufbare Inhalte herunterlädt.

Welche Vorteile hätten Publisher und kleinere Websites?

Für große Medienhäuser ist die Pflege mehrerer Crawler-Regeln bereits eine administrative Aufgabe. Kleinere Blogs und Unternehmensseiten haben oft nicht einmal eine vollständige Übersicht darüber, welche KI-Anbieter ihre Inhalte abrufen. Ein gemeinsames Signal würde eine zentrale, nachvollziehbare Entscheidung ermöglichen und die Zahl der anbieterspezifischen Einträge langfristig reduzieren.

Das kann auch die Governance verbessern: Verantwortliche könnten dokumentieren, welche Nutzung erwünscht ist, welche Ausnahmen gelten und wann eine Entscheidung getroffen wurde. Für Agenturen mit vielen Kundenprojekten wäre eine wiederverwendbare Konfigurationsvorlage denkbar. Solche Vorteile entstehen jedoch erst dann vollständig, wenn die Anbieter das Signal tatsächlich unterstützen und seine Semantik einheitlich auslegen.

Praktischer Fahrplan für Webentwickler und Administratoren

Zuerst sollte die aktuelle robots.txt gesichert und dokumentiert werden. Danach ist zu prüfen, welche bestehenden Gruppen für Suchmaschinen, KI-Anbieter und technische Dienste vorhanden sind. Besonders bei automatisch erzeugten Dateien durch CMS, CDN oder Sicherheitslösungen können sich Regeln überschneiden. Eine Änderung sollte deshalb nicht nur im Quelltext, sondern auch über die tatsächlich öffentlich ausgelieferte robots.txt kontrolliert werden.

Im zweiten Schritt empfiehlt sich eine Entscheidungsmatrix: Soll die Website für klassische Suche erreichbar bleiben? Ist KI-Training erwünscht? Gibt es Inhalte mit abweichenden Rechten, etwa Pressebilder, Dokumentationen oder lizenzierte Fremdtexte? Anschließend können vorhandene, offiziell dokumentierte Anbieterregeln erhalten und der neue Token testweise ergänzt werden. Vor einem produktiven Rollout müssen Pfadregeln, Redirects, Caching und die Wirkung auf bekannte Crawler geprüft werden.

Was SEO- und GEO-Teams beachten sollten

Die neue Initiative ist keine Abkürzung zu besseren Rankings und kein GEO-Rankingfaktor. Sie beschreibt eine Nutzungsvorliebe für Inhalte, keine Optimierung für Suchergebnisse. Wer seine Website versehentlich über Googlebot oder andere klassische Suchcrawler sperrt, kann die Auffindbarkeit beschädigen. Deshalb sollte eine Trainingspräferenz nicht mit einer allgemeinen Crawling-Sperre verwechselt werden.

Gleichzeitig kann es für Marken sinnvoll sein, KI-Trainingskontrolle und Sichtbarkeit in generativen Antworten getrennt zu bewerten. Manche Publisher priorisieren Lizenzierung und Exklusivität, andere Reichweite und Zitationen. Eine belastbare Entscheidung berücksichtigt Geschäftsmodell, Urheberrechte, Reichweitenziele und die dokumentierten Produkteinstellungen der jeweiligen Anbieter. Allgemeine Behauptungen wie „ein Disallow verhindert jede KI-Nutzung“ sind dafür zu grob.

Kontrolle bleibt auch eine Frage der Durchsetzung

Selbst ein breit unterstützter Standard löst nicht alle Probleme. Unkooperative Scraper können robots.txt ignorieren; bereits verarbeitete Daten lassen sich durch eine spätere Änderung nicht automatisch zurückholen. Zudem können Lizenzverträge, gesetzliche Regelungen und technische Zugriffsbeschränkungen neben der robots.txt eine Rolle spielen. Eine fundierte Strategie kombiniert daher transparente Präferenzsignale mit Vertragsmanagement und gegebenenfalls geeigneten Schutzmaßnahmen.

Bei geschützten oder sensiblen Informationen gilt weiterhin: Sie gehören nicht allein deshalb ins öffentliche Web, weil eine robots.txt ihre Nutzung untersagt. Die Datei selbst ist öffentlich einsehbar. Vertrauliche Inhalte benötigen echte Authentifizierung und Berechtigungskontrollen. Für urheberrechtliche Streitfragen ist eine robots.txt-Konfiguration wiederum kein Ersatz für eine rechtliche Prüfung.

Fazit: Ein sinnvoller Schritt, aber noch kein Universalschalter

Der Vorschlag vom 30. Oktober 2026 ist für Website-Betreiber ein wichtiger Fortschritt: Ein gemeinsamer Policy-Token könnte künftig ausdrücken, dass öffentlich zugängliche Inhalte nicht für KI-Training verwendet werden sollen, ohne für jeden Anbieter eine eigene Regel pflegen zu müssen. Der technische Ansatz ist bewusst nah an der bestehenden robots.txt und deshalb relativ leicht verständlich.

Bis zur geplanten Unterstützung im Jahr 2027 bleibt jedoch Vorsicht angebracht. Der Entwurf ist noch nicht final, seine Befolgung hängt von den jeweiligen Anbietern ab und die Abgrenzung zwischen Training, Suche und Grounding muss genau gelesen werden. Wer jetzt sauber inventarisiert, seine Ziele definiert und bestehende Regeln beibehält, ist für die nächste Entwicklungsstufe besser vorbereitet.