Was die robots.txt steuert – und was nicht
Eine robots.txt-Datei gibt automatischen Crawlern Hinweise dazu, welche Bereiche einer Website sie abrufen dürfen. Du kannst damit zum Beispiel verhindern, dass bestimmte technische Verzeichnisse unnötig häufig gecrawlt werden. Die Datei ist jedoch keine Zugriffssperre und kein verlässlicher Schutz für vertrauliche Inhalte.
Wichtig ist die Unterscheidung zwischen Crawling und Indexierung. Crawling bedeutet, dass ein Crawler eine URL abruft. Indexierung beschreibt, ob eine Seite in einem Suchindex gespeichert und dort angezeigt werden kann. Ein Eintrag in der robots.txt kann das Abrufen einer Seite einschränken, entfernt eine bereits bekannte URL aber nicht automatisch aus einem Suchindex. Auch kann ein Crawler eine gesperrte URL unter Umständen weiterhin kennen, etwa weil andere Seiten auf sie verweisen.
Die robots.txt ist deshalb ein Werkzeug für die Steuerung des Crawlings, nicht für die Verwaltung aller SEO-Signale. Wenn eine Seite nicht öffentlich erreichbar sein soll, brauchst du eine echte Zugriffskontrolle. Wenn eine Seite aus einem Suchindex verschwinden soll, ist eine Crawling-Sperre allein dafür nicht die passende Lösung.
Wo die robots.txt liegt und für wen sie gilt
Crawler rufen die Datei im obersten Verzeichnis einer Website ab. Für eine Website unter www.beispiel.de liegt sie also unter dem Pfad /robots.txt direkt auf diesem Host. Sie muss unter diesem Pfad erreichbar sein, damit Crawler sie dort finden können.
Die Regeln beziehen sich auf den jeweiligen Host und das verwendete Protokoll. Eine Datei für www.beispiel.de gilt nicht automatisch auch für shop.beispiel.de oder eine andere Subdomain. Ebenso können HTTP und HTTPS als unterschiedliche Varianten behandelt werden. Wenn mehrere Hosts genutzt werden, solltest du prüfen, ob für jeden eine passende Datei bereitsteht.
Die Datei besteht aus Text und wird üblicherweise direkt im Stammverzeichnis des jeweiligen Hosts abgelegt. Achte darauf, dass der Inhalt ohne Anmeldung abrufbar ist und nicht durch eine Weiterleitung, eine Fehlkonfiguration oder eine Zugriffssperre unzugänglich wird.
robots.txt erstellen: Aufbau und wichtige Regeln
Eine robots.txt enthält Gruppen. Jede Gruppe beginnt mit einer Angabe dazu, für welchen Crawler die folgenden Regeln gelten. Danach können Regeln festlegen, welche Pfade nicht abgerufen werden sollen oder welche Bereiche ausdrücklich zugelassen sind.
Ein einfaches Beispiel:
User-agent: *
Disallow: /intern/
Allow: /intern/hilfe/User-agent: * richtet die folgenden Regeln an alle Crawler, die diese Schreibweise beachten. Disallow weist sie an, den angegebenen Pfad nicht abzurufen. Allow kann eine Ausnahme festlegen. Die tatsächliche Auswertung einzelner Regeln kann sich je nach Crawler unterscheiden. Verlasse dich daher nicht darauf, dass jede Software jede Erweiterung gleich interpretiert.
Achte beim Formulieren besonders auf den Pfad. Ein Schrägstrich am Anfang macht deutlich, dass sich die Regel auf einen Pfad ab dem Stammverzeichnis bezieht. Eine breite Regel kann mehr Bereiche erfassen als beabsichtigt. Disallow: / ist ein weitreichender Eintrag: Er weist Crawler an, die gesamte Website nicht abzurufen. Ein einzelner falsch gesetzter Eintrag kann daher wichtige Seiten vom Crawling ausschließen.
Kommentare kannst du mit einem # beginnen. Sie helfen dabei, Regeln später einzuordnen, werden aber nicht als Anweisung ausgewertet. Halte Kommentare knapp und beschreibe, welche Bereiche eine Regel betrifft und warum sie vorhanden ist.
Regeln für bestimmte Crawler
Statt * kann eine Gruppe auch einen bestimmten Crawler benennen. Regeln in einer Gruppe gehören zu der Kennzeichnung, die davorsteht. Wenn du für unterschiedliche Crawler verschiedene Vorgaben einrichtest, prüfe sorgfältig, ob jede Gruppe vollständig ist und tatsächlich die gewünschten Pfade abdeckt.
Mehrere Gruppen sind sinnvoll, wenn du Regeln bewusst voneinander trennen musst. Sie machen die Datei aber auch fehleranfälliger. Für viele Websites reicht eine übersichtliche allgemeine Gruppe aus. Vermeide widersprüchliche oder doppelte Vorgaben, die später schwer nachzuvollziehen sind.
Pfade gezielt statt pauschal sperren
Sperre nicht vorsorglich ganze Verzeichnisse, nur weil sie technisch wirken. Ein Verzeichnis kann sowohl wenig relevante Funktionen als auch Inhalte enthalten, die Crawler abrufen sollen. Prüfe deshalb vor jeder Regel, welche URLs darunter liegen und ob wichtige Seiten oder benötigte Ressourcen betroffen wären.
Besonders vorsichtig solltest du bei sehr kurzen Pfadangaben sein, etwa einem einzelnen Schrägstrich, weil sie große Bereiche erfassen. Arbeite lieber mit möglichst konkreten Pfaden. Wenn nur ein Teilbereich nicht gecrawlt werden soll, sollte die Regel genau diesen Teilbereich benennen.
Welche Bereiche sich für eine Crawling-Sperre eignen
Eine Sperre kann für Bereiche sinnvoll sein, die für die öffentliche Suche keine eigenständige Bedeutung haben und nicht gecrawlt werden sollen. Dazu können interne Funktionspfade oder bestimmte technische Ansichten gehören. Entscheidend ist nicht die Bezeichnung des Verzeichnisses, sondern die Wirkung der Regel auf die tatsächlich erreichbaren URLs.
Prüfe vor dem Eintragen, ob die betroffenen Seiten für Nutzer und Suchmaschinen wichtige Inhalte enthalten. Auch Filter- oder Suchfunktionen können Seiten erzeugen, die zwar viele URL-Varianten hervorbringen, aber teilweise wichtige Einstiegsseiten darstellen. Eine pauschale Sperre kann dann mehr blockieren als beabsichtigt.
Bedenke außerdem, dass Crawler für die Einschätzung einer Seite unter Umständen Dateien wie CSS oder JavaScript abrufen müssen. Werden solche Ressourcen gesperrt, kann das die Darstellung oder Verarbeitung der Seite beeinträchtigen. Eine Regel sollte daher nicht allein deshalb gesetzt werden, weil ein Dateityp technisch aussieht.
Häufige Fehler beim Einsatz der Datei
Vertrauliche Inhalte nur über robots.txt sperren
Die Datei ist öffentlich einsehbar. Ein Eintrag kann sogar verraten, dass bestimmte Pfade existieren. Außerdem sind nicht alle automatischen Abrufprogramme verpflichtet, die Hinweise zu beachten. Schütze sensible Bereiche deshalb mit einer Zugangskontrolle und nicht mit einer Crawling-Regel.
Die gesamte Website versehentlich ausschließen
Ein zu breiter Eintrag kann alle Seiten betreffen. Das passiert leicht, wenn eine Regel von einer Staging- oder Entwicklungsumgebung übernommen oder beim Bearbeiten nicht genau geprüft wird. Kontrolliere nach jeder Änderung, ob die Startseite, wichtige Kategorien und relevante Inhaltsbereiche weiterhin abgerufen werden dürfen.
Die Sperre für eine Entfernung aus dem Index halten
Wenn Crawler eine Seite nicht abrufen dürfen, können sie deren Inhalt nicht verlässlich neu einordnen. Eine bekannte URL kann trotzdem weiterhin als Adresse auftauchen. Die robots.txt sollte deshalb nicht als Ersatz für eine gezielte Maßnahme zur Indexierung verstanden werden. Wie solche Fälle in der Search Console erscheinen, erklärt der Beitrag zum Indexierungsbericht in der Search Console.
Änderungen ohne Prüfung veröffentlichen
Schon ein zusätzliches Zeichen oder ein unpassender Pfad kann die Reichweite einer Regel verändern. Vergleiche die Datei vor und nach einer Änderung und prüfe die betroffenen URLs mit einem geeigneten technischen Werkzeug. Bewahre außerdem eine Kopie der vorherigen Fassung auf, damit sich eine fehlerhafte Änderung leichter zurücknehmen lässt.
Vorgehen für eine sichere Anpassung
Gehe beim Erstellen oder Überarbeiten der Datei schrittweise vor:
- Ziel festlegen: Notiere, welche konkreten Pfade nicht gecrawlt werden sollen und warum.
- Betroffene URLs prüfen: Ermittle, welche Seiten und Ressourcen von diesen Pfaden erfasst werden.
- Regeln eng formulieren: Nutze möglichst konkrete Angaben statt einer pauschalen Sperre.
- Ausnahmen kontrollieren: Stelle sicher, dass freizugebende Teilbereiche nicht versehentlich ausgeschlossen bleiben.
- Datei am richtigen Ort bereitstellen: Prüfe, ob die robots.txt im Stammverzeichnis des betreffenden Hosts erreichbar ist.
- Änderung kontrollieren: Überprüfe Syntax und Wirkung mit einem geeigneten Werkzeug und rufe die Datei selbst auf.
- Später erneut prüfen: Nach Umbauten, URL-Änderungen oder einem Wechsel der technischen Umgebung können bestehende Regeln unpassend werden.
Dokumentiere Änderungen kurz. So lässt sich auch später nachvollziehen, welcher Zweck hinter einer Sperre stand. Das ist besonders hilfreich, wenn mehrere Personen an der Website arbeiten oder wenn sich Verzeichnisstrukturen ändern.
Häufige Fragen
Muss jede Website eine robots.txt-Datei haben?
Nein, eine Website benötigt nicht zwingend eigene Sperrregeln. Wenn keine Einschränkungen nötig sind, kann eine leere oder nicht vorhandene Datei ausreichen; das Verhalten einzelner Crawler kann sich dabei unterscheiden. Wichtig ist, keine unnötigen Regeln anzulegen, nur damit die Datei gefüllt ist.
Kann eine robots.txt-Datei auf eine andere Datei weiterleiten?
Die Datei ist für Regeln an ihrem vorgesehenen Speicherort gedacht. Wie Crawler auf Weiterleitungen oder ungewöhnliche Antworten reagieren, kann unterschiedlich sein. Stelle die Datei deshalb möglichst direkt unter dem erwarteten Pfad bereit und vermeide technische Umwege.
Gilt eine robots.txt auch für Bilder und PDF-Dateien?
Die Regeln beziehen sich auf URLs und können damit auch Ressourcen wie Bilder oder PDF-Dateien betreffen, sofern deren Pfad erfasst wird. Eine Sperre kann verhindern, dass Crawler diese Dateien abrufen. Prüfe daher genau, ob die betroffenen Dateien öffentlich auffindbar bleiben sollen.
Was sollte bei einer Website hinter einem CDN beachtet werden?
Entscheidend ist, dass die Datei für den jeweiligen Host über den erwarteten Pfad korrekt ausgeliefert wird. Zwischenspeicherung oder eine abweichende Konfiguration können dazu führen, dass Crawler eine andere Fassung erhalten als vorgesehen. Nach einer Änderung solltest du deshalb die öffentlich ausgelieferte Datei prüfen.
Fazit
Eine sorgfältig gepflegte robots.txt lenkt Crawler gezielt, ohne wichtige Inhalte unnötig auszuschließen. Formuliere Regeln eng, prüfe ihre Wirkung auf Seiten und Ressourcen und nutze Zugriffsschutz, wenn Inhalte tatsächlich geschützt werden müssen. So bleibt die Datei ein nachvollziehbares technisches Steuerungswerkzeug statt einer unbeabsichtigten Crawling-Sperre für die ganze Website. Die übrigen technischen Grundlagen fasst die technische SEO-Checkliste zusammen, weitere Beiträge findest du im Bereich Technisches SEO.