robots.txt: Definition, Bedeutung & Optimierung (2026)

von

Die robots.txt teilt Crawlern mit, welche URLs einer Website sie abrufen dürfen. Google setzt sie vor allem ein, um eine Überlastung der Site durch Crawler-Anfragen zu vermeiden.[1] Ohne abweichende Regel darf ein Crawler alles abrufen, Ausnahmen legst du pro Crawler und URL-Pfad fest.[2]

Als Rankingfaktor ist die robots.txt eine Voraussetzung: Crawling ist nötig, damit eine Seite in den Suchergebnissen erscheinen kann, laut Google aber kein Rankingsignal.[3]

  • Die robots.txt regelt den Abruf von URLs. Für den Indexausschluss gibt es mit noindex einen eigenen Hebel, die Ausgangslage zeigt, wann welcher passt.
  • Statuscode, Größe, Codierung und Speicherort der Datei lassen sich im Selbstaudit prüfen.
  • Gezielte Sperren unwichtiger URL-Varianten betreffen vor allem große Sites, Details unter Optimierung.

Definition und Einordnung

Was bedeutet robots.txt genau?

Die robots.txt folgt dem Robots Exclusion Protocol (REP), das auch als Robots Exclusion Standard bekannt ist.[2] [4] Eine Datei besteht aus Gruppen: Jede Gruppe beginnt mit einer user-agent-Zeile und enthält allow- und disallow-Regeln, die festlegen, welche Pfade der genannte Crawler abrufen darf oder nicht. Google unterstützt die Felder user-agent, allow, disallow und sitemap.[4]

Die Indexierung steuern eigene Regeln wie noindex. Die Ausgangslage zeigt, wann welcher Hebel passt.

Woher ist der Faktor bekannt und wie sicher ist die Evidenz?

Die robots.txt ist von Google direkt dokumentiert. Googles Crawler unterstützen das Robots Exclusion Protocol, das die IETF im September 2022 als RFC 9309 auf dem Standards Track veröffentlicht hat.[4] [5] Regeln, Statuscodes, Cache-Verhalten und Größenlimit beschreibt Google in der eigenen Dokumentation.

Ob und wie stark die robots.txt selbst als Rankingsignal wirkt, beantwortet Google in seiner Dokumentation nicht. Feste Grenzwerte nennt Google nur für einzelne Punkte, nämlich Dateigröße, Weiterleitungen und Fristen bei Serverfehlern; die übrigen Stufen im Selbstaudit sind qualitativ formuliert. Die Angaben zu Sistrix und Screaming Frog stammen aus der Dokumentation der Hersteller.

Wie wichtig ist robots.txt?

Ausgangslage: Ist robots.txt dein Hebel?

Ob die robots.txt der richtige Hebel ist, hängt davon ab, wo deine Seite gerade steht und welches Ziel du verfolgst.

Ausgangslage der Seite Ist das der richtige Hebel? Beleg
Eine Seite soll nicht in den Suchergebnissen erscheinen Nein. Für den Ausschluss nennt Google noindex (Meta-Tag oder HTTP-Header) oder Passwortschutz. [1] [6]
Googlebot belastet den Server akut Nein. Für eine kurzfristige Drosselung nennt Google die Statuscodes 500, 503 oder 429 statt 200, höchstens für 1-2 Tage. Bei längerer Dauer kann die URL aus dem Index fallen. [7]
Große Site mit vielen wechselnden URLs Ja, für unwichtige URL-Varianten, die sich nicht konsolidieren lassen (siehe Hebel). Crawl-Budget ist die Menge der URLs, die Google abrufen kann und will. Als grobe Richtwerte nennt Google 1 Mio.+ URLs mit wöchentlich wechselnden Inhalten, 10.000+ URLs mit täglichen Änderungen oder einen großen Anteil an „Discovered – currently not indexed“. Feste Schwellen sind das nicht. [8]
Wenige Seiten mit schnellen Änderungen, neue Seiten werden am Veröffentlichungstag gecrawlt Kein Handlungsbedarf für die Crawl-Budget-Steuerung. Laut Google genügen eine aktuelle Sitemap und der regelmäßige Blick in den Page-Indexing-Bericht. [8]
Seiten werden ohne JavaScript oder CSS schlecht verstanden Ja, als Korrektur: Sperren von Ressourcen prüfen. Google empfiehlt, Ressourcen nur zu sperren, wenn die Seite ohne sie nicht wesentlich leidet, und rendert kein JavaScript aus blockierten Dateien oder auf blockierten Seiten. [1] [9]

Für welche Seitentypen ist robots.txt besonders relevant?

Sites mit Facettennavigation oder anderen Sortier- und Filterfunktionen sowie Sites mit Kalendern voller datumsbezogener URLs: Google nennt diese Konstruktionen neben Dynamic Search Ads als häufigste Ursachen für einen starken Anstieg des Crawlings.[7]

Für Händler zeigt Google ein Muster, das alle Seiten für Google Search sperrt, dem Crawler Storebot-Google aber den Zugriff erlaubt, damit Produkte in Google Shopping erscheinen können:[10]

User-agent: *
Disallow: /

User-agent: Storebot-Google
Allow: /

Typische Missverständnisse

  1. „Eine gesperrte URL taucht nicht in Google auf.“ Google kann eine gesperrte URL trotzdem indexieren, wenn andere Seiten auf sie verlinken. In den Ergebnissen erscheinen dann die URL und gegebenenfalls der Ankertext, aber ohne Snippet.[1] [4]
  2. „Mit crawl-delay steuere ich die Crawl-Rate von Google.“ Die nicht standardisierte Regel crawl-delay verarbeitet Google nicht.[3] [4]
  3. „Was ich sperre, verteilt Google auf andere Seiten um.“ Google verschiebt freiwerdendes Crawl-Budget nicht auf andere Seiten, außer die Site erreicht bereits das Crawl-Kapazitätslimit (auch Hostload genannt: die Zeit, die dein Server Verbindungen für Google offen hält). Für eine temporäre Umverteilung ist die robots.txt daher ungeeignet.[8]
  4. „Die robots.txt schützt private Inhalte.“ Die Datei ist öffentlich lesbar und kann den Ort privater Inhalte offenlegen, der RFC beschreibt ihre Regeln ausdrücklich nicht als Zugriffsautorisierung. Für private Inhalte braucht es eine Authentifizierung.[10] [5]
  5. „Ein noindex in der robots.txt genügt.“ Google unterstützt die noindex-Regel in der robots.txt nicht.[6]

Messung und Diagnose

Selbstaudit: Wo steht deine Seite?

Prüfpunkt Grün Gelb Rot Beleg
Abruf und Statuscode Die Datei liefert 200 und Regeln. 4xx außer 429: Google behandelt die Datei als nicht vorhanden und nimmt keine Crawl-Beschränkungen an. 5xx sowie DNS- und Netzwerkfehler: 12 Stunden Crawl-Stopp, danach bis zu 30 Tage die zuletzt gute Version, ohne Cache gelten keine Beschränkungen. Nach 30 Tagen verhält sich Google bei einer verfügbaren Site wie ohne Datei, bei Verfügbarkeitsproblemen stoppt es das Crawling. [4]
Weiterleitungen Keine Weiterleitung auf die Datei. Weiterleitung vorhanden, Google folgt mindestens fünf Hops. Kette, die Google nach mindestens fünf Hops abbricht (dann wie 404 behandelt), oder logische Weiterleitung per Frame, JavaScript oder Meta-Refresh, die Google nicht befolgt. [4]
Dateigröße Deutlich unter 500 KiB. Nähert sich dem Limit (Google nennt keine Vorstufe). Über 500 KiB: Google ignoriert den Inhalt hinter dem Limit. [4] [11]
Format und Codierung UTF-8-Text ohne Sonderzeichen. Byte Order Mark (BOM) oder ungültige Zeilen: Google ignoriert sie. Zeichen außerhalb von UTF-8: Google kann sie ignorieren, Regeln können ungültig werden. [2] [4]
Speicherort und Geltungsbereich Stammverzeichnis jedes Hosts, für den Regeln gelten sollen. Für einzelne Subdomains, Protokolle (http/https) oder Ports fehlt eine eigene Datei, denn die Regeln gelten nur für Host, Protokoll und Port der Datei. Datei liegt in einem Unterverzeichnis: Crawler prüfen dort nicht. [2] [4]
Blockierte wichtige URLs Der Page-Indexing-Bericht zeigt keine wichtigen URLs als „URL blocked by robots.txt“. Status „Indexed, though blocked by robots.txt“ (Warnung): Die blockierte URL wurde trotzdem indexiert. Wichtige URLs oder ganze Bereiche unter „URL blocked by robots.txt“ (nicht indexiert). [12]
Syntax laut Search Console Status „Fetched“ und keine Issues. Warnungen: Sie verhindern die Nutzung einer Regel nicht. Fehler: Sie verhindern die Nutzung der betroffenen Regel, Google ignoriert Zeilen mit Problemen und nutzt die übrigen. [11]

Tools und Datenquellen

Tool Bericht oder Kennzahl Wofür
Google Search Console robots.txt-Bericht: Fetch-Status, „Checked on“, Größe in Bytes, Zahl der Issues, Versionen der letzten 30 Tage, Recrawl-Anfrage Abruf und Parsing der Datei prüfen. Der Bericht gilt für Domain-Properties und URL-Präfix-Properties ohne Pfad, bei Domain-Properties für die Top 20 Hosts.[11]
Google Search Console Page-Indexing-Bericht und URL-Prüfung Sperrstatus einzelner URLs prüfen.[12] [11]
Google Search Console Crawl-Stats-Bericht Serverfehler und Hostverfügbarkeit im Blick behalten.[3] [12]
Googles Open-Source-Bibliothek für robots.txt Parser zum Selbstbauen Dateien lokal testen. Die Bibliothek wird auch in Google Search verwendet.[2] [11]
Screaming Frog SEO Spider Configuration > Robots.txt mit den Optionen „Respect robots.txt“ (Standard), „Ignore robots.txt“ und „Ignore robots.txt but report status“; Tab „Response Codes“ mit Filter „Blocked by Robots.txt“ und Spalte „matched robots.txt line“; Custom robots.txt Blockierte URLs samt auslösender Regel finden und Änderungen vorab testen. „Ignore robots.txt“ lädt die Datei gar nicht, „Ignore robots.txt but report status“ lädt und meldet sie, ignoriert aber die Regeln. Die Custom robots.txt überschreibt die Live-Datei nur für den Crawl und nutzt den gewählten Robots User-Agent. Blockierte interne URLs erscheinen im Tab „Internal“ mit Status Code 0.[13]
Sistrix Onpage-Crawler Projekteinstellung „virtuelle robots.txt“; Hinweis im Crawl-Report auf per robots.txt ausgeschlossene URLs Regeländerungen simulieren: Die virtuelle Datei gilt nur für den Sistrix-Crawler und ersetzt beim nächsten Crawl die öffentliche Version. Der Crawler beachtet die robots.txt wie der Googlebot.[14]

Optimierung

Die wichtigsten Hebel

  1. Unbeabsichtigte Sperren entfernen (Quick Win). Blockiert eine Regel große Bereiche der Site, führt das zu vielen nicht indexierten Seiten. Sind die Seiten zu Unrecht gesperrt, nennt Google das Entfernen der Regel als Lösung.[12] Beginne bei den Bereichen mit den meisten betroffenen URLs.
  2. Ressourcen für Googlebot freigeben (Quick Win). Erlaube Googlebot Dateien, die zum Rendern nötig sind, auch wenn ein Verzeichnis für andere Crawler gesperrt bleibt. Googles Beispiel schließt /includes/ für alle Crawler aus und erlaubt es Googlebot in einer eigenen Gruppe, weil Google die Dateien zum Rendern braucht.[4] Beachte dabei die Gruppenlogik unter Typische Fehler. 
    User-agent: *
Disallow: /includes/

User-agent: Googlebot
Allow: /includes/
  3. Regeln präzise formulieren (Quick Win). Pfade beginnen mit /, Verzeichnisse enden mit /.[2] Bei mehreren passenden Regeln gilt die längste, bei Konflikten die am wenigsten restriktive.[4] Für Dateiendungen dient $ als Endmarker: Google nennt Disallow: /*.xls$ als Beispiel, eine URL wie /cats.xls?personality=loki fällt dann nicht unter die Regel.[10]
  4. URL-Inventar bereinigen (Langfristig). Konsolidiere Duplikate zuerst, etwa anders sortierte Versionen derselben Seite. Lassen sie sich nicht konsolidieren, empfiehlt Google, unwichtige Seiten per robots.txt zu sperren. Für dauerhaft entfernte Seiten nennt Google 404 oder 410 als stärkeres Signal, denn blockierte URLs bleiben deutlich länger in der Crawl-Warteschlange und werden nach Aufheben der Sperre erneut abgerufen.[8]
  5. Dateigröße im Griff behalten (Langfristig). Wächst die Datei, empfiehlt Google, Regeln zusammenzufassen und ausgeschlossenes Material zum Beispiel in einem eigenen Verzeichnis abzulegen.[4] Das Limit steht im Selbstaudit.

Umsetzung in Schritten

  1. Kläre den Zugriff. Bei Hosting-Diensten wie Wix oder Blogger lässt sich die Datei unter Umständen nicht direkt bearbeiten, dann stellt der Anbieter womöglich eine Einstellungsseite bereit.[1]
  2. Hole die aktuelle Datei: per Browser kopieren, mit curl https://example.com/robots.txt -o robots.txt laden oder aus dem robots.txt-Bericht der Search Console kopieren.[15]
  3. Nutze einen Texteditor. Textverarbeitungsprogramme speichern oft in proprietären Formaten und können geschwungene Anführungszeichen einfügen. Speichere als UTF-8.[2]
  4. Teste die Änderung vorab mit der virtuellen oder Custom robots.txt aus Tools und Datenquellen.
  5. Lade die Datei in das Stammverzeichnis hoch und rufe sie in einem privaten Browserfenster auf.[2]
  6. Prüfe Status und Issues im robots.txt-Bericht, die Ampel dazu steht im Selbstaudit.
  7. Plane Zeit für den Cache ein: Google speichert die Datei in der Regel bis zu 24 Stunden, bei Timeouts oder 5xx-Fehlern länger, und Cache-Control max-age kann die Dauer verändern.[4] [15] Nutze „Request a recrawl“ nur nach einer Fehlerkorrektur oder einer kritischen Änderung, einen sofortigen Recrawl der entsperrten URLs garantiert das nicht.[11]
  8. Kontrolliere wichtige URLs nach dem Livegang mit der URL-Prüfung, siehe Tools und Datenquellen.

Fallstricke und Grenzen

Typische Fehler

  1. Disallow und noindex kombinieren. Ist eine URL per robots.txt gesperrt, sieht der Crawler ein noindex nie, die Seite kann weiter in den Ergebnissen erscheinen, etwa wenn andere Seiten auf sie verlinken.[6] Robots-Meta-Tags und X-Robots-Tag werden erst beim Crawlen einer URL gefunden.[16]
  2. Gruppen falsch verstehen. Google wendet pro Crawler nur die Gruppe mit dem spezifischsten passenden User-Agent an. Mehrere Gruppen für denselben User-Agent werden zusammengeführt, spezifische Gruppen und die *-Gruppe dagegen nicht. Regeln der *-Gruppe gelten für Googlebot daher nicht mehr, sobald es eine eigene Googlebot-Gruppe gibt.[4]
  3. Groß- und Kleinschreibung übersehen. Pfadwerte sind case-sensitiv: disallow: /file.asp trifft https://www.example.com/file.asp, aber nicht https://www.example.com/FILE.asp. Feldnamen wie Disallow sind davon ausgenommen.[2] [4]
  4. Die sitemap-Zeile zwischen Gruppen setzen. Google ignoriert sie beim Auswerten der Gruppen, sie trennt keine Gruppe. In Googles Beispiel gilt das folgende disallow: / deshalb für beide User-Agents a und b.[4] Auch der RFC legt fest, dass ein solcher Eintrag keine Gruppe beenden darf.[5]

Wann stößt robots.txt an Grenzen?

Die Regeln lassen sich nicht erzwingen. Googlebot und andere seriöse Crawler befolgen sie, andere Crawler nicht zwingend, und jeder Crawler kann die Syntax anders auslegen.[1]

Für nutzergesteuerte Crawler wie Feed-Abos und für Sicherheits-Crawler wie die Malware-Analyse gilt das REP bei Google nicht.[4] Die *-Gruppe erfasst außerdem die AdsBot-Crawler nicht, sie müssen explizit genannt werden.[2] AdsBot ignoriert die globale *-Gruppe mit Erlaubnis des Werbetreibenden, gängige Google-Crawler befolgen die robots.txt bei automatischen Abrufen immer.[17]

Zusammenspiel mit anderen Faktoren

  • Indexierbarkeit: Die robots.txt entscheidet über den Abruf, noindex über die Indexierung. Die Kombination beider steht unter Typische Fehler.
  • Sitemap: Sitemaps zeigen, welche Inhalte Google crawlen soll, die robots.txt regelt, was Google crawlen darf.[2] Der sitemap-Eintrag in der robots.txt ist optional und braucht eine vollqualifizierte URL, Google prüft keine http/https- oder www-Varianten. Du kannst beliebig viele Sitemaps angeben, sie dürfen auf anderen Hosts liegen, und der Eintrag gilt unabhängig vom User-Agent.[4]
  • Interne Verlinkung: Google braucht einen Weg zu einer Seite, also einen Link von einer bekannten Seite oder eine Sitemap.[12]
  • Seitenladezeit und Server: Stabile Antwortzeiten erhöhen das Crawl-Kapazitätslimit, Serverfehler (5xx) und Rate-Limiting (429) senken es.[8]

KI-Crawler und robots.txt

Auch KI-Anbieter richten ihre Crawler über die robots.txt aus. Google steuert die Nutzung gecrawlter Inhalte für das Training künftiger Gemini-Modelle und für Grounding in den Gemini Apps über das Token Google-Extended. Es hat keine eigene HTTP-Kennung und wirkt weder auf die Aufnahme in Google Search noch als Rankingsignal.[18] Anthropic unterscheidet ClaudeBot (Training), Claude-SearchBot (Suche) und Claude-User (nutzergesteuerte Abrufe), beachtet die robots.txt und unterstützt zusätzlich die nicht standardisierte crawl-delay-Regel.[19]

Fazit

Die robots.txt entscheidet, was Crawler abrufen dürfen, und ist damit die Voraussetzung dafür, dass Google deine Inhalte überhaupt bewerten kann. Ob sie der passende Hebel ist, zeigt die Ausgangslage deiner Seite. Alle Faktoren findest du in der Übersicht Alle Rankingfaktoren im Überblick, passend dazu lohnt der Blick auf die interne Verlinkung.

Quellen

  1. Google Search Central: Introduction to robots.txt (Stand: 10.12.2025). https://developers.google.com/search/docs/crawling-indexing/robots/intro. Abgerufen am 19.09.2026.
  2. Google Crawling Infrastructure: How to write and submit a robots.txt file (Stand: 21.11.2025). https://developers.google.com/crawling/docs/robots-txt/create-robots-txt. Abgerufen am 19.09.2026.
  3. Google Crawling Infrastructure: Myths and facts about crawling (Stand: 18.12.2025). https://developers.google.com/crawling/docs/myths-about-crawling. Abgerufen am 19.09.2026.
  4. Google Crawling Infrastructure: How Google interprets the robots.txt specification (Stand: 31.08.2026). https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec. Abgerufen am 19.09.2026.
  5. IETF: RFC 9309 Robots Exclusion Protocol (Veröffentlicht: September 2022). https://www.rfc-editor.org/rfc/rfc9309.html. Abgerufen am 19.09.2026.
  6. Google Search Central: Block Search indexing with noindex (Stand: 10.12.2025). https://developers.google.com/search/docs/crawling-indexing/block-indexing. Abgerufen am 19.09.2026.
  7. Google Crawling Infrastructure: Reduce the Google crawl rate (Stand: 18.12.2025). https://developers.google.com/crawling/docs/crawlers-fetchers/reduce-crawl-rate. Abgerufen am 19.09.2026.
  8. Google Crawling Infrastructure: Optimize your crawl budget (Stand: 22.07.2026). https://developers.google.com/crawling/docs/crawl-budget. Abgerufen am 19.09.2026.
  9. Google Search Central: Understand the JavaScript SEO basics (Stand: 04.03.2026). https://developers.google.com/search/docs/crawling-indexing/javascript/javascript-seo-basics. Abgerufen am 19.09.2026.
  10. Google Crawling Infrastructure: Useful robots.txt rules (Stand: 12.06.2026). https://developers.google.com/crawling/docs/robots-txt/useful-robots-txt-rules. Abgerufen am 19.09.2026.
  11. Google Search Console Help: robots.txt report. https://support.google.com/webmasters/answer/6062598. Abgerufen am 19.09.2026.
  12. Google Search Console Help: Page indexing report. https://support.google.com/webmasters/answer/7440203. Abgerufen am 19.09.2026.
  13. Screaming Frog: SEO Spider Configuration (Herstellerdokumentation, Stand: 22.05.2026). https://www.screamingfrog.co.uk/seo-spider/user-guide/configuration/. Abgerufen am 19.09.2026.
  14. SISTRIX: robots.txt: Crawler effektiv steuern (Herstellerdokumentation, Stand: 11.09.2026). https://www.sistrix.de/frag-sistrix/onpage/meta-tags/robots-txt/. Abgerufen am 19.09.2026.
  15. Google Crawling Infrastructure: Update your robots.txt file (Stand: 21.11.2025). https://developers.google.com/crawling/docs/robots-txt/submit-updated-robots-txt. Abgerufen am 19.09.2026.
  16. Google Search Central: Robots meta tag, data-nosnippet, and X-Robots-Tag specifications (Stand: 24.03.2026). https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag. Abgerufen am 19.09.2026.
  17. Google Crawling Infrastructure: Overview of Google crawlers and fetchers (Stand: 12.06.2026). https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers. Abgerufen am 19.09.2026.
  18. Google Crawling Infrastructure: Google’s common crawlers (Stand: 14.07.2026). https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers. Abgerufen am 19.09.2026.
  19. Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (Stand: 07.04.2026). https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler. Abgerufen am 19.09.2026.