robots.txt
Die robots.txt ist eine Textdatei im Hauptverzeichnis einer Website, die Crawlern mitteilt, welche Bereiche sie abrufen dürfen. Sie steuert das Crawling, nicht die Indexierung: Eine gesperrte Seite kann trotzdem im Index erscheinen, wenn andere Seiten auf sie verlinken.
- Redaktion: H1 DIGITAL
- Lesezeit 1 Minute
- Aktualisiert am 07.11.2026
Aufbau
Die Datei liegt immer unter /robots.txt, zum Beispiel https://h1.digital/robots.txt. Sie besteht aus Gruppen mit einem User-agent und Regeln:
| Anweisung | Bedeutung |
|---|---|
User-agent: * | gilt für alle Crawler |
Disallow: /wp-admin/ | dieser Pfad soll nicht abgerufen werden |
Allow: /wp-admin/admin-ajax.php | Ausnahme innerhalb eines gesperrten Pfads |
Sitemap: https://…/sitemap_index.xml | Hinweis auf die XML-Sitemap |
Wofür sie gedacht ist
- Unwichtige Bereiche wie interne Suchergebnisse oder Warenkorb-Seiten vom Crawling ausnehmen.
- Serverlast durch übermäßiges Crawling begrenzen. Siehe Crawl-Budget.
- Bestimmten Crawlern den Zugriff erlauben oder verbieten, etwa KI-Crawlern. Siehe Generative Engine Optimization (GEO).
Typische Fehler
- Seiten sperren, um sie aus dem Index zu nehmen: Dafür ist
noindexda. Eine gesperrte Seite kann Google gar nicht lesen und sieht deshalb auch keinnoindex. - CSS und JavaScript sperren: Google kann die Seite dann nicht korrekt darstellen und bewertet sie womöglich schlechter.
- Ein vergessenes
Disallow: /nach dem Livegang einer Testumgebung: Damit ist die ganze Website gesperrt.
Prüfen
Die Google Search Console zeigt unter Einstellungen den robots.txt-Bericht mit der zuletzt abgerufenen Version und eventuellen Fehlern. Die Datei ist öffentlich lesbar und schützt keine vertraulichen Inhalte.
Weiterlesen
Verwandte Begriffe
XML-Sitemap
Eine XML-Sitemap ist eine Datei, die alle Seiten einer Website auflistet, die in Suchmaschinen erscheinen sollen.
Crawling und Indexierung
Beim Crawling ruft eine Suchmaschine Webseiten automatisch ab und folgt dabei Links.
Crawl-Budget
Das Crawl-Budget ist die Anzahl an Seiten, die eine Suchmaschine in einem bestimmten Zeitraum auf einer Website abruft.
Von der Theorie zur Umsetzung
In der kostenlosen Potenzialanalyse sehen wir uns an, was davon für Ihr Unternehmen am meisten bringt. 30 Minuten, unverbindlich.