Crawl-Budget
Das Crawl-Budget ist die Anzahl an Seiten, die eine Suchmaschine in einem bestimmten Zeitraum auf einer Website abruft. Für die meisten kleinen und mittleren Websites ist es kein Engpass. Relevant wird es bei sehr großen Websites und Shops mit vielen automatisch erzeugten Adressen.
- Redaktion: H1 DIGITAL
- Lesezeit 1 Minute
- Aktualisiert am 07.11.2026
Woraus es sich ergibt
- Crawl-Kapazität: Wie viele Abrufe verträgt der Server, ohne langsamer zu werden?
- Crawl-Bedarf: Wie wichtig und wie häufig geändert sind die Inhalte?
Google erhöht das Crawling, wenn der Server schnell antwortet und die Inhalte gefragt sind, und drosselt es bei Fehlern.
Wann Sie sich darum kümmern sollten
- Die Website hat sehr viele Seiten, etwa ein großer Shop mit Filterkombinationen.
- Neue Inhalte werden erst nach Wochen indexiert.
- Die Google Search Console meldet viele „Gefunden – zurzeit nicht indexiert“.
Was Crawl-Budget verschwendet
- Endlose Filter- und Sortierkombinationen.
- Weiterleitungsketten und viele 404-Seiten. Siehe Weiterleitungen (301, 302, 410).
- Doppelte Inhalte unter mehreren Adressen. Siehe Duplicate Content.
- Langsame Server und Zeitüberschreitungen.
Gegenmaßnahmen
- Unwichtige Parameter-URLs per robots.txt vom Crawling ausnehmen.
- Interne Links nur auf kanonische URLs setzen.
- Die XML-Sitemap sauber halten.
- Serverantwortzeiten verbessern und Caching nutzen.
Den Crawling-Verlauf zeigt der Bericht „Crawling-Statistiken“ in den Einstellungen der Search Console.
Weiterlesen
Verwandte Begriffe
Crawling und Indexierung
Beim Crawling ruft eine Suchmaschine Webseiten automatisch ab und folgt dabei Links.
robots.txt
Die robots.txt ist eine Textdatei im Hauptverzeichnis einer Website, die Crawlern mitteilt, welche Bereiche sie abrufen dürfen.
Von der Theorie zur Umsetzung
In der kostenlosen Potenzialanalyse sehen wir uns an, was davon für Ihr Unternehmen am meisten bringt. 30 Minuten, unverbindlich.