Crawling und Indexierung

Vom Link zum Suchergebnis

1. Der Crawler (bei Google: Googlebot) findet eine URL über einen Link, eine XML-Sitemap oder eine manuelle Einreichung.
2. Er prüft in der robots.txt, ob er die Seite abrufen darf.
3. Er lädt den HTML-Code und bei Bedarf JavaScript, CSS und Bilder und rendert die Seite.
4. Google bewertet Inhalt, Qualität und Duplikate und entscheidet über die Aufnahme in den Index.
5. Erst bei einer Suchanfrage wird die Seite gegen andere Ergebnisse abgewogen.

Warum Seiten nicht im Index landen

• Ein noindex-Tag oder ein HTTP-Header schließt die Seite ausdrücklich aus.
• Die Seite ist ein Duplikat, und Google wählt eine andere Version als kanonisch. Siehe Canonical-Tag.
• Der Inhalt ist zu dünn oder bietet gegenüber bestehenden Seiten keinen Mehrwert.
• Die Seite ist intern nicht verlinkt und wird kaum gefunden.
• Serverfehler oder sehr lange Ladezeiten bremsen den Crawler.

So prüfen Sie den Status

In der Google Search Console zeigt der Bericht „Seiten“, welche URLs indexiert sind und aus welchem Grund andere fehlen. Mit der URL-Prüfung sehen Sie für eine einzelne Adresse, wann Google sie zuletzt gecrawlt hat und wie die gerenderte Seite aussieht.

Praxis-Tipps

• Wichtige Seiten höchstens drei Klicks von der Startseite entfernt platzieren.
• Unwichtige Parameter- und Filterseiten von der Indexierung ausschließen statt sie zu sperren.
• Nach einem Relaunch alte URLs per 301 weiterleiten. Siehe Weiterleitungen (301, 302, 410).