Was ist Indexierung?
Indexierung ist der Schritt nach dem Crawling: Die Suchmaschine nimmt eine gecrawlte Seite in ihren Suchindex auf. Erst wenn eine Seite indexiert ist, kann sie in den Suchergebnissen erscheinen.
Stell dir den Google-Index wie eine riesige Bibliothek vor: Crawling ist der Bibliothekar, der neue Bücher sammelt. Indexierung ist der Vorgang, bei dem er jedes Buch liest, kategorisiert und ins Regal einsortiert.
Crawling vs. Indexierung
Diese beiden Begriffe werden oft verwechselt, beschreiben aber unterschiedliche Prozesse:
| Schritt | Was passiert | Ergebnis |
|---|---|---|
| Crawling | Bot besucht die URL und lädt den HTML-Code | Seite ist bekannt |
| Indexierung | Google analysiert Inhalt, Struktur und Kontext | Seite ist im Index |
| Ranking | Algorithmus bewertet die Relevanz für Suchanfragen | Position in den SERPs |
Wichtig: Eine gecrawlte Seite wird nicht automatisch indexiert. Google entscheidet anhand von Qualitätskriterien, ob eine Seite in den Index aufgenommen wird.
Warum werden Seiten nicht indexiert?
Es gibt mehrere häufige Gründe, warum Google eine Seite nicht in den Index aufnimmt:
- noindex-Tag: Die Seite blockiert die Indexierung explizit per Meta-Robots-Tag oder X-Robots-Tag
- robots.txt-Blockade: Der Crawler darf die Seite nicht besuchen
- Duplicate Content: Der Inhalt existiert bereits auf einer anderen URL
- Thin Content: Zu wenig oder minderwertiger Inhalt
- Crawl-Budget: Bei großen Websites reicht das Crawl-Budget nicht für alle Seiten
- Technische Fehler: 4xx- oder 5xx-Statuscodes verhindern den Zugriff
Indexierung prüfen und steuern
Ist meine Seite indexiert?
Nutze die Google-Suche mit dem site:-Operator:
site:deine-domain.de/deine-seite
Zeigt Google ein Ergebnis an, ist die Seite im Index. Für detailliertere Informationen nutze die Google Search Console unter "Indexierung > Seiten".
Indexierung fördern
- XML-Sitemap erstellen und in der Search Console einreichen
- Interne Verlinkung stärken, damit der Crawler alle Seiten findet
- Hochwertigen Content erstellen, der Mehrwert bietet
- Ladezeiten optimieren, damit der Crawler Seiten effizient verarbeiten kann
Indexierung verhindern
Manchmal sollen Seiten bewusst nicht indexiert werden (z. B. Danke-Seiten, interne Suchergebnisse, Staging-Umgebungen):
<meta name="robots" content="noindex">
Häufiges Missverständnis
Viele glauben, die robots.txt könne die Indexierung verhindern. Das stimmt nicht: Die robots.txt blockiert das Crawling, nicht die Indexierung. Wenn andere Seiten auf eine per robots.txt gesperrte URL verlinken, kann Google sie trotzdem indexieren - nur ohne den Inhalt zu kennen.
Für eine zuverlässige Indexierungskontrolle nutze immer das noindex-Tag.