Was ist Crawling?
Crawling ist der Prozess, bei dem Suchmaschinen das Web mit automatisierten Programmen — sogenannten Crawlern, Bots oder Spidern — systematisch durchsuchen und die Inhalte von Webseiten erfassen. Es ist der erste Schritt in der Kette Crawling → Indexierung → Ranking: Eine Seite, die nicht gecrawlt werden kann, erscheint in keinem Suchergebnis.
Der bekannteste Crawler ist der Googlebot. Daneben crawlen Bingbot, DuckDuckBot und zunehmend auch KI-Crawler wie GPTBot (OpenAI), ClaudeBot (Anthropic) oder PerplexityBot das Web.
So funktioniert Crawling
- Entdeckung: Der Crawler erfährt von einer URL — über Links auf bereits bekannten Seiten, über die XML-Sitemap oder weil die URL früher schon einmal besucht wurde.
- Erlaubnis prüfen: Vor dem Abruf prüft der Crawler die robots.txt der Domain. Gesperrte Pfade werden nicht abgerufen.
- Abruf und Rendering: Der Crawler lädt den HTML-Code. Google führt bei Bedarf zusätzlich JavaScript aus, um nachgeladene Inhalte zu sehen — das geschieht allerdings verzögert und mit begrenzten Ressourcen.
- Linkverfolgung: Gefundene Links wandern in die Warteschlange und werden nach Priorität abgearbeitet.
- Weitergabe: Der erfasste Inhalt geht an die Indexierung, wo entschieden wird, ob und wie die Seite in den Suchindex aufgenommen wird.
Häufige Crawling-Probleme
- Versehentliche robots.txt-Sperren: Ein einziges falsches
Disallow: /blockiert die gesamte Website. - Verwaiste Seiten: URLs ohne einen einzigen internen Link werden schlecht oder gar nicht entdeckt — die Sitemap allein ersetzt keine interne Verlinkung.
- Zu tiefe Klickpfade: Seiten, die erst nach vier oder mehr Klicks von der Startseite erreichbar sind, verlieren an Crawl-Priorität.
- Reine JavaScript-Inhalte: Wenn wichtige Inhalte erst clientseitig gerendert werden, sehen Crawler beim ersten Abruf eine leere Hülle.
- Weiterleitungsketten und Fehlerseiten: Jede unnötige Umleitung kostet Crawl-Ressourcen; viele 404-Fehler verschwenden sie.
Crawling optimieren
- robots.txt bewusst konfigurieren — nur sperren, was wirklich nicht in den Index soll, und die Datei nach Änderungen testen
- XML-Sitemap aktuell halten und in der Search Console einreichen
- Interne Verlinkung stärken: Wichtige Seiten gehören maximal drei Klicks von der Startseite entfernt
- Ladezeiten verbessern — schnelle Antworten erlauben mehr gecrawlte Seiten pro Besuch
- Duplicate Content vermeiden, damit das Crawl-Kontingent nicht an doppelte URL-Varianten verschwendet wird
Das oft zitierte Crawl Budget ist übrigens erst für sehr große Websites (ab zehntausenden URLs) ein echtes Thema. Für kleine und mittlere Websites gilt: Wenn die Struktur sauber ist, crawlt Google alles Relevante von selbst.
KI-Crawler: die neue Dimension
Neben klassischen Suchmaschinen crawlen heute auch KI-Systeme das Web — teils für das Training von Sprachmodellen (z. B. GPTBot, CCBot), teils um Live-Antworten mit Quellen zu belegen (z. B. OAI-SearchBot, Claude-SearchBot, PerplexityBot). Wer in KI-Antworten zitiert werden will, sollte prüfen, ob die eigene robots.txt diese Crawler zulässt — das Sperren von Antwort-Crawlern macht die Website für KI-Suchen unsichtbar.