Was ist die robots.txt?
Die robots.txt ist eine einfache Textdatei, die im Stammverzeichnis einer Website liegt (z. B. https://deine-domain.de/robots.txt). Sie gibt Suchmaschinen-Crawlern Anweisungen, welche Bereiche der Website sie besuchen dürfen und welche nicht.
Stell dir die robots.txt wie ein Schild am Eingang eines Gebäudes vor: Es sagt Besuchern, welche Räume offen sind und welche gesperrt. Allerdings ist es nur ein höflicher Hinweis – nicht jeder Crawler hält sich daran. Das Format ist seit 2022 offiziell als RFC 9309 (Robots Exclusion Protocol) standardisiert.
Grundlegender Aufbau
Die robots.txt verwendet ein einfaches Format mit zwei Hauptanweisungen:
User-agent: *
Disallow: /admin/
Disallow: /tmp/
Allow: /admin/public/
Sitemap: https://deine-domain.de/sitemap.xml
Die wichtigsten Direktiven
| Direktive | Bedeutung |
|---|---|
| User-agent | Für welchen Crawler die Regel gilt (* = alle) |
| Disallow | Verbietet den Zugriff auf einen Pfad |
| Allow | Erlaubt den Zugriff (überschreibt Disallow für Unterpfade) |
| Sitemap | Verweist auf die XML-Sitemap der Website |
| Crawl-delay | Wartezeit zwischen Anfragen (von Google ignoriert) |
Wofür wird die robots.txt eingesetzt?
- Crawl-Budget schonen: Unwichtige Seiten (Suchergebnisse, Filter, Druckversionen) vom Crawling ausschließen
- Bereiche schützen: Admin-Bereiche, Staging-Seiten oder interne Tools verstecken
- Duplicate Content vermeiden: Parameterbasierte Duplikate blockieren
- Sitemap bekannt machen: Den Pfad zur XML-Sitemap angeben
Häufige Fehler
1. robots.txt mit noindex verwechseln
Die robots.txt verhindert das Crawling, nicht die Indexierung. Wenn andere Websites auf eine blockierte Seite verlinken, kann Google sie trotzdem indexieren – nur ohne den Inhalt zu kennen. Google stellt das in der offiziellen robots.txt-Einführung ausdrücklich klar. Für echte Indexierungskontrolle nutze das noindex-Meta-Tag.
2. Wichtige Seiten versehentlich blockieren
Ein zu breit gefasster Disallow-Eintrag kann verhindern, dass Google deine wichtigsten Seiten crawlt:
# Gefährlich: Blockiert die gesamte Website
User-agent: *
Disallow: /
3. CSS und JavaScript blockieren
Wenn du CSS- und JS-Dateien per robots.txt blockierst, kann Google deine Seiten nicht richtig rendern. Das schadet der Bewertung von Mobile-Friendliness und User Experience.
4. Fehlende Sitemap-Referenz
Die robots.txt ist der ideale Ort, um Suchmaschinen auf deine Sitemap hinzuweisen. Viele vergessen diesen einfachen, aber wirkungsvollen Eintrag.
Best Practices
- Halte die robots.txt so einfach wie möglich
- Blockiere nur Bereiche, die wirklich nicht gecrawlt werden sollen
- Teste Änderungen in der Google Search Console vor dem Deployment
- Nutze Allow für Ausnahmen innerhalb blockierter Verzeichnisse
- Verweise immer auf deine XML-Sitemap
- Prüfe regelmäßig, ob die Regeln noch aktuell sind
robots.txt und SEO-Audits
Ein SEO-Audit sollte immer die robots.txt prüfen. Typische Auditpunkte sind:
- Ist die robots.txt erreichbar (HTTP 200)?
- Werden wichtige Seiten versehentlich blockiert?
- Ist die Sitemap referenziert?
- Gibt es veraltete oder überflüssige Regeln?
- Werden CSS- und JavaScript-Dateien freigegeben?