KI-Crawler-Check
Dürfen ChatGPT, Claude & Perplexity Ihre Website lesen? Der Check wertet Ihre robots.txt aus und zeigt für jeden bekannten KI-Crawler, ob er hereinkommt — und welche Regel das entscheidet.
robots.txt-Zugriffsmatrix
Für die schnelle Antwort auf die Frage: Wer darf rein?
- Prüft alle wichtigen KI-Crawler (GPTBot, ClaudeBot, PerplexityBot, Google-Extended u. a.)
- Unterscheidet Antwort-Crawler für die KI-Suche und Trainings-Crawler
- Zeigt zu jeder Entscheidung die maßgebliche robots.txt-Regel
- Vergleichszeile für den klassischen Googlebot
Eignung der Inhalte für KI-Systeme
Zugriff ist nur die Eintrittskarte — zitiert wird, was lesbar ist.
- Lesbarkeit und Zitierbarkeit der wichtigsten Unterseiten durch KI-Systeme
- Generierte
llms.txtals kuratierte Landkarte für KI-Systeme - Strukturierte Daten, Markensignale und Antwortblöcke im Zusammenhang
- Priorisierte Maßnahmen für SEO- und KI-Sichtbarkeit
KI-Crawler-Zugriff prüfen
KI-Antwort-Crawler rufen Seiten live für KI-Suche und Antworten ab
| Crawler | Zugriff | Entscheidende Regel |
|---|
KI-Trainings-Crawler sammeln Inhalte für das Modelltraining
| Crawler | Zugriff | Entscheidende Regel |
|---|
Zum Vergleich: klassische Suche
| Crawler | Zugriff | Entscheidende Regel |
|---|
Fehler bei der Prüfung
Warum der KI-Crawler-Zugriff über KI-Sichtbarkeit entscheidet
Immer mehr Menschen fragen ChatGPT, Perplexity oder Google AI statt der klassischen Suche. Diese Systeme können eine Website nur empfehlen und zitieren, wenn ihre Crawler die Seiten lesen dürfen. Viele Websites blockieren KI-Crawler pauschal — oft ohne zu wissen, dass sie sich damit aus der KI-Suche ausschließen.
Antwort- vs. Trainings-Crawler
Antwort-Crawler wie OAI-SearchBot oder PerplexityBot holen Seiten live, wenn Nutzer Fragen stellen. Trainings-Crawler wie GPTBot oder CCBot sammeln Inhalte für das Modelltraining. Nur das Blockieren der Antwort-Crawler kostet Sichtbarkeit.
Wie robots.txt entscheidet
Eine robots.txt-Gruppe für einen konkreten Crawler überschreibt die allgemeine *-Gruppe vollständig. Der Check zeigt deshalb zu jeder Entscheidung die Regel-Quelle — so sehen Sie sofort, welche Zeile greift.
Zugriff ist nicht alles
Wer hereindarf, muss die Inhalte auch verstehen können. Klare Struktur, sichtbarer Text, strukturierte Daten und eine llms.txt machen aus Zugriff tatsächliche Zitierbarkeit.
Häufige Fragen zum KI-Crawler-Check
Welche KI-Crawler prüft das Tool?
Alle wichtigen KI-Crawler, darunter GPTBot, ChatGPT-User und OAI-SearchBot (OpenAI), ClaudeBot und Claude-SearchBot (Anthropic), PerplexityBot, Google-Extended, CCBot, Bytespider und Meta-ExternalAgent — unterteilt in Antwort-Crawler für die KI-Suche und Trainings-Crawler für das Modelltraining.
Ist es schlimm, Trainings-Crawler zu blockieren?
Nein. Das Blockieren von Trainings-Crawlern wie GPTBot oder CCBot ist eine legitime Entscheidung, wenn Inhalte nicht ins Modelltraining einfließen sollen. Es betrifft nur das Training — die Sichtbarkeit in KI-Antworten bleibt erhalten, solange die Antwort-Crawler Zugriff haben.
Warum ist das Blockieren von Antwort-Crawlern kritisch?
Antwort-Crawler rufen Seiten live ab, wenn Nutzer in ChatGPT, Perplexity oder anderen KI-Suchsystemen Fragen stellen. Sind alle Antwort-Crawler blockiert, kann die Website weder gelesen noch in KI-Antworten als Quelle zitiert werden — sie ist für die KI-Suche unsichtbar.
Reicht der Zugriff, um in KI-Antworten aufzutauchen?
Nein. Zugriff ist die Voraussetzung, nicht die Garantie. Damit KI-Systeme eine Seite tatsächlich zitieren, müssen Inhalte klar strukturiert, maschinell lesbar und thematisch eindeutig sein. Genau das prüft das vollständige SEO-Audit inklusive llms.txt und strukturierter Daten.
Reinkommen ist Pflicht — zitiert werden ist Kür.
Clariseo prüft neben dem Crawler-Zugriff auch, wie gut KI-Systeme Ihre Inhalte lesen, verstehen und zitieren können — inklusive generierter llms.txt und priorisierter Maßnahmen.