KI-Crawler-Check
Dürfen ChatGPT, Claude & Perplexity Ihre Website lesen? Der Check wertet Ihre robots.txt aus und zeigt für jeden bekannten KI-Crawler, ob er hereinkommt — und welche Regel das entscheidet.
robots.txt-Zugriffsmatrix
Für die schnelle Antwort auf die Frage: Wer darf rein?
- Prüft alle wichtigen KI-Crawler (GPTBot, ClaudeBot, PerplexityBot, Google-Extended u. a.)
- Unterscheidet Antwort-Crawler für die KI-Suche und Trainings-Crawler
- Zeigt zu jeder Entscheidung die maßgebliche robots.txt-Regel
- Vergleichszeile für den klassischen Googlebot
Eignung der Inhalte für KI-Systeme
Zugriff ist nur die Eintrittskarte — zitiert wird, was lesbar ist.
- Lesbarkeit und Zitierbarkeit der wichtigsten Unterseiten durch KI-Systeme
- Indexierbarkeit und Snippet-Freigabe – das technische Tor zu Googles KI-Antworten
- Strukturierte Daten, Markensignale und Antwortblöcke im Zusammenhang;
llms.txtals Extra - Priorisierte Maßnahmen für SEO- und KI-Sichtbarkeit
KI-Crawler-Zugriff prüfen
KI-Antwort-Crawler rufen Seiten live für KI-Suche und Antworten ab
| Crawler | Zugriff | Entscheidende Regel |
|---|
KI-Trainings-Crawler sammeln Inhalte für das Modelltraining
| Crawler | Zugriff | Entscheidende Regel |
|---|
Zum Vergleich: klassische Suche
| Crawler | Zugriff | Entscheidende Regel |
|---|
Fehler bei der Prüfung
Warum der KI-Crawler-Zugriff über KI-Sichtbarkeit entscheidet
Immer mehr Menschen fragen ChatGPT, Perplexity oder Google AI statt der klassischen Suche. Diese Systeme können eine Website nur empfehlen und zitieren, wenn ihre Crawler die Seiten lesen dürfen. Viele Websites blockieren KI-Crawler pauschal — oft ohne zu wissen, dass sie sich damit aus der KI-Suche ausschließen.
Antwort- vs. Trainings-Crawler
Antwort-Crawler wie OAI-SearchBot oder PerplexityBot holen Seiten live, wenn Nutzer Fragen stellen. Trainings-Crawler wie GPTBot oder CCBot sammeln Inhalte für das Modelltraining. Nur das Blockieren der Antwort-Crawler kostet Sichtbarkeit. Google-Extended gehört zur zweiten Gruppe: Es steuert nur das Gemini-Training und hat keinen Einfluss auf AI Overviews oder den KI-Modus – die laufen über Googlebot.
Wie robots.txt entscheidet
Eine robots.txt-Gruppe für einen konkreten Crawler überschreibt die allgemeine *-Gruppe vollständig. Der Check zeigt deshalb zu jeder Entscheidung die Regel-Quelle — so sehen Sie sofort, welche Zeile greift.
Zugriff ist nicht alles
Wer hereindarf, muss die Inhalte auch verstehen können. Klare Struktur und sichtbarer, eigenständiger Text machen aus Zugriff Zitierbarkeit. Strukturierte Daten helfen bei Rich Results und Entitäten, eine llms.txt ist ein optionales Extra für KI-Dienste, die sie lesen – Google nutzt keins von beidem für seine KI-Antworten.
Häufige Fragen zum KI-Crawler-Check
Welche KI-Crawler prüft das Tool?
Alle wichtigen KI-Crawler, darunter GPTBot, ChatGPT-User und OAI-SearchBot (OpenAI), ClaudeBot und Claude-SearchBot (Anthropic), PerplexityBot, Google-Extended, CCBot, Bytespider und Meta-ExternalAgent — unterteilt in Antwort-Crawler für die KI-Suche und Trainings-Crawler für das Modelltraining.
Ist es schlimm, Trainings-Crawler zu blockieren?
Nein. Das Blockieren von Trainings-Crawlern wie GPTBot oder CCBot ist eine legitime Entscheidung, wenn Inhalte nicht ins Modelltraining einfließen sollen. Es betrifft nur das Training — die Sichtbarkeit in KI-Antworten bleibt erhalten, solange die Antwort-Crawler Zugriff haben.
Warum ist das Blockieren von Antwort-Crawlern kritisch?
Antwort-Crawler rufen Seiten live ab, wenn Nutzer in ChatGPT, Perplexity oder anderen KI-Suchsystemen Fragen stellen. Sind alle Antwort-Crawler blockiert, kann die Website weder gelesen noch in KI-Antworten als Quelle zitiert werden — sie ist für die KI-Suche unsichtbar.
Reicht der Zugriff, um in KI-Antworten aufzutauchen?
Nein. Zugriff ist die Voraussetzung, nicht die Garantie. Damit KI-Systeme eine Seite tatsächlich zitieren, müssen Inhalte klar strukturiert, maschinell lesbar und thematisch eindeutig sein. Genau das prüft das vollständige SEO-Audit.
Was bewirkt Google-Extended – und was passiert, wenn ich Googlebot blockiere?
Google-Extended steuert nur, ob Ihre Inhalte für das Training von Googles Gemini-Modellen genutzt werden. Auf die Google-Suche, AI Overviews und den KI-Modus hat es keinen Einfluss. Umgekehrt gilt: Wer Googlebot in der robots.txt aussperrt, verschwindet aus der Google-Suche und damit auch aus Googles KI-Antworten. Und Nutzer-ausgelöste Abrufe wie Google-Agent oder ChatGPT-User halten sich nicht an die robots.txt.
Reinkommen ist Pflicht — zitiert werden ist Kür.
Clariseo prüft neben dem Crawler-Zugriff auch, wie gut KI-Systeme Ihre Inhalte lesen, verstehen und zitieren können — mit priorisierten Maßnahmen und einer generierten llms.txt als Extra.