llms.txt: Der komplette Leitfaden für KI-optimierte Websites

Warum llms.txt plötzlich wichtig wird

Die Art, wie Menschen Informationen im Web finden, verändert sich gerade grundlegend. Statt zehn blaue Links zu durchsuchen, stellen Nutzer ihre Frage direkt an ChatGPT, Claude, Perplexity oder Gemini und bekommen eine zusammengefasste Antwort zurück. Diese Antwort stützt sich auf Inhalte, die das Sprachmodell entweder im Training gesehen oder zur Laufzeit per Websuche eingesammelt hat.

Damit entsteht ein neues Problem: Wenn eine KI deine 400 Seiten umfassende Website auf einen Blick einschätzen soll, welche Seiten sieht sie sich zuerst an? Ohne zusätzliche Hinweise verlässt sie sich auf die gleichen Faktoren wie eine klassische Suchmaschine – also interne Links, Sitemap, Ankertexte. Das funktioniert, bleibt aber ungenau.

Genau an dieser Stelle setzt llms.txt an. Die Datei ist ein freiwilliger, offener Standard, mit dem du großen Sprachmodellen eine kuratierte Landkarte deiner wichtigsten Inhalte anbietest. In diesem Leitfaden zeigen wir dir, was in die Datei gehört, wie sie sich von robots.txt und sitemap.xml unterscheidet, welche typischen Fehler passieren und wann sich der Aufwand wirklich lohnt.

Was ist llms.txt?

llms.txt ist eine reine Textdatei im Markdown-Format, die im Root deiner Domain liegt – also unter https://deinedomain.de/llms.txt. Sie beschreibt in wenigen Zeilen, was deine Seite anbietet, und verlinkt zu den zentralen Inhalten, die eine KI kennen sollte, um korrekt über dich zu informieren.

Die Datei lässt sich mit drei Bildern beschreiben:

• Wie ein Inhaltsverzeichnis am Anfang eines Buches: Ein Leser, der wenig Zeit hat, bekommt einen klaren Überblick, worum es geht und wo die wichtigen Kapitel stehen.
• Wie der Empfangstresen in einem Museum: Es gibt Tausende Exponate, aber der Tresen zeigt die Highlights, die aktuelle Sonderausstellung und den kürzesten Weg zu dem, was Besucher meist suchen.
• Wie eine Executive Summary für Maschinen: Statt einer KI zuzumuten, alle Seiten zu crawlen und zu priorisieren, lieferst du die Zusammenfassung direkt mit.

Der Standard wurde im September 2024 von Jeremy Howard (Mitgründer von fast.ai und Answer.AI) vorgeschlagen und auf llmstxt.org dokumentiert. Er orientiert sich bewusst an der Einfachheit von robots.txt: eine Datei, ein Pfad, kein kompliziertes Schema.

llms.txt, robots.txt und sitemap.xml im Vergleich

Drei Dateien – drei Zwecke. Wer sie vermischt, baut entweder Dopplungen oder Lücken. So grenzen sie sich voneinander ab:

Die robots.txt sagt „hier darfst du rein, dort nicht". Sie ist eine Tür, die entweder offen oder geschlossen ist. Die sitemap.xml sagt „hier sind alle meine Seiten – wähle selbst aus". Sie ist ein Telefonbuch: vollständig, aber ohne Gewichtung. Die llms.txt sagt „wenn du nur fünf Minuten Zeit hast, schau dir diese Seiten an und versteh mich so". Sie ist das Briefing für einen neuen Kollegen.

Wichtig: llms.txt ersetzt keine der beiden anderen Dateien. Sie ergänzt sie. Eine seriöse Website liefert alle drei aus – robots.txt für die Zugriffskontrolle, sitemap.xml für die Vollständigkeit, llms.txt für die Interpretation. Ob deine robots.txt KI-Crawler wie GPTBot oder ClaudeBot überhaupt hereinlässt, prüfst du in Sekunden mit dem kostenlosen KI-Crawler-Check.

Der Aufbau einer llms.txt im Detail

Das Format ist bewusst minimalistisch. Eine konforme llms.txt besteht aus folgenden Elementen, in dieser Reihenfolge:

1. H1-Überschrift mit dem Namen deiner Seite oder Organisation
2. Blockquote mit einer Kurzbeschreibung in einem Satz
3. Optionaler Einleitungstext (ein bis zwei Absätze, ohne Überschriften)
4. H2-Sektionen, die thematisch verwandte Links bündeln
5. Markdown-Links mit optionaler Beschreibung hinter dem Doppelpunkt
6. Optional: Sektion ## Optional mit Inhalten, die nachgelagert wichtig sind

Ein konformes Minimalbeispiel sieht so aus:

# ClariSEO

> Automatisierte SEO-Audits und ein deutschsprachiges SEO-Glossar für KMU und Agenturen.

Wir analysieren technische SEO-Signale, generieren Handlungsempfehlungen und liefern ein strukturiertes Reporting ohne Zugriff auf die Google Search Console.

## Kerninhalte

- [Glossar](https://clariseo.com/glossar/alle): Definitionen zu über 30 SEO-Begriffen
- [Tipps und Guides](https://clariseo.com/tipps): Vertiefende Artikel zu On-Page, Technik und AEO
- [SEO-Tools](https://clariseo.com/tools): Schema-Generator, Indexability-Check, Meta-Checker

## Optional

- [Team](https://clariseo.com/team): Die Menschen hinter ClariSEO

Beachte das Muster: Jeder Link hat einen sprechenden Titel, einen Doppelpunkt und eine kurze Beschreibung. Das ist der zentrale Unterschied zu einer klassischen Sitemap – die Beschreibung liefert dem Sprachmodell den Kontext, ohne dass es die Zielseite crawlen muss.

llms.txt versus llms-full.txt

Der Standard kennt zwei Varianten. Die Unterscheidung wird oft falsch verstanden:

• Die llms.txt ist der Index – ein kurzes Dokument mit Links und Beschreibungen. Sie ist für Navigation und Priorisierung gedacht.
• Die llms-full.txt ist der Volltext – eine einzige große Textdatei, die den kompletten Inhalt der wichtigsten Seiten direkt enthält. Sie ist für Szenarien gedacht, in denen ein Sprachmodell mit einem einzigen Download den gesamten Kern deiner Dokumentation laden soll.

Ein Vergleich aus dem Alltag: Die llms.txt ist das Inhaltsverzeichnis eines Handbuchs, die llms-full.txt ist das Handbuch selbst in einem einzigen PDF. Für die meisten Websites reicht die llms.txt. Eine llms-full.txt lohnt sich vor allem für Dokumentations-Sites, Developer-APIs, Wissensdatenbanken oder Bildungsplattformen – also überall dort, wo Nutzer Sprachmodelle bitten, „deine Dokumentation zu lesen und dann eine Frage zu beantworten".

Schritt-für-Schritt: Deine erste llms.txt

Schritt 1 – Kerninhalte identifizieren

Frage dich: Welche 10 bis 30 Seiten müsste ein neuer Mitarbeiter lesen, um zu verstehen, worum es auf deiner Website geht? Das sind die Kandidaten. Typische Kategorien:

• Über-Seite und Leitbild: Wer seid ihr?
• Produkt- oder Service-Seiten: Was bietet ihr an?
• Glossar, Ratgeber, Guides: Wo liegt euer Themenkern?
• Dokumentation oder API-Referenz: Was muss technisch bekannt sein?
• Preise, FAQ, Kontakt: Was brauchen Nutzer für Entscheidungen?

Schritt 2 – Kanonische URLs prüfen

Verlinke immer auf die kanonische Version einer Seite (ohne Parameter, ohne Tracking, ohne index.html). Sonst dupliziert das Sprachmodell den Inhalt intern und gewichtet ihn falsch.

Schritt 3 – Beschreibungen formulieren

Für jeden Link: ein halber Satz, der den Zweck der Seite klar macht. Vermeide Werbesprache („die beste Lösung für…"). Schreibe sachlich und informativ, als würdest du einem Bibliothekar erklären, in welches Regal ein Buch gehört.

Schritt 4 – Datei erstellen und hochladen

Erstelle llms.txt als UTF-8 kodierte Textdatei. Lade sie in das öffentliche Root-Verzeichnis deines Webservers. Teste die Erreichbarkeit mit curl -I https://deinedomain.de/llms.txt – dort solltest du HTTP 200 und content-type: text/plain sehen.

Schritt 5 – Verlinken und auditieren

Verweise in deiner robots.txt optional mit einem Kommentar auf die llms.txt. Führe anschließend einen llms.txt-Audit durch, um tote Links, falsche Content-Types oder Formatfehler zu finden.

Best Practices, die den Unterschied machen

Nach Audits auf mehreren hundert Websites kristallisieren sich ein paar Regeln heraus, die über Erfolg und Misserfolg entscheiden:

• Weniger ist mehr. Eine llms.txt mit 200 Links wirkt wie eine Sitemap – unübersichtlich und ohne Priorisierung. 10 bis 50 Einträge sind der Zielkorridor.
• Bündele nach Nutzerintention, nicht nach Website-Navigation. Ein Sprachmodell sucht Antworten, keine Menüstruktur. Sektionen wie „Produkte", „Dokumentation", „Unternehmen" sind oft besser als „Startseite", „Blog", „Sonstiges".
• Schreib Beschreibungen, die eigenständig lesbar sind. Die Beschreibung muss auch dann Sinn ergeben, wenn der Link nicht sichtbar ist – das ist genau der Kontext, den ein Sprachmodell in einer Antwort zitiert.
• Aktualisiere quartalsweise. Entferne gelöschte URLs, ergänze neue Kerninhalte. Eine veraltete llms.txt ist schlimmer als keine, weil sie KI-Systemen falsche Signale sendet.
• Versioniere die Datei in Git. Behandle sie wie Code, nicht wie eine Marketingtextdatei. Änderungen brauchen ein Review – wie jede andere Änderung an deiner Content-Strategie.
• Teste nach jedem Deploy. Content-Management-Systeme liefern manchmal HTML statt Plain Text aus. Ein simpler Health-Check in der CI-Pipeline verhindert böse Überraschungen.

Typische Fehler, die wir in Audits sehen

In der Praxis tauchen immer wieder dieselben Probleme auf. Wer sie kennt, vermeidet die teuren:

1. Datei wird als HTML ausgeliefert. Ein Fehler in der Server-Konfiguration führt dazu, dass llms.txt die Standardvorlage der Website zurückgibt. Prüfbar mit curl -I.
2. Weiterleitung von /llms.txt auf /llms.txt/. An Trailing Slashes scheitern einige Crawler. Liefere den exakten Pfad ohne Redirect.
3. Broken Links in den Einträgen. Alte URLs, die nach einem Relaunch nicht mehr existieren. KI-Systeme interpretieren das als Qualitätsproblem.
4. Marketing-Prosa statt neutraler Beschreibungen. „Die weltweit führende Plattform für…" hilft keinem Sprachmodell. Besser sind sachliche Formulierungen.
5. Duplikate zur Sitemap ohne Mehrwert. Wenn die llms.txt nur die Sitemap in Markdown ist, bringt sie keinen Nutzen. Der Mehrwert liegt in Kuratierung und Beschreibungen.
6. Vergessene Lokalisierung. Bei mehrsprachigen Sites reicht eine einzelne llms.txt. Liste dann die Sprachversionen explizit auf (z. B. /de/produkt, /en/product) oder pflege eine pro Subdomain.
7. Zugriffsbeschränkung via Cookie-Consent. Wenn der Server vor dem Ausliefern ein Consent-Banner erwartet, bekommen Crawler eine leere Seite. Die llms.txt muss ohne Session erreichbar sein.

Wer liest llms.txt heute wirklich?

Eine ehrliche Einschätzung: Der Standard ist erst eineinhalb Jahre alt. Die Verbreitung ist uneinheitlich, entwickelt sich aber schnell. Stand 2026 gilt grob:

• Berücksichtigen die Datei aktiv: Perplexity, Anthropic (in bestimmten Kontexten), kleinere KI-Such-Engines, Entwickler-Tools mit Retrieval-Komponente.
• Eingeschränkt: Die großen Foundation-Model-Crawler (GPTBot, ClaudeBot, Google-Extended) folgen primär robots.txt und sitemap.xml. Manche ziehen llms.txt als sekundäres Signal.
• Kein Einfluss: Klassische Suchmaschinen-Crawler wie Googlebot und Bingbot. Für klassisches SEO ist die Datei irrelevant.

Die Frage ist also nicht „bringt sie heute Traffic?", sondern „ist sie eine günstige Investition für die nächste Phase des Webs?". Die Antwort ist für die meisten Websites ja, weil der Aufwand gering ist und der Standard exakt jene Lücke schließt, die mit jedem weiteren KI-Produkt größer wird.

llms.txt testen und auditieren

Nach dem Deploy solltest du die Datei systematisch prüfen. Diese Checkliste deckt die wichtigsten Punkte ab:

• Erreichbarkeit unter /llms.txt ohne Redirect
• HTTP-Status 200, nicht 301 oder 404
• Content-Type text/plain mit UTF-8
• Dateigröße unter 100 KB (sonst Hinweis, dass eine llms-full.txt sinnvoller wäre)
• Alle aufgeführten Links liefern HTTP 2xx
• Kein HTML-Markup im Body
• Einheitliche Sprache (oder klar getrennte Sprachsektionen)
• Aktualisierungsdatum in einem Kommentar oder der Einleitung

Die wichtigsten dieser Punkte prüfst du direkt im Browser mit dem kostenlosen llms.txt Generator & Check – er validiert die Auslieferung deiner Datei und findet kaputte Links. ClariSEO automatisiert diese Prüfungen zusätzlich im Rahmen jedes Audits. Du bekommst eine Liste der Befunde mit konkreten Handlungsempfehlungen und – auf Wunsch – eine generierte llms.txt, die du nur noch final kuratieren musst.

Wann sich llms.txt wirklich lohnt

Nicht jede Website profitiert gleich stark. Folgende Signale sprechen für eine Investition:

• Du betreibst Dokumentation, eine Wissensdatenbank oder ein Glossar, das Nutzer häufig über KI-Suchen finden.
• Deine Inhalte werden häufig zitiert oder zusammengefasst (Fachartikel, Ratgeber, Guides).
• Du möchtest sicherstellen, dass KI-Systeme die richtigen Seiten priorisieren – etwa Preise statt veraltete Blogposts.
• Deine Markenwahrnehmung in KI-Antworten ist dir geschäftlich wichtig (B2B, SaaS, Agenturen).
• Du betreibst ein Publisher- oder Content-Projekt mit klar strukturierten Themenbereichen.

Für rein transaktionale Shops ohne Content-Tiefe ist der Hebel kleiner, aber auch dort schadet eine schlanke llms.txt nicht. Der Aufwand für eine erste Version liegt bei ein bis zwei Stunden – damit ist das Kosten-Nutzen-Verhältnis für die meisten Website-Betreiber klar positiv.

Fazit: llms.txt ist kein Wundermittel und kein Pflichtprogramm. Sie ist eine leise, günstige Möglichkeit, die Interpretation deiner Website durch KI-Systeme mitzugestalten – bevor andere es für dich tun. Wer jetzt sauber startet, hat in zwei Jahren eine gewachsene, gepflegte Datei und klare Prozesse. Wer wartet, holt das später unter Druck nach.

Quellen und weiterführende Links

• llmstxt.org — die offizielle Spezifikation des llms.txt-Standards
• AnswerDotAI/llms-txt auf GitHub — Referenz-Implementierung und Diskussion