llms.txt: Der Standard, den kein Bot liest

Das Sichtbarkeit in generativen Systemen (GEO), ohne sauberes technisches Fundament reine Spekulation bleibt, hatte ich hier schon mal erwähnt. Ein Baustein, der in jeder zweiten LinkedIn-Predigt zu dem Thema auftauchte, ist die llms.txt. Ohne die, so der Tenor über Monate, bist du bei der KI-Sichtbarkeit komplett raus.

Also habe ich das Diskutieren sein lassen und stattdessen in die Logs geschaut. Drei Monate, fünf Websites, ein Auswertungstool. Das Ergebnis schon mal vorab: Auf keiner einzigen der beobachteten Seiten hat sich ein Bot für die llms.txt interessiert, kein einziger.

TL;DR

Die llms.txt soll KI-Systemen zeigen, welche Seiten deiner Website die wichtigen sind. Nur holt sie kaum jemand ab.

Vorgeschlagen im September 2024 von Jeremy Howard (Answer.AI), aber kein von IETF oder W3C ratifizierter Standard, sondern eine Konvention.
Google ignoriert die Datei offiziell; OpenAI und Anthropic steuern ihre Crawler über die robots.txt und pflegen eine llms.txt nur für die eigene Doku.
In drei Monaten Server-Logs über fünf Websites: kein einziger Zugriff eines Search- oder AI-Bots auf die llms.txt. Ahrefs misst über 137.000 Domains dasselbe Muster.
Realen Nutzen hat sie nur, wenn du einem Coding-Agenten deine Doku direkt übergibst, nicht für die organische AI-Sichtbarkeit deiner Seite.

Woher die llms.txt kommt und was sie eigentlich sein will

Die llms.txt wurde am 3. September 2024 von Jeremy Howard vorgeschlagen, Mitgründer von Answer.AI. Die Spezifikation liegt bis heute unter llmstxt.org. Was aber oft untergeht: Es handelt sich um einen Community-Vorschlag und nicht um einen ratifizierten Standard. Weder IETF noch W3C haben hier etwas verabschiedet, und eine Instanz, die irgendetwas durchsetzt, gibt es nicht. Wer von einem „offiziellen Standard“ spricht, meint eine gut dokumentierte Konvention.

Die Idee dahinter ist gut: Ein Sprachmodell arbeitet mit einem begrenzten Kontextfenster, und eine normale Website steckt voller Navigation, Skripte und Ballast, den ein Modell nicht braucht. Die llms.txt ist als Gegenstück zur Sitemap gedacht, nur eben für Maschinen – eine kuratierte Markdown-Karte deiner wichtigen Seiten. Dazu gibt es optional die llms-full.txt, die den Volltext gleich mitliefert, damit ein Agent alles in einem Rutsch laden kann. Sauber gedacht. Bleibt die Frage, ob es jemanden gibt, der das liest.

Was laut Spec überhaupt in der llms.txt stehen soll

Die Spezifikation unter llmstxt.org ist bewusst schlank gehalten. Pflicht ist genau ein Element: eine H1 mit dem Namen der Site oder des Projekts. Also kein Werbe-Claim, sondern schlicht der Name. Alles andere ist optional, aber durchaus empfohlen.

Direkt unter die H1 gehört ein Blockquote mit einer knappen Zusammenfassung. Dieser Satz ist wichtiger, als er aussieht. Er ist das Erste, was ein Modell liest, und soll laut Specs wörtlich übernommen werden, wenn jemand fragt, worum es auf der Seite geht. Darunter darf freier Markdown-Text folgen, Absätze oder Listen, für zusätzlichen Kontext. Nur keine weiteren Überschriften, bis der nächste Block beginnt.

Der eigentliche Nutzwert steckt in den H2-Abschnitten. Jeder H2 ist eine Kategorie, darunter eine Markdown-Liste aus Links im Format [Titel](URL): kurze Notiz. Das ist der Sitemap-Gedanke in kuratiert. Nicht jede URL, sondern die, die du einem Modell tatsächlich vorlegen willst.

Ein Detail ist sehr interessant, weil es die Datei erst praktikabel macht: der Abschnitt ## Optional: Links, die dort stehen, dürfen von einem Parser übersprungen werden, wenn der Kontext knapp wird. Alles Nice-to-have wandert dorthin, ohne die Pflichtlektüre zu verdrängen. Wer zusätzlich eine llms-full.txt bereitstellt, liefert den kompletten Volltext dieser Seiten in einer Datei, damit ein Agent alles in einem einzigen Fetch laden kann.

So sieht eine minimale, aber vollständige llms.txt aus:

# Beispiel GmbH

> Wir bauen systemübergreifende Software für die Lagerlogistik mittelständischer Betriebe. Diese Datei verweist auf die Seiten, die ein KI-System zuerst lesen sollte.

Die Produkt-Doku ist die verlässlichste Quelle. Preise und Verfügbarkeit ändern sich, dafür bitte immer die Live-Seiten prüfen.

## Produkt

- [Funktionsüberblick](https://example.com/produkt): was die Software kann, in zwei Absätzen
- [Preise](https://example.com/preise): aktuelle Tarife und Grenzen

## Doku

- [Schnellstart](https://example.com/docs/schnellstart): Installation und erster Lauf
- [API-Referenz](https://example.com/docs/api): Endpunkte und Datentypen

## Optional

- [Blog-Archiv](https://example.com/blog): ältere Beiträge, bei knappem Kontext überspringbar
- [Impressum](https://example.com/impressum)

Was hier passiert, Element für Element:

Die H1 (# Beispiel GmbH) ist der Name, kein Slogan. Das einzige Pflichtfeld.
Das Blockquote darunter ist die Kurzzusammenfassung, die ein Modell gern wörtlich übernimmt, wenn jemand fragt, worum es geht.
Der Absatz danach ist freier Kontext ohne Überschrift, hier ein Hinweis, welche Quelle verlässlich ist und welche nicht.
Die H2-Abschnitte (## Produkt, ## Doku) sind kuratierte Link-Listen, jeder Link mit einer knappen Notiz nach dem Doppelpunkt.
## Optional ist der einzige Abschnittsname mit Sonderbedeutung. Was hier steht, darf ein Parser bei knappem Kontext überspringen. Gut für Archiv, rechtliche Seiten und alles andere, das nicht zur Pflichtlektüre gehört.

Das ist die ganze Spezifikation. Kein Schema-Zwang, kein Validator, der etwas ablehnt. Genau diese Niedrigschwelligkeit ist der Grund, warum sich die Datei so schnell verbreitet hat und, wie die Logs zeigen, leider so wenig bewirkt.

Was die Anbieter offiziell sagen

Google ist bei dem Thema ungewohnt deutlich. Das im Juni 2026 aktualisierte Guide im Search Central hält fest, dass man keine maschinenlesbaren Zusatzdateien oder Markdown braucht, um in der Suche aufzutauchen, auch nicht in den generativen Features. Zur llms.txt heißt es dort schlicht, Google Search ignoriere sie. Das kommt von Gary Illyes, und dieser hatte schon im Juli 2025 auf dem Search Central Live in der APAC-Region bestätigt, dass Google die Datei nicht unterstützt und das auch nicht vorhat. John Mueller verglich sie öffentlich mit dem alten Keywords-Meta-Tag, jenem Relikt, das Suchmaschinen irgendwann komplett ignoriert haben.

Bei OpenAI und Anthropic sieht es nicht besser aus. Beide steuern ihre Crawler über die robots.txt, in der Crawler-Doku taucht die llms.txt nicht auf. Aber hier eine kleine Pointe am Rande: Beide pflegen selbst eine eigene llms.txt, nämlich für ihre jeweilige Entwickler-Doku. Der Vorschlag hat also durchaus Abnehmer. Es sind die LLM‑Anbieter selbst, aber auch die nutzen ihn nicht, um fremde Seiten besser zu lesen.

Was tatsächlich in den Logs steht

Ausgewertet habe ich mit Logwerk, einem eigenen kleinen Log-Analyzer-Projekt, das über 70 Crawler unterscheidet und mir zeigt, welcher Bot auf welche Datei zugreift. Dabei war die Auswahl bewusst nicht zufällig. Drei größere Sites aus unserem Kundenstamm bei klartxt, dazu zwei eigene Projekte, darunter dieses Blog. „Größer“ heißt hier mindestens 150 eindeutige Besucher am Tag, die Domains laufen seit Jahren, Crawler werden nicht ausgesperrt, und llms.txt, Sitemap, robots.txt sowie strukturierte Daten sind hinterlegt. Ein Mix aus Dienstleistung, E-Commerce und B2C- und B2B-Information, quer durch die Search Intentions. Zeitraum: Juni bis August 2026.

Bei den KI-Crawlern habe ich mir gezielt die größten Frontier-Anbieter angesehen, mit Schwerpunkt auf Anthropic, Google, Bing, OpenAI und Perplexity (okay, das ist nur bedingt Frontier, aber trotzdem relevant). Die robots.txt holt sich jeder von denen ab, gerne mehrfach am Tag. Der ClaudeBot kam an Spitzentagen auf bis zu acht Abrufe. Bei der Sitemap wird es interessanter, weil es Ausnahmen gibt. OAI-SearchBot und PerplexityBot ignorieren sie, und zwar auch dann, wenn sie in der robots.txt sauber referenziert ist.

Bleibt das Markdown, das den Bots aktiv angeboten wird. Einzelne Seiten werden zusätzlich als Markdown-Datei bereitgestellt und weisen die Crawler per Link-Header darauf hin. Abgeholt hat es genau einer: der FacebookExternalHit, Metas Crawler für Link-Vorschauen. Der zieht sich den Content, wenn irgendwo ein Link geteilt wird, und hat mit KI-Retrieval oder GEO nichts zu tun. Selbst Markdown, das frei Haus geliefert wird, will also kein AI-Crawler haben.

Für die llms.txt gilt das leider erst recht. Sie liegt am Standard-Ort /llms.txt im Root, genau dort, wo ein Bot sie von sich aus abfragen müsste/sollte. Über drei Monate, über alle fünf Seiten, hat das kein einziger Search- oder AI-Bot getan, nicht ein Request.

Damit das keine Einzelbeobachtung von fünf Sites bleibt: Ahrefs hat 137.000 Domains ausgewertet und in einer im Juni 2026 veröffentlichten Studie festgestellt, dass 97 % der llms.txt-Dateien im Mai 2026 überhaupt nicht abgerufen wurden. Und bei den wenigen Dateien, die überhaupt Zugriffe bekamen, stammte gerade einmal gut ein Prozent der Anfragen von echten AI-Retrieval-Bots. SE Ranking fand über rund 300.000 Domains keine Korrelation zwischen der Datei und AI-Citations. Die Logs, die ich mir angesehen habe, sind also kein Ausreißer, sondern eine kleine, konsistente Bestätigung dessen, was die großen Auswertungen längst zeigen.

Wo die llms.txt trotzdem etwas taugt

Damit hier nicht der Eindruck entsteht, die llms.txt sei kompletter Unsinn, gehört eine ehrliche Abgrenzung dazu. Es gibt einen Kontext, in dem sie real hilft, und das ist die Nutzung zur Laufzeit. Wenn du einem Coding-Agenten wie Cursor oder Claude Code eine Doku übergibst, spart eine gepflegte llms.txt oder llms-full.txt echte Arbeit. Ein Fetch statt zehn, sauberer Markdown-Kontext statt HTML-Gestrüpp. Mike King von iPullRank hat im Mai 2026 zu Recht angemerkt, dass man die Datei nicht abschreiben sollte, nur weil Google sie ignoriert, denn Systeme mit anderer Retrieval-Architektur könnten sie verarbeiten.

Der Haken an diesem Argument liegt dann aber im Wörtchen „übergibst“: In diesen Fällen entdeckt niemand deine Datei da draußen im Netz. Du reichst sie aktiv rein, in einem geschlossenen Werkzeug-Kontext. Das ist ein legitimer Anwendungsfall für Entwicklerdokumentationen. Also kein Sichtbarkeitssignal für deine Firmenseite in ChatGPT, Claude oder Perplexity – zumindest aktuell, Stand September 2026.

Resümee

Gegen einen schlanken Standard wie die llms.txt ist wenig einzuwenden. Die Idee ist schwer in Ordnung, die Umsetzung minimal, und wer sie für seine Doku pflegen will, sollte genau das gern tun. Nur ändert ein Standard, den kein relevanter Abnehmer abfragt, an deiner GEO-Sichtbarkeit exakt gar nichts. Dann pflegst du eine Datei, damit ein Ordner nicht leer aussieht.

Interessant finde ich, wie ruhig es an der Predigt-Front geworden ist. Vor ein paar Monaten war die Botschaft auf LinkedIn und anderswo noch, dass du ohne llms.txt bei der KI-Sichtbarkeit abgehängt bist. Diese Stimmen sind deutlich leiser geworden. Vielleicht haben sie auch mal in ihre Logs geschaut.