Was ist llms.txt? Was die Datei kann und was nicht

Woher die Datei kommt

Der Vorschlag stammt von Jeremy Howard, Mitgründer von Answer.AI. Er hat ihn am 3. September 2024 auf llmstxt.org veröffentlicht, zusammen mit einem Blogpost. Sein Ausgangspunkt: Sprachmodelle können nur eine begrenzte Menge Text auf einmal lesen, das sogenannte Kontextfenster. Eine normale HTML-Seite ist aber voll mit Menü, Fußzeile, Cookie-Banner und Skripten. Wer seine Website für ein Modell zusammenfassen will, soll das deshalb selbst tun, in einer kurzen Datei im Stammverzeichnis.

Das ist der Vorschlag eines Entwicklers, kein Standard eines Gremiums. Mit Google hat er nichts zu tun. Der Code liegt offen auf GitHub unter Apache-Lizenz, das Projekt hat dort rund 2.600 Sterne. Entstanden ist die Idee in der Entwickler-Dokumentation, bei Howards eigenen Werkzeugen FastHTML und nbdev. Dort ergibt sie Sinn, weil Programmierhilfen Doku brauchen und lieber eine saubere Textdatei lesen als hundert HTML-Seiten. Am 10. August 2026 hat Howard eine zweite Fassung veröffentlicht, nach eigener Aussage überarbeitet auf Basis von zwei Jahren Erfahrung mit der Verbreitung.

So ist die Datei aufgebaut

Markdown ist ein einfaches Textformat. Eine Raute vor einer Zeile macht sie zur Überschrift, ein Größer-Zeichen zum Zitat, ein Bindestrich zum Listenpunkt. Mehr braucht die Datei nicht. Die Spezifikation verlangt genau eine Sache: eine Überschrift erster Ordnung mit dem Namen der Website. Alles andere ist freiwillig. Üblich ist danach ein Zitatblock mit zwei oder drei Sätzen Zusammenfassung, dann Abschnitte mit Links, jeder Link mit Titel, Adresse und einer kurzen Beschreibung. Ein Abschnitt mit dem Namen "Optional" darf Zweitrangiges enthalten, das ein Modell bei Platzmangel weglassen kann.

Ort ist das Stammverzeichnis der Website, also direkt hinter der Domain, oder ein Unterpfad wie /docs/. Der Vorschlag empfiehlt zusätzlich, wichtige Seiten auch als .md-Version unter derselben Adresse anzubieten. Eine "llms-full.txt", von der man öfter liest, steht nicht in der Spezifikation. Das ist eine Gewohnheit von Doku-Plattformen wie Mintlify oder GitBook, die den gesamten Inhalt in eine große Datei schreiben.

So sehen die ersten Zeilen unserer eigenen Datei aus, an mehreren Stellen gekürzt:

Liest Google llms.txt? Und OpenAI, Anthropic, Perplexity?

Für Google lautet die Antwort nein, und Google sagt das seit über einem Jahr in fast gleichen Worten. Hier die Aussagen in der Reihenfolge, in der sie kamen. Die englischen Originale geben wir sinngemäß wieder, die Berichte dazu sind unten verlinkt.

Der Januar 2026 ist lehrreich. Mehrere Doku-Seiten von Google hatten selbst eine solche Datei, darunter die der Gemini-API. Bei der Search-Central-Doku kam sie über ein automatisches Update des Redaktionssystems und wurde wieder entfernt. Unter ai.google.dev/api/llms.txt liegt sie am 2. September 2026 weiterhin. Dass eine Firma eine solche Datei veröffentlicht, heißt also nicht, dass ihre Programme fremde Dateien dieser Art lesen.

Genau das gilt auch für die drei großen KI-Anbieter. OpenAI, Anthropic und Perplexity haben je eine Datei dieser Art für ihre Entwickler-Dokumentation online, wir haben alle drei Adressen am 2. September 2026 aufgerufen. Ihre offiziellen Crawler-Dokus erzählen aber etwas anderes. Ein Crawler ist das Programm, das Websites abruft. OpenAI beschreibt GPTBot, OAI-SearchBot, OAI-AdsBot und ChatGPT-User, Anthropic beschreibt ClaudeBot, Claude-User und Claude-SearchBot, Perplexity beschreibt PerplexityBot und Perplexity-User. In keiner dieser Beschreibungen steht, dass die Crawler eine solche Datei auf fremden Websites lesen. Was drin steht: Alle drei verweisen für die Steuerung auf robots.txt. Wer etwas regeln will, macht das dort.

Was die Server-Logs zeigen

Ob eine Datei gelesen wird, lässt sich messen. Jeder Abruf landet im Server-Log. Drei Untersuchungen haben das im großen Stil ausgewertet.

Die Ahrefs-Zahl braucht eine Einordnung. Von den 137.210 Domains mit Ahrefs Web Analytics hatten 28 Prozent eine gültige Datei. Das sind Websites von Leuten, die sich mit SEO beschäftigen, darum liegt der Anteil so weit über den 2 Prozent des HTTP Archive. Und selbst bei diesen Websites kam bei 97 Prozent im Mai 2026 niemand vorbei, weder ein Bot noch ein Mensch. Die wenigen Abrufe kamen zum größten Teil von SEO-Prüfwerkzeugen und allgemeinen Crawlern. Alle KI-Bots zusammen machten etwa ein Fünftel aus, und darunter lag Claude Code, ein Programmierwerkzeug, vor jedem Such- und Antwort-Bot. Ahrefs nennt die Datei am Ende "largely decoration".

SE Ranking hat einen anderen Weg gewählt und geprüft, ob Websites mit Datei häufiger in KI-Antworten zitiert werden. Ergebnis: kein Zusammenhang. Das Vorhersagemodell wurde ohne diese Variable sogar etwas genauer. Das HTTP Archive zeigt außerdem, dass ein großer Teil der vorhandenen Dateien gar nicht bewusst geschrieben wurde. 39,6 Prozent stammen von All in One SEO, 3,6 Prozent von Yoast SEO, also aus der Plugin-Automatik.

Wofür die Datei heute taugt und wofür nicht

Es gibt eine Stelle, an der eine Google-Software die Datei tatsächlich anfasst. Chrome Lighthouse, das Prüfwerkzeug im Browser, hat seit Chrome 150 eine Kategorie "Agentic Browsing". Sie bewertet, wie gut eine Website für Maschinen lesbar ist, und ruft dabei auch diese Datei ab. Fehlt sie, gilt der Punkt als nicht anwendbar. Nur ein Serverfehler beim Abruf wird angemerkt. Google nennt sie in der Doku "an emerging convention" und schreibt, dass sie derzeit optional ist. Das ist eine Browser-Prüfung. Mit dem Ranking in der Google-Suche hat sie nichts zu tun.

Dafür taugt die Datei, Stand September 2026:

• Entwickler-Dokumentation und Programmierwerkzeuge. Das ist der Bereich, in dem laut Ahrefs am ehesten ein KI-Programm vorbeikommt: Claude Code lag dort vor allen Such- und Antwort-Bots.
• Eine selbst geschriebene Kurzfassung deines Betriebs mit stimmigen Fakten: Adresse, Leistungen, Preismodell, Öffnungszeiten.
• Die Lighthouse-Prüfung, falls du oder deine Agentur Wert darauf legt, dass dort nichts angemerkt wird.

Dafür taugt sie nicht:

• Crawler aussperren. Das kann sie nicht. Dafür gibt es robots.txt, wo du GPTBot, ClaudeBot, PerplexityBot oder Google-Extended einzeln steuern kannst. Google-Extended betrifft nur das Training von Gemini und das sogenannte Grounding, nicht die Google-Suche.
• Besser bei Google ranken. Google-Doku vom Dezember 2025, Illyes im Juli 2025: kein Signal und keine Voraussetzung.
• Einen Eintrag bei ChatGPT bekommen. So etwas gibt es nicht, und die Datei ist auch kein Zitier-Signal, siehe SE Ranking.
• Eine schwache Website ausgleichen. Bots lesen die normalen Seiten. Wer die Fakten dort nicht hat, hat sie mit der Datei auch nicht.

Warum unsere Website trotzdem eine hat

Wir haben die Datei am 6. August 2026 angelegt und zuletzt am 2. September 2026 geändert, als die Preise und neue Blogartikel dazukamen. Sie hat rund 800 Wörter und enthält das, was oben im Auszug beginnt: Fakten zum Betrieb, jede Leistungsseite mit einem Satz, die Pakete mit Preisen, die beiden Referenzen, unsere Google-Bewertung (5,0 bei 10 Bewertungen, Stand August 2026), die Standortseiten, die Blogliste, den Inhaber und die Kontaktwege. Gepflegt wird sie bei jeder Änderung an Preisen, Leistungen oder im Blog.

Warum, wenn kaum jemand die Datei liest? Sie hat uns eine halbe Stunde gekostet, und kaputtgehen kann dabei nichts. Wir schreiben die Kurzfassung lieber selbst, als ein Modell aus 30 Seiten raten zu lassen, was wir anbieten und wie wir abrechnen. Und falls ein Anbieter die Datei irgendwann doch auswertet, liegt sie schon da.

Was wir nicht behaupten: dass sie uns in ChatGPT nach vorn bringt. Wichtiger ist bei uns etwas anderes. Alle Seiten sind statisches HTML, die Fakten stehen im sichtbaren Text, und die robots.txt lässt jeden Crawler zu. Das ist genau das, was Mueller im Juni 2026 als größte Hürde für die meisten Websites genannt hat: Agenten nicht aussperren. Im SEO-Paket ist die Datei deshalb ein Punkt von vielen und kein Verkaufsargument.

Wenn du selbst eine anlegen willst

Für einen kleinen Betrieb reichen 200 bis 400 Wörter. So geht es:

1. 1 Datei anlegen

   Ein einfacher Texteditor genügt, kein Word. Speichere die Datei als llms.txt im Format UTF-8, sonst werden Umlaute zu Zeichensalat.

2. 2 Kopf schreiben

   Erste Zeile: eine Raute, ein Leerzeichen, der Name deines Betriebs. Darunter ein Zitatblock, also Zeilen mit Größer-Zeichen am Anfang, mit zwei oder drei Sätzen: was du machst, wo, für wen, wie du abrechnest. Diese Sätze müssen stimmen. Sie sind der eigentliche Wert der Datei.

3. 3 Seiten verlinken

   Ein Abschnitt mit zwei Rauten als Überschrift, darunter je Zeile ein Bindestrich, der Seitentitel in eckigen Klammern, die vollständige Adresse in runden Klammern, dann ein Doppelpunkt und ein Satz Beschreibung. Fünf bis fünfzehn Seiten reichen, immer mit https:// am Anfang.

4. 4 Hochladen und prüfen

   Die Datei ins Stammverzeichnis der Website legen, also dorthin, wo auch die Startseite liegt. Dann im Browser deine Domain mit /llms.txt am Ende aufrufen. Wenn der Text erscheint und die Umlaute stimmen, bist du fertig.

5. 5 Falls du WordPress nutzt

   Yoast SEO kann die Datei seit Juni 2025 automatisch erzeugen. Einschalten unter Yoast SEO, Settings, Site Features, AI tools. Das Plugin aktualisiert sie wöchentlich. Die Ausgabe ist allerdings eine Standardliste deiner Seiten, keine Kurzfassung deines Betriebs. Besser selbst schreiben oder wenigstens nachbearbeiten.