llms.txt: Was die Datei für KI-Crawler wirklich bringt

Seit einiger Zeit kursiert im Netz ein Ratschlag: Wer von ChatGPT und anderen KI-Systemen gefunden werden will, solle eine Datei namens llms.txt auf seiner Website hinterlegen. Das klingt nach einer einfachen Stellschraube. Dieser Beitrag erklärt ruhig, was hinter llms.txt steckt, wie die Datei aufgebaut ist und was sie für die Auffindbarkeit Ihres Betriebs heute tatsächlich leistet.

Was llms.txt sein soll

llms.txt ist ein Vorschlag des Entwicklers Jeremy Howard aus dem September 2024. Die Idee: eine einzelne Textdatei im Wurzelverzeichnis der Website, erreichbar unter ihredomain.de/llms.txt, die großen Sprachmodellen einen kuratierten Überblick über die wichtigsten Inhalte gibt. Der Hintergrund ist ein echtes technisches Problem. Ein Sprachmodell kann eine komplette Website nicht auf einmal verarbeiten, sein Arbeitsspeicher für einen einzelnen Vorgang ist begrenzt. Und gewöhnliche HTML-Seiten sind voll mit Navigation, Werbung und Skripten, die für ein Modell vor allem Rauschen bedeuten.

Genau hier möchte llms.txt ansetzen. Die Betreiber notieren selbst in einfachem Markdown, worum es auf der Seite geht und wo die wesentlichen Inhalte liegen. Das Format lehnt sich bewusst an bekannte Konventionen an: So wie die robots.txt Suchmaschinen-Crawler steuert und die sitemap.xml alle Unterseiten auflistet, soll llms.txt den KI-Systemen eine Orientierung geben. Markdown wurde gewählt, weil es sich sowohl von Menschen als auch von Modellen leicht lesen lässt.

Wie eine llms.txt aufgebaut ist

Der Aufbau ist absichtlich schlicht. Laut Spezifikation ist zwingend nur eine Überschrift ersten Grades nötig, in der Regel der Name des Betriebs oder Projekts. Darunter folgen optional:

• ein kurzer Absatz als Zusammenfassung, meist als Zitatblock formatiert,
• einige erläuternde Sätze zum Angebot,
• thematisch geordnete Abschnitte mit Links auf die wichtigsten Seiten, jeweils mit einer knappen Notiz, worum es dort geht.

Anders als eine Sitemap, die möglichst alle Seiten auflistet, soll llms.txt eine bewusste Auswahl treffen: wenige, dafür wirklich relevante Verweise. Für einen Handwerksbetrieb könnten das die Leistungsübersicht, die Seite zum Einzugsgebiet und die Kontaktseite sein. Der Gedanke dahinter ist nachvollziehbar und ordentlich durchdacht. Er löst allerdings nur dann etwas aus, wenn ein KI-System die Datei auch abruft und ihr vertraut. Und genau an diesem Punkt lohnt der nüchterne Blick auf die tatsächliche Praxis.

Der ehrliche Stand: Wer liest die Datei?

Hier trennt sich der Anspruch von der Wirklichkeit. llms.txt ist bis heute ein Vorschlag, kein anerkannter Standard. Kein großes KI-Unternehmen hat bestätigt, die Datei auszuwerten. Wer sie anlegt, kann also nicht davon ausgehen, dass irgendein System sie tatsächlich verwendet.

Google ist besonders deutlich. In der offiziellen Search-Central-Dokumentation zu KI-Funktionen hält Google fest, dass es für ein Erscheinen in den KI-Antworten keine zusätzlichen Anforderungen und keine besonderen, maschinenlesbaren Dateien braucht. John Mueller von Google verglich llms.txt öffentlich mit dem längst ignorierten Keywords-Meta-Tag: einer Angabe, die der Seitenbetreiber allein über sich selbst macht. Warum, so das Argument, solle ein System einer solchen Selbstauskunft vertrauen, statt die Seite direkt zu prüfen? Mueller wies zudem darauf hin, dass sich in den Server-Logdateien erkennen lasse, dass die KI-Dienste die Datei bislang gar nicht erst abrufen.

Auch OpenAI verweist Website-Betreiber nicht auf llms.txt. In seiner Crawler-Dokumentation nennt OpenAI die robots.txt als das Mittel, mit dem man steuert, ob die Bots GPTBot und OAI-SearchBot die eigenen Inhalte lesen dürfen. Dabei haben die beiden Bots unterschiedliche Aufgaben: GPTBot geht es um Trainingsdaten, OAI-SearchBot um die Aufnahme in die Suche von ChatGPT. Wer eine dieser Freigaben in der robots.txt ändert, muss laut OpenAI mit etwa einem Tag rechnen, bis die Anpassung greift. Die llms.txt taucht in dieser Anleitung an keiner Stelle auf.

Was tatsächlich über Sichtbarkeit entscheidet

Aus diesem Stand folgt eine klare Reihenfolge. Bevor eine llms.txt überhaupt einen Unterschied machen könnte, müssen die Grundlagen stimmen, auf die sich KI-Systeme nachweislich stützen. Google beschreibt etwa, dass seine KI-Antworten oft mit einer Technik namens Query-Fan-out arbeiten: Zu einer Frage werden im Hintergrund mehrere zusammenhängende Suchanfragen gestellt, und aus den echten, live abgerufenen Seiten entsteht die Antwort. Entscheidend ist also, was auf Ihren Seiten wirklich steht, nicht, was eine Selbstauskunft behauptet.

Drei Grundlagen wiegen deshalb schwerer als jede zusätzliche Datei:

• Die robots.txt richtig setzen. Sie entscheidet real darüber, ob KI-Crawler Ihre Seiten überhaupt lesen dürfen. Sperren Sie GPTBot oder OAI-SearchBot versehentlich aus, bleibt Ihr Betrieb für ChatGPT unsichtbar, unabhängig von jeder anderen Datei.
• Inhalte, die eine Frage beantworten. Google betont, dass einzigartige und hilfreiche Inhalte den größten Einfluss auf die Sichtbarkeit in generativen Suchfunktionen haben.
• Aktuelle, eindeutige Angaben. Leistungen, Einzugsgebiet und Kontaktdaten gehören klar und widerspruchsfrei auf die Seite, damit ein Modell sie beim Abruf sauber erfassen kann.

Was Sie konkret tun können

Für einen lokalen Betrieb ergibt sich daraus eine nüchterne Empfehlung:

• Prüfen Sie zuerst Ihre robots.txt daraufhin, dass keine KI-Crawler versehentlich gesperrt sind.
• Sorgen Sie für klare, aktuelle Inhalte zu Ihren Leistungen, Ihrem Einzugsgebiet und Ihren Kontaktdaten.
• Eine llms.txt anzulegen ist günstig und richtet keinen Schaden an. Behandeln Sie sie aber als Experiment, nicht als Erfolgsversprechen. Solange die großen Anbieter die Datei nicht auswerten, bleibt ihr Nutzen unbewiesen.

Wer wissen möchte, wo die eigenen Grundlagen wirklich stehen und welche Schritte in welcher Reihenfolge lohnen, findet in der KI-Sichtbarkeits-Dokumentation jeden Befund mit Beleg und eine klare Priorisierung. So fließt Ihre Zeit in das, was messbar wirkt, statt in eine Datei, die heute noch niemand liest.

Wo Ihr Betrieb heute steht

Ob ChatGPT, Gemini und andere KI-Systeme Ihren Betrieb heute schon empfehlen, lässt sich messen. Der kostenlose KI-Sichtbarkeits-Check von mehr gefunden zeigt Ihnen den Stand; wer es genauer wissen möchte, findet in der KI-Sichtbarkeits-Dokumentation jeden Befund mit Beleg und einen umsetzbaren Handlungsplan. Beides unverbindlich und ohne Vorbereitung.

Quellen

• llms.txt — offizieller Vorschlag von Jeremy Howard (llmstxt.org)
• Google Search Central: AI Features and Your Website
• OpenAI: Dokumentation zu GPTBot und OAI-SearchBot
• Search Engine Journal: Google Says LLMs.txt Comparable To Keywords Meta Tag

Zurück zu allen Ratgebern