Eine llms.txt-Datei ist ein Markdown-Dokument im Stammverzeichnis Ihrer Domain, das beschreibt, worum es auf der Website geht, und auf die lesenswerten Seiten verweist. Die Idee entlehnt ihre Platzierung von robots.txt, aber nicht ihren Zweck. Robots.txt sagt Crawlern, was sie meiden sollen. Diese Datei sagt einem Sprachmodell, wo sich die Substanz befindet, und zwar in einem Format, das es in einem Durchgang lesen kann, ohne sich durch Navigation, Cookie-Banner und Fußzeilen wühlen zu müssen.
Es ist ein Vorschlag, kein Standard, und das ist das Erste, was man mit einem Kunden klären muss. Kein großer Assistent hat sich verpflichtet, sie zu lesen, und die Veröffentlichung führt nicht dazu, dass Sie zitiert werden. Wir empfehlen sie dennoch für die meisten Websites mit echter Dokumentation oder einer umfangreichen Inhaltsbibliothek, da sie eine Stunde Arbeit kostet, nicht schaden kann und die Übung des Schreibens Probleme aufdeckt, die es ohnehin wert sind, behoben zu werden.
Was gehört in eine llms.txt-Datei
Die Konvention ist einfaches Markdown. Ein einzelnes H1 mit dem Namen der Website oder Organisation. Ein kurzes Blockzitat, das zusammenfasst, was Sie tun, in ein oder zwei Sätzen. Dann H2-Abschnitte, die Links gruppieren, wobei auf jeden Link ein Doppelpunkt und eine kurze Beschreibung dessen folgt, was die Seite enthält. Beschränken Sie sich auf die Seiten, die Informationen enthalten, nicht auf die gesamte Sitemap. Hundert gut ausgewählte Links sind besser als ein Dump jeder URL.
Die Beschreibungen sind der Teil, den die Leute überstürzen, und der Teil, auf den es ankommt. Eine Zeile, die nur den Seitentitel enthält, sagt einem Leser nichts, was er nicht auch durch Abrufen der Seite erfahren könnte. Eine Zeile, die besagt, welche Frage die Seite beantwortet und für wen, lässt ein Modell entscheiden, ob es sie überhaupt öffnen soll, was der ganze Zweck des Dokuments ist.
Eine wirklich nützliche Datei schreiben
Betrachten Sie es als Briefing für einen kompetenten Fremden mit begrenzter Zeit. Was müssen sie über Ihre Organisation wissen und welche zehn oder dreißig Dokumente würden Sie ihnen zuerst in die Hand drücken? Diese Herangehensweise führt zu einer weitaus besseren Datei, als sie als technisches Artefakt zu behandeln, das generiert werden muss.
Ein paar Regeln, die wir bei jeder Datei anwenden, die wir schreiben:
- Stellen Sie sie im Stammverzeichnis als Klartext oder Markdown bereit, nicht hinter einer Weiterleitung oder einem Rewrite.
- Verwenden Sie absolute URLs, damit die Datei auch außerhalb ihres Ursprungs Sinn ergibt.
- Beschreiben Sie jeden Link in einem klaren Satz, anstatt seinen Titel zu wiederholen.
- Gruppieren Sie Links unter Überschriften, die ein Mensch erkennen würde: Dokumente, Preise, Anleitungen, Richtlinien.
- Fügen Sie nur Seiten hinzu, bei denen Sie sich freuen würden, wenn sie zitiert würden, und halten Sie sie unter ein paar hundert Zeilen.
Einige Websites veröffentlichen auch erweiterte Versionen, bei denen der vollständige Text wichtiger Seiten inline eingefügt ist. Das lohnt sich, wenn Ihre Dokumentation wirklich umfangreich und stark verlinkt ist. Für eine normale Marketing-Website erhöht dies den Wartungsaufwand ohne erkennbaren Nutzen, und eine veraltete Kopie Ihrer Preisseite ist schlimmer als gar keine Kopie.
Ein praktisches Detail bringt die Leute in Schwierigkeiten. Viele Content-Management-Systeme liefern keine beliebige Datei aus dem Stammverzeichnis aus, und die gewählte Lösung ist oft eine Weiterleitung vom Stammpfad auf eine Seite innerhalb der Website. Ein Client, der die Stammadresse abruft, erhält dann eine Weiterleitungskette oder eine HTML-Seite anstelle von Markdown, was den Zweck zunichtemacht. Überprüfen Sie die Antwort mit einer einfachen Anfrage und bestätigen Sie, dass Sie den Text mit einem sinnvollen Content-Type zurückerhalten, ohne dass das Layout Ihres Themes darum gewickelt ist.
Was sie nicht tut
Sie kontrolliert keinen Zugriff. Alles, was Sie auflisten, ist eine Seite, die bereits öffentlich war, und alles, was Sie aus dem Training oder dem Abruf heraushalten möchten, muss durch robots.txt-Anweisungen, Authentifizierung oder die crawler-spezifischen Kontrollen, die die großen Anbieter veröffentlichen, gehandhabt werden. Diese Datei als Berechtigungsebene zu behandeln, ist ein Fehler, den wir mehr als einmal korrigieren mussten.
Sie ersetzt auch nichts. Ihre Sitemap steuert weiterhin die Entdeckung, Ihre strukturierten Daten beschreiben weiterhin Entitäten, Ihre Robots-Regeln regeln weiterhin das Crawling. Die llms.txt-Datei steht daneben als eine für Menschen lesbare Zusammenfassung dessen, was wichtig ist, und wenn die Assistenten sie nie lesen, funktioniert alles andere auf Ihrer Website immer noch genau wie zuvor.
Wartung ist der eigentliche Kostenfaktor
Dateien wie diese verrotten. Links ändern sich, Produkte werden umbenannt, die Seite, die Sie hervorgehoben haben, wird mit einer anderen zusammengeführt. Eine Datei voller Weiterleitungen und Sackgassen hinterlässt einen schlechteren Eindruck als gar keine. Setzen Sie sie auf denselben Überprüfungszyklus wie Ihre Sitemap und Ihre Navigation, überprüfen Sie sie, wenn Sie eine Website-Änderung veröffentlichen, und löschen Sie Einträge, die Sie nicht mehr pflegen, anstatt sie verfallen zu lassen.
Unsere Empfehlung ist verhältnismäßig: Schreiben Sie eine, halten Sie sie kurz und ehrlich, überprüfen Sie sie vierteljährlich und lassen Sie sie nicht zu einem Projekt werden. Der Wert liegt hauptsächlich in den Nebeneffekten. Zu entscheiden, welche dreißig Seiten Ihre Website repräsentieren, und einen präzisen Satz über jede zu schreiben, neigt dazu, dünne Inhalte, doppelte Erklärungen und Seiten, die niemand zusammenfassen konnte, aufzudecken. Diese Erkenntnisse sind die Stunde wert, selbst wenn kein Crawler jemals die Datei anfordert.
Weiterlesen: GEO
Passende Leistung: GEO – AIO – AEO