Один файл llms txt — это markdown-документ в корне вашего домена, который описывает, что представляет собой сайт, и указывает на страницы, которые стоит прочитать. Идея заимствует свое расположение у robots.txt, но не свою цель. Robots.txt говорит краулерам, чего следует избегать. Этот файл говорит языковой модели, где находится суть, в формате, который она может прочитать за один проход, не пробираясь через навигацию, баннеры cookie и футеры.
Это предложение, а не стандарт, и это первое, что нужно прояснить клиенту. Ни один крупный помощник (assistant) не взял на себя обязательство читать его, и публикация файла не гарантирует, что на вас будут ссылаться. Мы по-прежнему рекомендуем его для большинства сайтов с реальной документацией или обширной библиотекой контента, потому что это занимает час времени, не может навредить, а процесс написания выявляет проблемы, которые в любом случае стоит исправить.
Что должно быть в файле llms txt
Конвенция — это простой markdown. Один заголовок H1 с названием сайта или организации. Короткая цитата, резюмирующая то, что вы делаете, в одном или двух предложениях. Затем разделы H2, группирующие ссылки, каждая ссылка сопровождается двоеточием и кратким описанием того, что содержит страница. Ограничьтесь страницами, которые несут информацию, а не всей картой сайта. Сотня хорошо подобранных ссылок лучше, чем дамп каждого URL.
Описания — это та часть, которую люди делают второпях, и та часть, которая имеет значение. Строка, содержащая только заголовок страницы, не говорит читателю ничего, чего он не мог бы получить, просто открыв страницу. Строка, говорящая о том, на какой вопрос отвечает страница и для кого, позволяет модели решить, стоит ли ее вообще открывать, что и является главной целью документа.
Написание действительно полезного файла
Думайте об этом как о брифинге для компетентного незнакомца с ограниченным временем. Что им нужно знать о вашей организации и какие десять или тридцать документов вы бы дали им в первую очередь? Такой подход создает гораздо лучший файл, чем отношение к нему как к техническому артефакту, который нужно сгенерировать.
Несколько правил, которые мы применяем к каждому файлу, который пишем:
- Размещайте его в корне как обычный текст или markdown, а не за редиректом или перезаписью.
- Используйте абсолютные URL-адреса, чтобы файл имел смысл при чтении вне своего источника.
- Описывайте каждую ссылку одним четким предложением, а не повторяя ее заголовок.
- Группируйте ссылки под заголовками, которые человек бы узнал: документы, цены, руководства, политики.
- Включайте только те страницы, которые вы были бы рады видеть процитированными, и держите объем в пределах нескольких сотен строк.
Некоторые сайты также публикуют расширенные версии с полным текстом ключевых страниц внутри. Это стоит делать, когда ваша документация действительно большая и сильно перелинкована. Для обычного маркетингового сайта это добавляет нагрузку по обслуживанию без видимой отдачи, а устаревшая копия вашей страницы с ценами хуже, чем отсутствие копии вообще.
Одна практическая деталь сбивает людей с толку. Многие системы управления контентом не отдают произвольный файл из корня, и выбранным обходным путем часто является редирект с корневого пути на страницу внутри сайта. Клиент, запрашивающий корневой адрес, получает цепочку редиректов или HTML-страницу вместо markdown, что сводит на нет все усилия. Проверьте ответ простым запросом и убедитесь, что вы получаете текст обратно с разумным типом контента, без обертки в виде макета вашей темы.
Чего он не делает
Он не контролирует доступ. Все, что вы перечисляете, — это страница, которая уже была публичной, и все, что вы хотите уберечь от обучения или поиска, должно обрабатываться через директивы robots.txt, аутентификацию или специфические элементы управления краулерами, которые публикуют крупные провайдеры. Относиться к этому файлу как к уровню разрешений — это ошибка, которую нам приходилось исправлять не один раз.
Он также ничего не заменяет. Ваша карта сайта по-прежнему управляет обнаружением, ваши структурированные данные по-прежнему описывают сущности, ваши правила robots по-прежнему регулируют краулинг. Файл llms txt существует рядом с ними как читаемое человеком резюме того, что важно, и если помощники его никогда не прочитают, все остальное на вашем сайте все равно работает точно так же, как и раньше.
Обслуживание — это реальные затраты
Такие файлы устаревают. Ссылки перемещаются, продукты переименовываются, страница, которую вы выделили, объединяется с другой. Файл, полный редиректов и тупиков, производит худшее впечатление, чем отсутствие файла. Поставьте его на тот же цикл проверки, что и вашу карту сайта и навигацию, проверяйте его при внесении изменений на сайт и удаляйте записи, которые вы больше не поддерживаете, вместо того чтобы позволять им приходить в негодность.
Наша рекомендация пропорциональна: напишите один, держите его кратким и честным, пересматривайте ежеквартально и не позволяйте ему превратиться в проект. Ценность в основном заключается в побочных эффектах. Решение о том, какие тридцать страниц представляют ваш сайт, и написание точного предложения о каждой из них, как правило, выявляет слабый контент, дублирующиеся объяснения и страницы, которые никто не смог резюмировать. Эти выводы стоят потраченного часа, даже если ни один краулер никогда не запросит файл.
Продолжайте читать: GEO
Связанная услуга: GEO – AIO – AEO