llms.txt — это предлагаемый стандарт: Markdown-файл, размещенный в корне сайта по адресу /llms.txt, который предоставляет большим языковым моделям краткое описание сайта и список наиболее полезных страниц. Его внедрение означает выбор контента для включения, написание четких описаний, публикацию файла, опциональное предложение Markdown-версий страниц и их поддержку. Это недорого, но подтвержденного преимущества в ранжировании нет.
Предложение было опубликовано Джереми Ховардом из Answer.AI в 2024 году. Оно было разработано для конкретной проблемы: языковые модели, работающие с веб-сайтами, имеют ограниченный контекст, а полные HTML-страницы содержат навигацию, скрипты и макет, которые тратят его впустую. Краткий, структурированный файл помогает модели или инструменту ИИ быстро найти нужную информацию.
Важно четко понимать статус. llms.txt — это не официальный веб-стандарт, как robots.txt. Крупные поисковые ИИ-провайдеры не подтвердили, что используют его для ранжирования или цитирования, а представители Google публично заявили, что Google Search его не использует. Принятие было наиболее сильным среди сайтов документации для разработчиков, где помощники по кодированию могут получать его напрямую. Относитесь к нему как к полезному файлу для инструментов ИИ, а не как к способу быстрого повышения видимости.
Что содержит файл llms.txt?
Предлагаемый формат — простой Markdown с фиксированным порядком.
- H1 с названием сайта или проекта. Это единственный обязательный элемент.
- Короткая цитата, резюмирующая, о чем сайт.
- Дополнительные абзацы с контекстом или рекомендациями.
- Разделы H2, каждый из которых содержит список ссылок с кратким описанием после каждой.
- Дополнительный раздел под названием “Optional” для второстепенных ссылок, которые можно пропустить, если контекст короткий.
Предложение также предполагает предложение Markdown-версий ключевых страниц по тому же URL с добавлением .md, а некоторые сайты публикуют файл llms-full.txt, содержащий полный текст важных страниц в одном документе.
Пилотный контрольный список
Пилотный этап заключается в том, чтобы решить, что стоит включить, и проверить, полезен ли файл.
- Определите цель: документация для разработчиков, описания услуг для потенциальных клиентов или политики для клиентов.
- Перечислите от двадцати до пятидесяти страниц, которые лучше всего объясняют, что вы делаете, например, страницы услуг, цены, ключевые руководства, FAQ и контакты.
- Исключите пустые, устаревшие, дублирующиеся и рекламные страницы.
- Напишите описание из одного предложения для каждой страницы, которое говорит о том, что узнает читатель, а не слоган.
- Группируйте страницы под четкими заголовками H2, такими как Услуги, Руководства, Политики и Компания.
- Напишите резюмирующую цитату простым, фактическим языком.
- Проверьте Markdown и убедитесь, что каждая ссылка возвращает статус 200.
- Протестируйте, вставив файл в ИИ-помощник и задав типичные вопросы клиентов, чтобы увидеть, указывает ли он на нужные страницы.
Производственный контрольный список
Переход к производству означает правильную публикацию файла и включение его в обычное обслуживание сайта.
Публикация
- Разместите файл по адресу /llms.txt с типом контента text/plain или text/markdown и кодировкой UTF-8.
- Убедитесь, что robots.txt не блокирует его, и что плагины кэширования или безопасности не возвращают страницу ошибки HTML.
- Для многоязычных сайтов решите, перечислять ли только основной язык или включать языковые версии, и сохраняйте описания на том же языке, что и связанные страницы.
Дополнительные Markdown-версии
- Для сайтов с большим объемом документации создайте чистые Markdown-версии ключевых страниц.
- Синхронизируйте их с HTML-страницами; устаревшая Markdown-копия хуже, чем ее отсутствие.
- Подумайте, полезен ли llms-full.txt; для больших сайтов он может стать слишком длинным, чтобы быть полезным.
Обслуживание
- Назначьте ответственного и пересматривайте файл всякий раз, когда добавляются, переименовываются или удаляются ключевые страницы.
- Добавьте проверку в ваш процесс выпуска или публикации, чтобы изменения на страницах услуг вызывали пересмотр.
- Отслеживайте логи сервера на предмет запросов к /llms.txt, чтобы увидеть, получают ли его инструменты ИИ или краулеры.
Что llms.txt не должен заменять?
Файл не заменяет основы, на которые на самом деле полагаются функции поиска ИИ. Страницы должны быть доступны для сканирования, с четкими заголовками, точными структурированными данными, быстрой загрузкой и контентом, который напрямую отвечает на вопросы. Правила robots.txt для ИИ-краулеров, таких как GPTBot, ClaudeBot, PerplexityBot и Google-Extended, по-прежнему контролируют доступ. Упоминания бренда, отзывы и освещение на других сайтах по-прежнему формируют то, как ИИ-системы описывают бизнес.
Если эти основы слабы, llms.txt не компенсирует это. Если они сильны, llms.txt — небольшое, разумное дополнение.
Как это измерять?
Измеряйте скромно. Логи сервера показывают, запрашивается ли файл и какими пользовательскими агентами. Реферальный трафик от ИИ-помощников, таких как ChatGPT, Perplexity, Copilot и Gemini, можно отслеживать в GA4 по источнику. Ручные проверки, задавание помощникам вопросов о ваших услугах, показывают, указывают ли ответы на нужные страницы.
Не приписывайте изменения в рефералах ИИ только llms.txt; многие факторы меняются одновременно.
Как выглядит короткий пример?
Для сайта небольшого агентства файл может начинаться с H1 с названием компании, однострочного резюме ее услуг и местоположения, затем H2 для Услуг с перечислением шести страниц услуг по одному предложению каждая, H2 для Руководств с пятью подробными статьями, H2 для Компании со страницами о нас, команде и контактах, и дополнительным разделом с индексом блога. Весь файл может поместиться на одном экране.
Как Alien Road применяет llms.txt
В типичном проекте llms.txt является частью более широкого обзора оптимизации генеративных движков. Обнаружение охватывает то, как ИИ-краулеры обрабатываются в robots.txt, являются ли ключевые страницы доступными для сканирования и хорошо структурированными, и как ИИ-помощники в настоящее время описывают бизнес. llms.txt идет после этого, как вспомогательный шаг.
Мы составляем файл вместе с клиентом: выбираем страницы, пишем фактические описания и группируем разделы. Он тестируется путем задания нескольким помощникам типичных вопросов с предоставленным файлом и без него, а затем публикуется в корне с правильным типом контента. На сайтах WordPress мы следим за тем, чтобы плагины кэширования и безопасности обслуживали его правильно.
Измерение использует логи сервера для запросов к файлу, GA4 для рефералов ИИ-помощников и ежемесячную проверку промптов того, как помощники описывают бренд. Отчеты осторожны и представляют llms.txt как один из нескольких факторов.
С чего начать на этой неделе
Перечислите двадцать страниц, которые лучше всего объясняют ваш бизнес, и напишите по одному простому предложению о каждой. Поместите их в формат llms.txt под тремя или четырьмя заголовками с кратким резюме вверху.
Проверьте ссылки, опубликуйте файл по адресу /llms.txt и подтвердите, что он загружается как обычный текст в браузере. Затем добавьте напоминание пересматривать его всякий раз, когда меняется ключевая страница.
Читать далее: GEO – AIO – AEO · GEO