Файл llms.txt — это предлагаемый стандарт: Markdown-файл в корне сайта, который дает большим языковым моделям краткое, курируемое руководство по самому полезному контенту сайта. На момент написания это не является фактором ранжирования для Google, и основные поисковые ИИ-провайдеры не подтвердили, что используют его. Его дешево добавить, он может помочь некоторым ИИ-инструментам читать вашу документацию, и он не должен заменять классическую SEO-работу.
Идея была предложена в 2024 году Джереми Ховардом из Answer.AI. Файл находится по адресу /llms.txt и использует простой Markdown: заголовок, краткое описание сайта и списки ссылок на ключевые страницы с пояснениями в одну строку. Связанная конвенция предлагает предлагать чистые Markdown-версии страниц, например page.md рядом с page.html, чтобы модели могли читать контент без навигации, скриптов и рекламы.
Какую проблему пытается решить llms.txt?
Веб-страницы созданы для браузеров. Они содержат меню, баннеры cookie, скрипты и код верстки, которые составляют большую часть того, что скачивает краулер. Языковые модели имеют ограниченные контекстные окна, поэтому скармливать им весь сайт — это пустая трата ресурсов. Короткий, структурированный файл, указывающий на важные страницы, в формате, который модели хорошо обрабатывают, дает им карту.
Вариант использования наиболее силен для сайтов с большим объемом документации, таких как программные продукты, API и базы знаний, где разработчики копируют документацию в инструменты кодирования на базе ИИ.
Чем llms.txt отличается от robots.txt и карт сайта?
Три файла выполняют разные задачи:
- robots.txt сообщает краулерам, к чему они могут, а к чему не могут получить доступ. Это широко уважаемая конвенция и место для разрешения или блокировки ИИ-краулеров, таких как GPTBot, ClaudeBot или PerplexityBot.
- sitemap.xml перечисляет URL-адреса, которые вы хотите, чтобы поисковые системы обнаружили, с дополнительными датами. Google и Bing читают его.
- llms.txt описывает и приоритизирует контент для языковых моделей в человекочитаемой форме. Он не дает никаких разрешений и ничего не блокирует.
Если вы хотите остановить ИИ-краулеры, llms.txt не поможет. Если вы хотите, чтобы Google находил новые страницы, карта сайта остается основным инструментом.
Влияет ли llms.txt на ранжирование в Google?
Нет доказательств того, что это так. Представители Google публично заявили, что Google не использует llms.txt, а Google Search использует свои собственные системы краулинга и индексации. Добавление файла не повысит ранжирование или видимость в AI Overviews.
Другие ИИ-провайдеры также не взяли на себя твердых публичных обязательств. Некоторые инструменты для разработчиков и ИИ-помощники по кодированию читают файлы llms.txt, когда пользователи направляют их на сайт документации, и несколько платформ документации генерируют файл автоматически. Это текущая, скромная реальность.
Кто должен добавить файл llms.txt?
Это наиболее логично для:
- SaaS-компаний и платформ для разработчиков с публичной документацией.
- Сайтов с большими базами знаний, где помогает курируемая точка входа.
- Компаний, которые хотят провести недорогой эксперимент с читаемостью для ИИ.
Для сайта местного бизнеса из десяти страниц польза невелика. Это не повредит, но другие работы, такие как точные данные в Google Business Profile и четкие страницы услуг, будут иметь гораздо большее значение.
Как написать хороший llms.txt?
Держите его коротким и курируемым. Ценность в выборе, а не в перечислении всего.
- Начните с заголовка H1: название сайта или продукта.
- Добавьте краткое резюме в виде цитаты, описывающее, что предлагает сайт и для кого.
- Добавьте несколько разделов H2, таких как Документация, Руководства, Цены или Политики.
- Под каждым перечислите самые важные страницы в виде Markdown-ссылок с описанием в одну строку.
- При желании добавьте раздел “Опционально” для второстепенных страниц, которые можно пропустить, когда контекст ограничен.
- Загрузите его в корень сайта и проверьте, что он загружается по адресу yourdomain.com/llms.txt как обычный текст.
Поддерживайте его в актуальном состоянии.
llms.txt, указывающий на устаревшие страницы, хуже, чем его отсутствие. Добавьте его в чек-лист для изменений на сайте или генерируйте автоматически из вашей CMS или инструмента документации.
Какая SEO-работа важнее для ИИ-видимости?
Основы, которые помогают поисковым системам, — это в основном классическое SEO. Убедитесь, что ИИ и поисковые краулеры могут получить доступ к сайту через robots.txt и настройки вашего CDN. Поддерживайте страницы быстрыми и читаемыми без тяжелых скриптов. Структурируйте контент с четкими заголовками и прямыми ответами. Размечайте ключевые факты с помощью схемы там, где это уместно. Заслуживайте упоминания с доверенных сторонних сайтов, на которые часто ссылаются ИИ-системы.
Распространенное заблуждение.
Некоторые руководства представляют llms.txt как способ отказаться от обучения ИИ или контролировать то, как модели описывают ваш бренд. Он не делает ни того, ни другого. Модели, которые никогда не запрашивают файл, не затрагиваются им, и файл не может дать модели указание говорить определенные вещи. Относитесь с осторожностью к любому сервису, продающему llms.txt как ярлык для ИИ-ранжирования; честное утверждение заключается в том, что он может сделать ваш контент более легким для чтения инструментами, которые решат его использовать.
Если у вас мало времени, потратьте его сначала на это. llms.txt — это небольшое дополнение, а не стратегия.
Как Alien Road применяет llms.txt в работе по GEO.
В типичном GEO-проекте llms.txt — это один из пунктов более широкого обзора читаемости для ИИ. В ходе обнаружения проверяются правила robots.txt для ИИ-краулеров, настройки ботов CDN, рендеринг ключевых страниц и доступность важного контента в виде текста.
Когда на сайте есть документация или база знаний, настройка включает курируемый llms.txt с основными разделами и, там, где CMS это поддерживает, Markdown-версии ключевых страниц. Для небольших сайтов мы обычно рекомендуем пропустить это, пока не будут выполнены основы. Мы документируем владельца файла и процесс обновления, чтобы он не устарел.
Там, где CMS или инструмент документации может генерировать файл автоматически, мы предпочитаем это версии, отредактированной вручную, потому что сгенерированные файлы остаются в ногу с сайтом.
Измерения честны в отношении ограничений. Логи сервера показывают, запрашивают ли какие-либо ИИ-агенты /llms.txt, и мы сообщаем об этом вместе с ИИ-реферальным трафиком в GA4 и проверками цитирования в ИИ-помощниках, не приписывая изменения файлу, которые мы не можем доказать.
С чего начать на этой неделе.
Проверьте логи вашего сервера или CDN на наличие запросов к /llms.txt за последний месяц. Если вы ничего не видите, а на вашем сайте нет документации, направьте усилия на robots.txt и структуру контента. Если вы ведете сайт документации, составьте 20-строчный llms.txt с вашими десятью самыми полезными страницами и опубликуйте его.
Читайте дальше: GEO – AIO – AEO · GEO