llms.txt — это предлагаемый стандарт: файл Markdown, размещенный в корне сайта, который дает большим языковым моделям краткую, курируемую карту самого полезного контента сайта. Он был предложен Джереми Ховардом из Answer.AI в 2024 году. Это не файл управления доступом, и ни одна крупная ИИ-компания не подтвердила, что полагается на него, поэтому команды должны публиковать его с четкими правилами и скромными ожиданиями.
Что должен делать llms.txt?
Идея проста. Веб-сайты полны навигации, скриптов и рекламы, из-за чего модели трудно найти важный текст в ограниченном контекстном окне. llms.txt предлагает чистое резюме: заголовок, краткое описание и сгруппированные списки ссылок на ключевые страницы, в идеале с простыми версиями этих страниц в формате Markdown.
Предложение также описывает опциональный llms-full.txt, который содержит полный текст важных страниц в одном файле. Сайты документации для инструментов разработчика были одними из первых, кто его внедрил, потому что программисты часто вставляют документацию в ИИ-помощники.
Некоторые SEO-плагины и конструкторы сайтов теперь генерируют файл автоматически. Это упрощает публикацию, но также упрощает публикацию без раздумий о том, что он содержит.
Улучшает ли llms.txt видимость в ответах ИИ?
На момент написания статьи нет публичных доказательств того, что ChatGPT, Gemini, Claude или Perplexity используют llms.txt при выборе источников для ответов. Представители Google публично заявили, что функции ИИ Google его не используют. Журналы сервера на многих сайтах показывают мало или вообще не показывают запросов к файлу от ИИ-краулеров.
Это не делает его бесполезным. Инструменты, ориентированные на разработчиков, и некоторые агентские фреймворки могут его читать, и его обслуживание стоит недорого. Но он не должен заменять работу, которая действительно влияет на видимость в ИИ: сканируемые страницы, четкая структура, точные факты, структурированные данные и упоминания на доверенных сторонних сайтах.
Каковы реальные риски публикации llms.txt?
Файл небольшой, но он публичный и указывает на то, что вы считаете важным. Это создает несколько рисков, которые стоит перечислить, прежде чем кто-либо его загрузит.
- Путаница с robots.txt: llms.txt ничего не блокирует. Доступ краулеров по-прежнему контролируется пользовательскими агентами robots.txt, такими как GPTBot, ClaudeBot, Google-Extended и PerplexityBot.
- Раскрытие скрытых страниц: автоматически сгенерированные файлы иногда содержат страницы промежуточного тестирования, страницы благодарности или закрытые страницы.
- Устаревший контент: файл, указывающий на снятые с производства продукты или старые цены, отправляет моделям неверные факты.
- Дублирование контента: llms-full.txt копирует целые страницы в другой публичный URL, который другие скраперы могут забрать одним запросом.
- Чрезмерные инвестиции: часы, потраченные на настройку файла вместо исправления страниц, которые люди и краулеры действительно читают.
Из них устаревший контент встречается чаще всего. Файл, написанный один раз во время запуска сайта, редко обновляется при изменении ассортимента продукции.
Какие правила управления следует установить в первую очередь?
Относитесь к llms.txt как к любому другому публичному заявлению о компании. Ему нужен владелец, цикл проверки и четкая сфера охвата.
Владение и проверка
Назначьте одного владельца, обычно в области SEO или контента. Проверяйте файл каждый раз, когда меняется навигация сайта, ассортимент продукции или структура цен, и не реже одного раза в квартал. Храните его в системе контроля версий вместе с остальной частью сайта, чтобы изменения можно было отследить.
Правила охвата
Включайте только публичные, индексируемые страницы, которые вы были бы рады видеть процитированными. Исключите области учетных записей, корзины, юридические черновики, внутренние инструменты и целевые страницы кампаний, срок действия которых истечет. Если страница имеет тег noindex, ей не место в файле.
Согласованность с robots.txt
Сначала определите свою политику в отношении ИИ-краулеров в robots.txt. Если вы блокируете там краулер, перечисление страниц для него в llms.txt посылает противоречивые сигналы. Запишите оба решения на одной странице вашего документа о политике.
Как написать хороший файл llms.txt?
Пишите кратко и по существу. Начните с H1, содержащего название компании или сайта, затем блок цитаты из одного абзаца, говорящий о том, что делает организация и для кого. Группируйте ссылки под заголовками H2, такими как Услуги, Руководства и Компания, каждое с описанием в одну строку.
- Используйте простые, точные описания вместо маркетинговых лозунгов.
- Ссылайтесь на канонический URL каждой страницы.
- Упоминайте местоположения, языки и основные услуги в резюме.
- Добавьте опциональный раздел для вторичных ресурсов, как предлагает предложение.
- Проверьте, что каждая ссылка возвращает статус 200 перед публикацией.
Как Alien Road применяет llms.txt
Наша команда GEO рассматривает llms.txt как небольшую часть более широкого аудита видимости в ИИ. Обнаружение начинается с журналов сервера и robots.txt: какие ИИ-краулеры посещают, что они запрашивают и что клиент разрешает в данный момент.
Если клиент хочет файл, мы составляем его на основе канонической карты сайта, удаляем все, что имеет noindex или является временным, и просим владельца контента утвердить описания. Он публикуется с датой ежеквартальной проверки в календаре проекта.
Измерение честно в отношении неопределенности. Мы регистрируем запросы к файлу, отслеживаем упоминания бренда в ответах ИИ для фиксированного набора промптов и сообщаем о результатах. Если файл не показывает измеримого эффекта, отчет говорит об этом, и усилия переносятся на страницы и цитаты, которые важнее.
Как llms.txt вписывается в более широкий план GEO?
Оптимизация генеративных движков, или GEO, заключается в том, чтобы быть найденным и процитированным в ответах ИИ. Факторы, которые имеют наибольшее значение, — те же, что важны для поиска: страницы, которые загружаются и отображаются без тяжелого JavaScript, четкие заголовки, прямые ответы в начале, информация об авторе и компании, а также структурированные данные, описывающие продукты, услуги и организации.
Упоминания третьими лицами также имеют вес. Ответы ИИ часто опираются на сайты отзывов, отраслевые каталоги, новостные репортажи и форумы. Бренд, который точно представлен в этих местах, модели легче описать правильно, чем тот, который описывает только сам себя.
Рассматриваемый в этом порядке, llms.txt — это аккуратный финальный слой. Он суммирует то, что уже является сильным на сайте. Если базовые страницы слабые или устаревшие, файл только более эффективно направляет модели к слабому материалу.
Таким образом, разумное распределение бюджета неравномерно: большая часть усилий на качество контента, доступ к сканированию и цитирование, и небольшая часть на обслуживание llms.txt. Если стандарт позже получит подтвержденную поддержку, файл уже будет в хорошем состоянии.
С чего начать на этой неделе
Откройте свой robots.txt и запишите свою текущую позицию по каждому основному ИИ-краулеру. Затем поищите в журналах своего сервера запросы к /llms.txt, чтобы увидеть, запрашивает ли его уже что-то. Если вы решите опубликовать, составьте файл вручную из двадцати ваших лучших публичных страниц, получите одобрение владельца и поставьте дату проверки в календаре, прежде чем он станет доступен.
Читать далее: GEO – AIO – AEO · GEO