Карта сайта сообщает поисковым системам текущую структуру сайта. Yandex поддерживает XML (рекомендуется, так как содержит дополнительную информацию) и TXT (простой список URL). Это не гарантирует появление URL в результатах выдачи.
Когда она действительно нужна
Yandex откровенно заявляет, что его алгоритмы обычно находят страницы по внутренним и внешним ссылкам, но робот может что-то пропустить. Карта сайта полезна, если на сайте есть много страниц, страницы без навигационных ссылок, либо глубокая вложенная структура. Небольшому сайту с хорошей перелинковкой от нее мало пользы.
Элементы XML
loc— обязательно, адрес страницы.lastmod— дата последнего обновления.changefreq— как часто страница меняется.priority— от 0.0 до 1.0, и Yandex объясняет принцип ее работы: робот загружает страницы, отсортированные по наличию и значению этого коэффициента. Он упорядочивает обход. Устанавливайте его для действительно важных URL, и он не имеет значения, если каждая страница равна 1.0.
Максимальный размер каждого необязательного элемента составляет 100 байт.
Требования
- UTF-8; Кириллические URL принимаются в исходном или закодированном виде.
- 50 000 ссылок максимум — свыше этого предела разделяйте на файлы с индексным файлом.
- 50 МБ в несжатом виде.
- Только URL с того домена, на котором находится файл, и сам файл должен располагаться на этом домене.
- Файл должен возвращать
200 OK.
RSS и Atom ленты не поддерживаются в качестве карт сайта.
Шаг, который все пропускают
Процедура Yandex начинается с определения канонических URL для страниц, которые будут добавлены. Карта сайта, полная дубликатов, заставляет робота обходить работу, которую вы уже признали избыточной. Затем создайте файл, проверьте егои укажите его в robots.txt или в консоли.
Для больших сайтов
Исключите страницы, которые Yandex уже знает, и оставьте файл для новых и часто обновляемых, отметив изменяющиеся файлы с помощью lastmod в индексном файле. Статистика сканирования показывает то, что уже известно, превращая карту сайта из описи в ленту изменений.
Как мы это применяем
The priority element is the part most implementations waste: it orders the crawl queue, so a generator emitting 0.8 for everything has thrown away a real lever. We set it deliberately on the pages that matter and leave the rest unset. And we start with canonicals, because a sitemap listing every parameter variant is asking the robot to spend its budget on pages we have already ruled out.
Связанные услуги