Директива Sitemap

Директива Sitemap указывает, где располагается карта сайта. Их может быть несколько, по одной на строку:

User-agent: Yandex
Allow: /
sitemap: https://example.com/site_structure/my_sitemaps1.xml
sitemap: https://example.com/site_structure/my_sitemaps2.xml

Свойство, которое имеет значение

Оно независимо от расположения: робот использует его независимо от того, где оно находится в файле. Оно не принадлежит блоку User-agent выше и не требует повторения в каждом блоке. Файлы, дублирующие директиву под каждым агентом, безвредны, но избыточны; файлы, помещающие ее внутрь одного блока в ожидании, что она будет действовать только там, просто не поняли принцип ее работы.

Как она обрабатывается

Робот запоминает путь, обрабатывает данные и использует результат при следующем визите. Ничего не происходит мгновенно, и это стоит знать, прежде чем делать вывод о том, что заново объявленная карта сайта не сработала.

Требование к форматированию

URL должен быть указан полностью, включая протокол. Относительный путь вызывает в анализаторе ошибку «Неверный формат URL файла Sitemap» — это проверка расширения от Яндекса, которую стандартные валидаторы robots.txt не выполняют, поэтому данная ошибка может оставаться незамеченной при любых других тестах.

Объявление здесь против консоли

Оба пути работают, и они не исключают друг друга. Директива является публичной и доступна для чтения всем поисковым роботам; запись в консоли специфична для Яндекса и сообщает статус обработки, ошибки и дату последней загрузки. Для сайта любого размера используйте оба варианта: файл — для охвата, консоль — для понимания того, сработало ли это на практике.

Взаимодействие, которого следует избегать

Не блокируйте собственную директорию карты сайта с помощью Disallow. Карта сайта, объявленная в файле и заблокированная другим правилом в том же файле, вызывает ошибку «URL запрещен в robots.txt», и это встречается на сайтах с картами в сгенерированных или служебных путях гораздо чаще, чем кажется.