Файлы Sitemap

Файл карты сайта сообщает Yandex текущую структуру сайта. Он может быть указан в robots.txt или добавлен на странице файлов Sitemap; в любом случае робот загружает его в течение двух недель, и каждый файл, включая каждый файл, перечисленный в индексном файле, обрабатывается отдельно.

Четыре статуса

• OK — проанализировано и загружено; проиндексированные страницы появляются в результатах в течение двух недель.
• Перенаправление — URL карты сайта перенаправляет. Удалите перенаправление.
• Ошибка — поврежденный формат; ссылка показывает подробности.
• Не индексировано — сервер ответил чем-то отличным от 200, или robots.txt блокирует доступ к файлу. Проверьте с помощью инструмента ответа сервера по полному пути.

Обновление: квота, которую стоит знать

Обновленный файл не нужно удалять и добавлять заново — робот проверяет его регулярно. Обработку можно принудительно запустить с помощью элемента управления обновлением, а каждый файл в индексном файле можно запустить индивидуально. Но это ограничено 10 использованиями на хост, после чего вы ждете 30 дней с момента первой попытки, точная дата отображается в консоли. Потратить все десять в один день нетерпения не оставит ничего для миграции двумя неделями позже.

Стратегия для крупных сайтов

Собственный совет Yandex неинтуитивен и верен: карта сайта не обязана содержать все. Страницы, которые Yandex уже знает, можно опустить, оставив новые и часто обновляемые страницы, а для индексного файла волатильные файлы помечаются lastmod. Статистика обхода показывает то, что Yandex уже знает. Это превращает карту сайта из статического инвентаря в ленту изменений, для чего робот ее фактически и использует.

Два запутанных поведения, объяснение

• Карта сайта отображается как исключенная страница с «неверным форматом документа». Только для информации. Робот попытался проиндексировать XML как обычную страницу; это не влияет на обработку, и файл не участвует в поиске.
• Ошибка «Неизвестный тег». Файл содержит элементы, которые Yandex не поддерживает, например, ссылку на мобильную версию. Неподдерживаемые элементы игнорируются, а поддерживаемые обрабатываются, поэтому файл не нуждается в изменении.

Удаление

Удалите файл в консоли и удалите директиву Sitemap из robots.txt, иначе робот продолжает находить его. Он очищается из базы данных в течение нескольких недель.