Отправка Sitemap в Baidu

Sitemap — это постоянная декларация содержимого сайта, и в Baidu это подходящий канал для существующего массива страниц , в отличие от каналов пуша, которые предназначены для нового.

Как Baidu обрабатывает его

Файл извлекается и обрабатывается циклически, что делает его надежным и более медленным, чем пуш. Это компромисс, заложенный в сравнении самой платформы: разработка не требуется, полное покрытие, но это не путь для того, что должно быть проиндексировано сегодня.

Что в нем должно быть

• Только канонические URL — по одному на страницу, соответствующие тем, которые используют внутренние ссылки.
• Страницы, которые действительно должны ранжироваться. Sitemap, перечисляющий комбинации фильтров и URL внутреннего поиска, провоцирует краулинг страниц, которые собственные правила Baidu оценивают как бесполезные.
• Точные даты модификации, чтобы робот мог расставить приоритеты для того, что изменилось.

ETag и условная загрузка

Baidu документирует использование ETag для поддержки отправки Sitemap — сервер сообщает роботу, изменился ли файл с момента его последней загрузки. На большом или часто регенерируемом Sitemap это позволяет избежать повторных загрузок неизмененного файла, что возвращает ресурс для краулинга реальных страниц.

Распространенные ошибки

• Файл недоступен, перенаправляет или отвечает чем-то отличным от 200.
• URL, которые не соответствуют канонической форме — варианты параметров, несоответствия www или протокола.
• Sitemap, в котором перечислены URL, заблокированные в robots.txt: инструкция сканировать и инструкция не сканировать на одном и том же сайте.
• Устаревший файл, который регенерируется реже, чем сайт публикует материалы.

Работающая схема

Регенерируйте по графику, соответствующему публикациям, используйте только канонические URL, отдавайте с правильными заголовками кэширования и используйте каналы пуша для всего, что чувствительно ко времени. Sitemap — это карта, а не вестник.

Проверка

Убедитесь на платформе, что файл был получен и обработан, и сравните количество URL с объемом индекса. Большой разрыв между отправленными и проиндексированными страницами — это проблема качества или дублирования, а не проблемы с Sitemap.