Вы исправляете ошибки получения карты сайта, определяя первопричину в отчете о картах сайта Google Search Console (GSC) и обеспечивая доступность URL для Googlebot. Когда GSC сообщает о статусе ‘Не удалось получить’ или ‘Ошибка парсинга’, это указывает на то, что Google столкнулся с барьером, препятствующим чтению вашего XML-файла. Это часто связано с конфигурациями на стороне сервера, неправильным форматированием файла или временными проблемами с подключением, которые блокируют краулер.
Почему Google не может получить вашу карту сайта?
Google Search Console предоставляет специфические коды ошибок, которые помогут вам диагностировать проблему. Ошибка ‘Не удалось получить’ часто возникает из-за того, что ваш веб-сервер возвращает HTTP-код состояния 4xx или 5xx, когда Google пытается получить доступ к файлу. Это блокирует доступ краулера к вашему контенту.
Например, если в конфигурации вашего сервера установлен строгий брандмауэр, он может ошибочно идентифицировать Googlebot как вредоносного агента. Это приводит к ошибке 403 Forbidden. Проверка журналов сервера на наличие таких попыток доступа — стандартный способ выяснить, не слишком ли агрессивны ваши настройки безопасности. Кроме того, периодические проблемы с DNS могут вызывать временные сбои при получении, которые устраняются сами собой, но постоянные ошибки указывают на более глубокую проблему с инфраструктурой.
Еще одна распространенная причина — цепочка перенаправлений. Если URL вашего sitemap перенаправляет через несколько страниц, прежде чем достичь окончательного XML-файла, у Google может истечь время ожидания до успешного получения контента. Всегда следите за тем, чтобы URL вашего sitemap вел непосредственно к файлу без лишних перенаправлений. Кроме того, если вы используете CDN, убедитесь, что кэш не выдает устаревшую или поврежденную версию XML-файла, что может привести к несоответствию статусов.
Наконец, учитывайте географическое положение вашего сервера. Если у вашего хостинг-провайдера включены строгие правила гео-блокировки, Googlebot может быть ограничен в доступе к файлам в зависимости от диапазона IP-адресов, который он использует для этого конкретного сканирования. Проверка списков контроля доступа вашего сервера часто выявляет эти скрытые блокировки.
Распространенные причины ошибок синтаксического анализа sitemap
Ошибки синтаксического анализа возникают, когда структура вашего XML-файла не соответствует требуемому протоколу. Если ваш sitemap содержит недопустимые символы, поврежденные теги или кодировку, отличную от UTF-8, парсер выдаст ошибку. Эти ошибки мешают Google обрабатывать список URL-адресов, содержащихся в файле.
Многие разработчики сталкиваются с этими проблемами при динамической генерации sitemap с помощью плагинов. Если плагин не удаляет скрытые символы или неправильно экранирует специальные символы, такие как амперсанды, весь файл становится нечитаемым. Ручное редактирование XML-файлов также часто приводит к синтаксическим ошибкам, которые остаются скрытыми до тех пор, пока вы не попытаетесь их отправить.
При динамической генерации проверяйте наличие пробелов перед объявлением XML. Даже одна пустая строка в начале файла может вызвать ошибку парсера. Мы часто видим это в темах CMS, которые вставляют дополнительный код или комментарии в заголовок, непреднамеренно нарушая структуру XML, требуемую поисковыми системами.
- Неправильная вложенность XML-тегов или незакрытые теги.
- Использование недопустимых символов или неправильное экранирование специальных символов.
- Размер файла превышает лимит 50 МБ или содержит более 50 000 URL-адресов.
- Размещение sitemap в другом домене без надлежащей межсайтовой проверки.
- Отсутствие обязательного объявления заголовка XML.
Как выполнить техническую диагностику
Начните с тестирования URL вашего sitemap непосредственно в браузере или с помощью средства проверки необработанных HTTP-заголовков. Если страница возвращает ошибку 404, проверьте расположение файла. Если она возвращает ошибку уровня 500, изучите журналы сервера на предмет проблем с подключением или блокировок брандмауэра, которые могут отклонять пользовательский агент Googlebot.
Вам также следует проверить XML-схему на соответствие официальному протоколу sitemaps.org. Многие бесплатные онлайн-валидаторы могут точно указать, в какой строке содержится синтаксическая ошибка. Как только вы определили строку, исправьте кодировку или несоответствие тегов и повторно загрузите файл в корневой каталог вашего сервера.
Тестирование файла локально с помощью линтера также является хорошей практикой. Запуская локальный скрипт для проверки структуры, вы исключаете переменные задержки сервера или внешние ограничения доступа. Если файл проходит локальную проверку, но не проходит в GSC, проблема почти наверняка связана с тем, как ваш сервер отвечает на определенные пользовательские агенты.
Отчет о проблемах безопасности показывает все взломанные страницы, которые Google обнаружил на вашем сайте, а также инструкции по устранению проблемы.
Google Search Central
Как Alien Road применяет это
В Alien Road наша команда использует стандартный процесс для каждого технического взаимодействия, чтобы обеспечить работоспособность sitemap. Сначала мы проверяем файл robots.txt, чтобы убедиться, что никакие директивы не блокируют путь к sitemap. Затем мы проверяем структуру XML с помощью стандартных внутренних скриптов, прежде чем отправлять URL на панель управления ресурсом GSC.
В типичном взаимодействии с клиентом мы обнаруживаем, что sitemap часто становятся слишком большими для лимита в 50 000 URL-адресов. Когда это происходит, мы разбиваем sitemap на индексные файлы. Затем мы следим за панелью управления GSC в течение полной недели, чтобы подтвердить, что индекс обрабатывается без повторяющихся ошибок, гарантируя, что новый контент клиента попадает в индекс так, как задумано.
Для одного клиентского аудита мы обнаружили, что автоматизированный плагин безопасности агрессивно ограничивал скорость Googlebot. Добавив официальные диапазоны IP-адресов Googlebot в белый список в конфигурации сервера, мы немедленно устранили ошибки ‘Не удалось получить’, которые месяцами портили их отчет об индексации.
- Проведите аудит структуры сайта, чтобы убедиться, что включены только индексируемые URL-адреса.
- Проверьте заголовки ответа сервера, чтобы убедиться, что sitemap возвращает статус 200 OK.
- Следите за отчетом о покрытии GSC на предмет любых последующих задержек индексации.
- Убедитесь, что sitemap правильно связан в файле robots.txt.
- Убедитесь, что все URL-адреса в sitemap являются абсолютными и используют правильный протокол.
Что делать, если ошибки сохраняются после исправления файла?
Постоянные ошибки часто указывают на то, что ваш сервер все еще кэширует старую, поврежденную версию файла. Вам следует очистить кэш на стороне сервера и любые службы граничного кэширования, такие как Cloudflare, чтобы убедиться, что подается самая свежая версия XML.
Мы также рекомендуем проверить, не блокируется ли файл скрытым правилом ‘.htaccess’ или конфигурацией на уровне сервера, которая специально нацелена на тип файла XML. Иногда разработчики непреднамеренно применяют заголовки безопасности, которые мешают Google читать файл, даже если сам файл действителен.
Шаги по устранению постоянных сбоев при получении
Если проблема сохраняется, проверьте настройки безопасности. Иногда плагины безопасности или брандмауэры веб-приложений (WAF) ошибочно идентифицируют Googlebot как вредоносного агента. Настройка правил брандмауэра для разрешения доступа Googlebot часто может немедленно решить эти проблемы. Мы также проверяем наличие блокировки по IP, которая может мешать конкретным серверам сканирования Google достигать ваших файлов.
С чего начать на этой неделе
Войдите в свою учетную запись Google Search Console и перейдите в раздел ‘Файлы Sitemap’ на вкладке ‘Индексирование’. Просмотрите статус отправленных файлов. Если вы видите ошибку, нажмите на конкретный элемент строки, чтобы прочитать подробное описание ошибки, предоставленное Google. Устраните выявленную проблему с URL или форматом, затем повторно отправьте файл, чтобы запустить новое сканирование.