Справочник ошибок индексирования

Ошибки индексирования делятся на два этапа, и понимание того, на каком этапе произошел сбой, подсказывает вам, кому именно нужно это исправить. Ошибки скачивания означают, что робот так и не получил документ. Ошибки обработки означают, что он получил его, но не смог использовать.

Ошибки скачивания и их лимиты

• Превышен лимит размера текста — размер документа превышает 10 МБ.
• Превышена максимальная длина URL — более 1 024 байт в доменном имени или в адресе хост-страницы.
• Превышена максимальная длина заголовка HTTP — Яндек прямо называет частую причину: слишком много куки. Менеджер тегов или платформа согласия, накапливающие куки, могут сделать страницы недоступными для скачивания, хотя любой браузер с ними справляется.
• Неверная длина сообщения — проверьте content-length; заявленный размер заголовка не должен превышать фактический размер документа.
• Неверный объем переданных данных — передача завершилась преждевременно или продолжилась сверх заявленной длины.
• Неверная кодировка — Transfer-Encoding настроена неправильно или неизвестна.
• А также семейство проблем с подключением: сбой соединения, соединение не установлено, ошибка DNS, неверный код состояния HTTP, неверный заголовок HTTP, неподдерживаемый формат документа, неверный адрес документа и блокировка в robots.txt.

Ошибки обработки

• присутствует метатег noindex — намеренно, если вы так и задумывали.
• Неверная кодировка — символы, которые не соответствуют заявленной кодировке.
• Документ распознан как лог сервера — необычный случай, и совет Яндекса говорит сам за себя: если это реальная страница для посетителей, измените ее так, чтобы она не напоминала лог. Под это могут подпадать страницы, состоящие в основном из строк с временными метками.
• Неверный формат документа — файл не соответствует своему заявленному типу среди HTML, PDF, DOC, RTF, SWF, XLS и PPT.
• Кодировка не распознана — возможно, текст отсутствует или используется смешанная кодировка.
• Язык не поддерживается — язык не был распознан или не поддерживается.
• Документ не содержит текста — причина, стоящая за большой частью отчетов в стиле «у меня страница выглядит нормально».

Как это использовать

Прочитайте ошибку, определите, к какому этапу она относится, и направьте ее по адресу: ошибки скачивания передаются тем, кто управляет сервером или CDN; ошибки обработки передаются тем, кто создает страницу. Отправка не той половины не той команде — самая частая причина, почему эти проблемы остаются нерешенными месяцами.