Яндекс описывает свой собственный пайплайн в четыре этапа, и понимание того, к какому этапу относится проблема, превращает смутную жалобу в устранимую.
Этап 1 — краулинг
Робот решает, какие сайты краулить, как часто и сколько страниц. Его список известных страниц формируется из внутренних и внешних ссылок, карты сайта (sitemap), данных Яндекс Метрики и robots.txt. Страницы размером более 10 МБ не индексируются.
Обработка ответов сервера однозначна:
200 OK— откраулировано.3XX— робот переходит по адресу редиректа.4XXи5XX— страница не включается в поиск и удаляется , если она уже там была.
И полезный трюк: если страница временно сломалась из-за сбоя в CMS, настройте сервер так, чтобы он возвращал 429 вместо этого. 429 Робот проверяет код и не отбрасывает страницу. Но постоянный сигнализирует Яндексу, что у сервера проблемы, иснижает частоту краулинга
, поэтому это пластырь, а не настройка. HTTP/2 поддерживается
— более быстрая загрузка и меньшая нагрузка на сервер, хотя Яндекс четко заявляет, что это не меняет частоту краулинга или ранжирование, а HTTP/1.1 продолжает работать.
Этап 2 — индексирование Робот анализирует и сохраняет контент: метатег description ,title , разметку Schema.org для сниппета; директиву noindex , которая исключает страницу; редиректrel=”canonical”
, объявляющий предпочтительный адрес для группы; а также текст, изображения и видео. Когда контент на страницах совпадает, они становятся дублями.
Этапы 3 и 4 Формируется база данных страниц, допущенных к поиску, и на ее основе генерируются результаты. Результаты регулярно обновляются, и эти обновления могут изменить позицию сайта без каких-либо изменений на самом сайте
— что является правильным ответом на большинство вопросов в стиле «мы упали, и ничего не изменилось».
Почему эта модель имеет значение
Как мы это применяем
The 429 behaviour is the practical gift here: during a CMS incident it keeps pages in the index instead of letting them be dropped for 5XX responses, which turns a two-hour outage into a non-event rather than a two-week recovery. We put it in the incident runbook for every client with a fragile stack — and we take it out again once the incident ends, because sustained 429 costs crawl rate.
Связанные услуги