Понедельник, 16 января 2017 г.
В последнее время мы слышали множество определений «крал-бюджета» (crawl budget), однако у нас нет единого термина, который бы описывал все, что подразумевает под собой «крал-бюджет» во внешнем мире. Этим постом мы хотим внести ясность в то, что у нас действительно есть и что это значит для Googlebot.
Во-первых, мы хотели бы подчеркнуть, что крал-бюджет, описанный ниже, — это не то, о чем большинство издателей должны беспокоиться. Если новые страницы обычно сканируются в тот же день, когда они публикуются, веб-мастерам не нужно фокусироваться на крал-бюджете. Аналогичным образом, если на сайте меньше нескольких тысяч URL-адресов, в большинстве случаев он будет сканироваться эффективно.
Приоритизация того, что сканировать, когда и какой объем ресурсов сервер, размещающий сайт, может выделить на сканирование, более важна для крупных сайтов или, например, тех, которые автоматически генерируют страницы на основе параметров URL.
Лимит скорости сканирования (Crawl rate limit)
Googlebot создан так, чтобы быть «хорошим гражданеном» интернета. Сканирование является его главным приоритетом, но при этом он заботится о том, чтобы не ухудшать опыт пользователей, посещающих сайт. Мы называем это «лимитом скорости сканирования» (crawl rate limit), который ограничивает максимальную скорость запросов для конкретного сайта.
Проще говоря, это количество одновременных параллельных соединений, которые Googlebot может использовать для сканирования сайта, а также время, которое он должен ждать между запросами. Скорость сканирования может увеличиваться или уменьшаться в зависимости от нескольких факторов:
- Состояние сканирования (Crawl health): Если сайт некоторое время отвечает очень быстро, лимит увеличивается, а значит, для сканирования можно использовать больше соединений. Если сайт замедляется или отвечает ошибками сервера, лимит уменьшается, и Googlebot сканирует меньше.
- Лимит, установленный в
Search Console: Владельцы веб-сайтов могут снизить интенсивность сканирования их сайта Googlebot’ом. Обратите внимание, что установка более высоких лимитов не приводит к автоматическому увеличению сканирования.
Потребность в сканировании (Crawl demand)
Даже если лимит скорости сканирования не достигнут, при отсутствии спроса со стороны индексации активность Googlebot будет низкой. Двумя факторами, которые играют значительную роль в определении потребности в сканировании, являются:
- Популярность: URL-адреса, которые более популярны в интернете, как правило, сканируются чаще, чтобы поддерживать их актуальность в нашем индексе.
- Устаревание: Наши системы пытаются предотвратить устаревание URL-адресов в индексе.
Кроме того, события в масштабе всего сайта, такие как переезд сайта, могут вызвать увеличение потребности в сканировании для переиндексации контента по новым URL-адресам.
Учитывая скорость сканирования и потребность в сканировании вместе, мы определяем крал-бюджет как количество URL-адресов, которые Googlebot может и хочет просканировать.
Факторы, влияющие на крал-бюджет
Согласно нашему анализу, наличие большого количества URL-адресов с низкой добавленной стоимостью может негативно повлиять на сканирование и индексирование сайта. Мы выяснили, что URL-адреса с низкой добавленной стоимостью делятся на следующие категории в порядке значимости:
- Фасетная навигация и
идентификаторы сеансов - Дублированный контент на сайте
- Страницы с мягкими ошибками (Soft error)
- Взломанные страницы
- Бесконечные пространства и прокси
- Низкокачественный контент и спам
Тратить ресурсы сервера на такие страницы — значит истощать активность сканирования со страниц, которые действительно имеют ценность, что может вызвать значительную задержку в обнаружении отличного контента на сайте.
Основные вопросы
Сканирование — это точка входа для сайтов в результаты поиска Google. Эффективное сканирование веб-сайта помогает его индексации в Поиске Google.
Влияет ли скорость сайта на мой крал-бюджет? А как насчет ошибок?
Ускорение сайта улучшает пользовательский опыт и одновременно увеличивает скорость сканирования. Для Googlebot быстрый сайт — это признак исправных серверов, поэтому он может получать больше контента по тому же количеству соединений. С другой стороны, значительное количество ошибок 5xx или тайм-аутов соединения сигнализирует об обратном, и сканирование замедляется.
Мы рекомендуем обратить внимание на
отчет об ошибках сканирования в Search Console
и поддерживать количество ошибок сервера на низком уровне.
Является ли сканирование фактором ранжирования?
Увеличение скорости сканирования не обязательно приведет к лучшим позициям в результатах поиска. Google использует сотни сигналов для ранжирования результатов, и хотя сканирование необходимо для попадания в результаты, оно не является сигналом ранжирования.
Учитываются ли альтернативные URL-адреса и встроенный контент в крал-бюджете?
Как правило, любой URL-адрес, который сканирует Googlebot, учитывается в крал-бюджете сайта. Альтернативные URL-адреса, такие как AMP или hreflang, а также внедренный контент, такой как CSS и JavaScript, включая AJAX- XHR-запросы
(например ), возможно, придется просканировать, и они потратят крал-бюджет сайта. Аналогичным образом, длинные цепочки перенаправлений могут оказывать негативное влияние на сканирование. Могу ли я управлять Googlebot с помощью правила
crawl-delay ? Нестандартное правило
crawl-delay в robots.txt не обрабатывается Googlebot. Влияет ли правило
nofollow на крал-бюджет? Зависит от ситуации. Любой просканированный URL-адрес влияет на крал-бюджет, поэтому даже если ваша страница помечает URL-адрес как
nofollow
, он все равно может быть просканирован, если другая страница вашего сайта или любая страница в интернете не помечает эту ссылку как nofollow.
Влияют ли заблокированные мной в robots.txt URL-адреса на мой крал-бюджет каким-либо образом?
Нет, заблокированные URL-адреса не влияют на крал-бюджет.
Информацию о том, как оптимизировать сканирование вашего сайта, вы можете найти в нашей записи в блоге об
оптимизации сканирования!
Как мы это применяем
We archive Search Central announcements because client questions often trace back to a change that was announced years ago. Reading the original is faster than reconstructing it from second-hand summaries.
Связанные услуги