Больше контроля над скоростью сканирования Googlebot

Четверг, 4 декабря 2008 г.

Мы обновили настройку скорости сканирования в
Webmaster Tools
теперь веб-мастера, столкнувшиеся с проблемами с Googlebot, могут предоставить нам более точную информацию. Скорость сканирования вашего сайта определяет время, затрачиваемое Googlebot на сканирование вашего сайта при каждом посещении. Наша цель — тщательно просканировать ваш сайт (чтобы ваши страницы можно было проиндексировать и вернуть в результаты поиска!) без заметного влияния на пропускную способность вашего сервера. Хотя большинство веб-мастеров вполне устраивает использование настроек сканирования по умолчанию (то есть никаких изменений не требуется, подробнее об этом ниже), у некоторых веб-мастеров могут быть более специфические потребности.

Googlebot использует сложные алгоритмы, которые определяют, насколько сильно сканировать каждый посещаемый им сайт. Для подавляющего большинства сайтов, вероятно, лучше всего выбрать параметр «Позволить Google определить мою скорость сканирования», который является стандартным. Однако, если вы являетесь продвинутым пользователем или сталкиваетесь с проблемами пропускной способности вашего сервера, вы можете настроить скорость сканирования на оптимальную скорость для вашего веб-сервера (серверов). Параметр пользовательской скорости сканирования позволяет предоставить Googlebot информацию о максимальном количестве запросов в секунду и количестве секунд между запросами, которые вы считаете оптимальными для вашей среды.

Googlebot определяет диапазон значений скорости сканирования, которые будут доступны вам в Webmaster Tools. Это основано на нашем понимании возможностей вашего сервера. Этот диапазон может варьироваться от сайта к сайту и с течением времени в зависимости от нескольких факторов. Установка скорости сканирования на значение ниже значения по умолчанию может повлиять на охват и свежесть вашего сайта в результатах поиска Google. Однако установка более высокого значения, чем значение по умолчанию, не улучшит ваш охват или рейтинг. Если вы установите пользовательскую скорость сканирования, новая скорость будет действовать в течение 90 дней, после чего она сбросится до значения, рекомендованного Google.

Вы можете использовать эту настройку только для сайтов корневого уровня и сайтов, не размещенных на крупных доменах, таких как blogspot.com (для них у нас назначены специальные настройки). Чтобы проверить настройку скорости сканирования, войдите в
Webmaster Tools
и перейдите на вкладку «Настройки». Если у вас возникли дополнительные вопросы, посетите
Webmaster Help Center
, чтобы узнать больше о том, как Google сканирует ваш сайт, или задайте свои вопросы в
Webmaster Help Forum.

Автор: Пуджа Шах (Pooja Shah), инженер-программист, команда Webmaster Tools