Улучшенная обработка URL с параметрами

Пятница, 22 июля 2011 г.

Вы, возможно, заметили, что функция «Обработка параметров» исчезла из раздела
Конфигурация сайта > Настройки
в Инструментах для веб-мастеров. Не бойтесь; теперь вы можете найти ее под новым названием «Параметры URL»! Помимо переименования, мы обновили и улучшили эту функцию. Мы надеемся, что она покажется вам еще более полезной. Настройки параметров URL, сделанные в старой версии функции, будут автоматически отображаться в новой версии. Прежде чем мы расскажем обо всех классных вещах, которые теперь можно делать с параметрами URL, позвольте нам напомнить вам (или представить, если вы новичок в этой функции) о назначении этой функции и о том, когда она может пригодиться.

Когда использовать

Параметры URL помогают вам контролировать, какие URL на вашем сайте должны сканироваться Googlebot в зависимости от параметров, присутствующих в этих URL. Эта функция представляет собой простой способ предотвратить сканирование дублирующегося контента на вашем сайте. Теперь ваш сайт можно сканировать более эффективно, сокращая использование полосы пропускания и, возможно, позволяя индексировать больше уникального контента с вашего сайта. Если вы подозреваете, что покрытие сканирования контента вашего сайта Googlebot можно улучшить, использование этой функции может быть хорошей идеей. Но с великой силой приходит великая ответственность! Вы должны использовать эту функцию только в том случае, если уверены в поведении параметров URL на вашем сайте. В противном случае вы можете по ошибке предотвратить сканирование некоторых URL, сделав их контент недоступным для Googlebot.

Многое предстоит сделать

Хорошо, давайте поговорим о том, что нового и улучшенного. Для начала, помимо назначения действия сканирования для отдельного параметра, теперь вы также можете описать поведение параметра. Вы начинаете с того, что сообщаете нам, изменяет ли параметр контент страницы или нет. Если параметр не влияет на контент страницы, ваша работа завершена; Googlebot выберет URL с репрезентативным значением этого параметра и будет сканировать URL с этим значением. Поскольку параметр не изменяет контент, любое выбранное значение одинаково хорошо. Однако, если параметр действительно изменяет контент страницы, теперь вы можете назначить один из четырех возможных способов сканирования Google URL с этим параметром:

• Разрешить Googlebot решать
• Все URL
• Сканировать только URL со значением value=x
• Никаких URL

Мы также добавили возможность указывать ваше собственное конкретное значение для использования с опцией «Только URL со
value=x»; вы больше не ограничены списком значений, которые мы предоставляем. По желанию вы также можете точно указать нам, что делает параметр — сортирует ли он, разбивает ли на страницы, определяет ли контент и т. д. Последнее улучшение заключается в том, что для каждого параметра мы постараемся показать вам выборку примеров URL с вашего сайта, которые Googlebot сканировал и которые содержат этот конкретный параметр.

Из четырех перечисленных выше вариантов сканирования «Никаких URL» является новым и заслуживает особого внимания. Эта опция является наиболее ограничительной и для любого заданного URL имеет приоритет над настройками других параметров в этом URL. Это означает, что если URL содержит параметр, для которого установлена опция «Никаких URL», этот URL никогда не будет просканирован, даже если другие параметры в URL установлены на «Все URL». Вы должны быть осторожны при использовании этой опции. Второй по степени ограничения настройкой является «Только URL со value=x.”

Функция в действии

А теперь давайте сделаем что-нибудь забавное и потренируем наши мозги на примере.

Жил-был интернет-магазин fairyclothes.example.com. Веб-сайт магазина использовал параметры в своих URL, и к одному и тому же контенту можно было получить доступ через несколько URL. Однажды владелец магазина заметил, что слишком много избыточных URL могут помешать Googlebot тщательно просканировать сайт. Поэтому он отправил своего помощника CuriousQuestionAsker к The GreatWebWizard за советом по использованию функции параметров URL для уменьшения количества дублирующегося контента, сканируемого Googlebot. Великий Веб-Мастер славился своей мудростью. Он посмотрел на параметры URL и предложил конфигурацию, показанную в следующей таблице:

CuriousQuestionAsker не смог изменить своей природе и начал задавать вопросы:

CuriousQuestionAsker: Вы поручили Googlebot выбрать репрезентативный URL для trackingId (значение выбирается Googlebot). Почему бы не выбрать опцию
Только URL со value=x и не выбрать значение самостоятельно?
GreatWebWizard: Сканируя сеть, Googlebot обнаружил следующие URL, ссылающиеся на ваш сайт:

1. fairyclothes.example.com/skirts/?trackingId=aaa123
2. fairyclothes.example.com/skirts/?trackingId=aaa124
3. fairyclothes.example.com/trousers/?trackingId=aaa125

Представьте, что вы сказали Googlebot сканировать только те URL, где trackingId=aaa125. В этом случае Googlebot не стал бы сканировать URL 1 и 2, так как ни у одного из них нет значения
aaa125 для trackingId. Их контент не был бы ни просканирован, ни проиндексирован, и ни один из ваших прекрасных запасов юбок не появился бы в результатах поиска Google. Нет, в данном случае выбор репрезентативного URL — это правильный путь. Почему? Потому что это говорит Googlebot, что когда он встречает в сети два URL, которые отличаются только этим параметром (как URL 1 и 2 выше), ему нужно просканировать только один из них (подойдет любой), и он все равно получит весь контент. В примере выше будут просканированы два URL; либо 1 и 3, либо 2 и 3. Ни одна юбка или брюки не будут потеряны.

CuriousQuestionAsker: Как насчет параметра sortOrder ? Мне все равно, перечисляются ли элементы в порядке возрастания или убывания. Почему бы не позволить Google выбрать репрезентативное значение?
GreatWebWizard: По мере того как Googlebot продолжает сканирование, он может найти следующие URL:

1. fairyclothes.example.com/skirts/?page=1&sortBy=price&sortOrder=’lowToHigh’
2. fairyclothes.example.com/skirts/?page=1&sortBy=price&sortOrder=’highToLow’
3. fairyclothes.example.com/skirts/?page=2&sortBy=price&sortOrder=’lowToHigh’
4. fairyclothes.example.com/skirts/?page=2&sortBy=price&sortOrder=’ highToLow’

Обратите внимание, как первая пара URL (1 и 2) отличается только значением параметра
sortOrder , точно так же, как URL во второй паре (3 и 4). Однако URL 1 и 2 создадут разный контент: первый показывает самую дешевую из ваших юбок, а второй — самую дорогую. Это должно быть вашим первым намеком на то, что использование одного репрезентативного значения не является хорошим выбором для этой ситуации. Более того, если вы позволите Googlebot выбирать одного представителя из набора URL, которые отличаются только своим параметром sortOrder , он может каждый раз выбирать разное значение. Впримере выше из первой пары URL может быть выбран URL 1 (). В то время как
из второй пары может быть выбран URL 4 (sortOrder='highToLow'). Если бы это
произошло, Googlebot просканировал бы только самые дешевые юбки (дважды):

• fairyclothes.example.com/skirts/?page=1&sortBy=price&sortOrder=’lowToHigh’
• fairyclothes.example.com/skirts/?page=2&sortBy=price&sortOrder=’ highToLow’

Ваши самые дорогие юбки вообще не будут просканированы! При работе с параметрами сортировки
согласованность имеет ключевое значение. Всегда сортируйте одинаково.

ЛюбопытныйЗадавака: Как насчет sortBy значения?
Великий ВебМаг: Это очень похоже на sortOrder атрибут. Вы хотите, чтобы
просканированные
URL вашего листинга сортировались одинаково на всех страницах, иначе некоторые
элементы могут быть не видны Googlebot. Тем не менее, вы должны быть осторожны с выбором значения. Если
вы продаете в своем магазине как книги, так и обувь, лучше не выбирать значение
title так как URL, указывающие на обувь, никогда не содержат sortBy=title, поэтому
они не будут просканированы. Аналогично, настройка sortBy=size хорошо работает для сканирования обуви, но не для сканирования книг. Имейте в виду, что конфигурация параметров влияет
на весь сайт.

ЛюбопытныйЗадавака: Почему бы не сканировать URL с параметром filterByColor?
Великий ВебМаг: Представьте, что у вас есть список юбок из трех страниц. Некоторые юбки
синие, некоторые красные, а другие зеленые.

• fairyclothes.example.com/skirts/?page=1
• fairyclothes.example.com/skirts/?page=2
• fairyclothes.example.com/skirts/?page=3

Этот список фильтруемый. Когда пользователь выбирает цвет, он получает две страницы синих юбок:

• fairyclothes.example.com/skirts/?page=1&flterByColor=blue
• fairyclothes.example.com/skirts/?page=2&flterByColor=blue

Они выглядят как новые страницы (набор элементов отличается от всех остальных страниц), но
на самом деле
на них нет нового контента, так как все синие юбки уже были включены в исходные
три страницы. Нет необходимости сканировать URL, сужающие контент по цвету, так как контент,
раздаваемый по этим URL, уже был просканирован. Здесь важно отметить одну вещь: прежде чем
запретить сканирование некоторых URL, выбрав опцию «Нет URL», убедитесь, что Googlebot
может получить доступ к контенту другим способом. Учитывая наш пример, Googlebot должен иметь возможность
найти первые три ссылки на вашем сайте, и не должно быть настроек, препятствующих
их сканированию.

Если на вашем сайте есть
параметры URL
, которые потенциально создают проблемы с дублированием контента, вам стоит ознакомиться с новой функцией «Параметры URL» в Webmaster Tools. Дайте нам знать, что вы думаете, или если у вас есть вопросы, публикуйте их на
Форуме справки для вебмастеров.

Автор:
Камила Примке,
инженер-программист, команда Webmaster Tools