Управление сканированием URL-адресов с фасетной навигацией

Фасетная навигация — это распространенная функция веб-сайтов, которая позволяет посетителям изменять способ отображения элементов (например, товаров, статей или событий) на странице. Это популярная и полезная функция, однако ее наиболее распространенная реализация, основанная на параметрах URL, может создавать бесконечные пространства URL, что вредит веб-сайту несколькими способами:

• Чрезмерное сканирование: Поскольку URL-адреса, созданные для фасетной навигации, кажутся новыми, а поисковые роботы не могут определить, будут ли URL-адреса полезными, не просканировав их предварительно, роботы обычно обращаются к очень большому количеству URL-адресов фасетной навигации, прежде чем процессы роботов определят, что URL-адреса на самом деле бесполезны.
• Более медленное сканирование для обнаружения: Исходя из предыдущего пункта, если сканирование тратится на бесполезные URL-адреса, у роботов остается меньше времени на новые, полезные URL-адреса.

Типичный URL-адрес фасетной навигации может содержать различные параметры в строке запроса, относящиеся к свойствам элементов, по которым они фильтруют. Например:

Изменение любого из параметров URL продукты, цвет, и
размер покажет другой набор элементов на базовой странице. Это часто означает очень большое количество возможных комбинаций фильтров, что приводит к очень большому количеству возможных URL-адресов. Чтобы сэкономить ресурсы, мы рекомендуем обрабатывать эти URL-адреса одним из следующих способов:

• Если вам не нужно, чтобы URL-адреса фасетной навигации индексировались, предотвратите сканирование этих URL-адресов.
• Если вам нужно, чтобы URL-адреса фасетной навигации потенциально индексировались, убедитесь, что URL-адреса соответствуют нашим лучшим практикам, изложенным в следующем разделе. Имейте в виду, что сканирование фасетных URL-адресов, как правило, требует от сайтов больших вычислительных ресурсов из-за огромного количества URL-адресов и операций, необходимых для рендеринга этих страниц.

Предотвращение сканирования URL-адресов фасетной навигации

Если вы хотите сэкономить ресурсы сервера и вам не нужно, чтобы ваши URL-адреса фасетной навигации отображались в Google Поиске или других продуктах Google, вы можете предотвратить сканирование этих URL-адресов одним из следующих способов.

• Используйте robots.txt чтобы запретить сканирование URL-адресов фасетной навигации. Зачастую нет веских причин разрешать сканирование отфильтрованных элементов, так как это потребляет ресурсы сервера без какой-либо или с незначительной пользой; вместо этого разрешите сканирование только страниц отдельных элементов вместе со специальной страницей листинга, которая показывает все продукты без примененных фильтров.

  
• Используйте фрагменты URL для указания фильтров.

  Если ваш механизм фильтрации основан на фрагментах URL, это не окажет никакого влияния на сканирование (положительного или отрицательного). Например, вместо параметров URL используйте фрагменты URL:

Другие способы сигнализировать о предпочтении того, какие URL-адреса фасетной навигации (не) сканировать, — это использование
rel="canonical" ссылка элемента и rel="nofollow" атрибута якоря. Однако эти методы, как правило, менее эффективны в долгосрочной перспективе, чем вышеупомянутые методы.

• Использование rel="canonical"
  чтобы указать, какой URL является канонической версией URL-адреса фасетной навигации
  может со временем уменьшить объем сканирования неканонических версий этих URL-адресов. Например, если у вас есть 3 типа отфильтрованных страниц, рассмотрите возможность указания rel="canonical" на неотфильтрованную версию:
  https://example.com/items.shtm?products=fish&color=radioactive_green&size=tiny
  указывает <link rel="canonical" href="https://example.com/items.shtm?products=fish" >.
• Использование
  rel="nofollow"
  атрибутов на якорях, указывающих на страницы отфильтрованных результатов
  может быть полезным, однако имейте в виду, что каждый якорь, указывающий на конкретный URL, должен иметь rel="nofollow" атрибут, чтобы он был эффективным.

Убедитесь, что URL-адреса фасетной навигации оптимальны для веба

Если вам нужно, чтобы ваши URL-адреса фасетной навигации потенциально сканировались и индексировались, убедитесь, что вы следуете этим лучшим практикам, чтобы минимизировать негативные последствия сканирования большого количества потенциальных URL-адресов на вашем сайте:

1. Используйте стандартный для отрасли разделитель параметров URL ‘&‘. Такие символы, как запятая (“,”), точка с запятой (“;”) и скобки (“(” и “)”), трудно обнаружить роботам в качестве разделителей параметров (потому что чаще всего они не являются разделителями).,Если вы кодируете фильтры в пути URL, например;/products/[ fish
   ]green
2. tiny
   , убедитесь, что логический порядок фильтров всегда остается прежним и что не могут существовать дублирующиеся фильтры.Возвращайте HTTP/код состояния, когда комбинация фильтров не возвращает результатов./Если в инвентаре сайта нет зеленых рыб, пользователи, а также роботы должны получать ошибку "не найдено" с соответствующим кодом состояния HTTP (). Это также должно быть в случае, если URL содержит дублирующиеся фильтры или иные бессмысленные комбинации фильтров, а также несуществующие URL-адреса пагинации. Аналогично, если комбинация фильтров не дает результатов, не перенаправляйте на общую страницу ошибки “не найдено”. Вместо этого выдайте ошибку “не найдено” с
3. кодом состояния HTTP под URL, где она была встречена. 404 Если
   у вас одностраничное приложение404это может быть невозможно. Следуйте лучшим практикам для одностраничных приложений. 404
   Управление сканированием URL-адресов с фасетной навигацией | Alien Road