Вторник, 5 августа 2008 г.
Когда Googlebot сканирует веб, он часто обнаруживает то, что мы называем «бесконечным пространством». Это очень большое количество ссылок, которые обычно содержат мало нового контента или не содержат его вовсе для индексации Googlebot. Если это происходит на вашем сайте, сканирование таких URL может тратить ненужную пропускную способность и привести к тому, что Googlebot не сможет полностью проиндексировать реальный контент на вашем сайте.
Недавно мы начали уведомлять владельцев сайтов, когда обнаруживаем эту проблему на их веб-ресурсах. Как и большинство отправляемых нами сообщений, вы найдете их в
Инструментах для веб-мастеров
в Центре сообщений. Вероятно, вы захотите сразу узнать, есть ли у Googlebot эта или другие проблемы при сканировании ваших сайтов. Поэтому подтвердите права на свой сайт в Инструментах для веб-мастеров и время от времени проверяйте Центр сообщений.
Примеры бесконечного пространства
Классический пример «бесконечного пространства» — календарь со ссылкой «Следующий месяц». По этим ссылкам «Следующий месяц» можно переходить бесконечно! Разумеется, вы не хотите, чтобы Googlebot делал именно это. Googlebot достаточно разумен, чтобы самостоятельно распознать некоторые из них, но существует множество способов создать бесконечное пространство, и мы можем обнаружить не все из них.
Другой распространенный сценарий — веб-сайты, которые предоставляют возможность фильтровать набор результатов поиска множеством способов. Сайт интернет-магазина может позволять находить элементы одежды путем фильтрации по категории, цене, цвету, бренду, стилю и т. д. Количество возможных комбинаций фильтров может расти экспоненциально. Это может порождать тысячи URL-адресов, каждый из которых находит определенное подмножество продаваемых товаров. Это может быть удобно для ваших пользователей, но не так полезно для Googlebot, который просто хочет найти все&mdashl;и сразу!
Устранение проблем с бесконечным пространством
Наша
справочная статья по Инструментам для веб-мастеров
описывает другие способы возникновения бесконечных пространств и дает рекомендации по предотвращению этой проблемы. Одно из решений — исключить целые категории динамически сгенерированных ссылок с помощью файла robots.txt.
Справочный центр содержит много информации о том, как использовать robots.txt.
Если вы сделаете это,
не забудьте убедиться, что Googlebot может найти весь ваш контент
каким-либо другим способом. Другой вариант — заблокировать эти проблемные ссылки с помощью атрибута ссылки nofollow
. Если вам нужна
дополнительная информация о nofollow ссылках, ознакомьтесь со Справочным центром для веб-мастеров.
Как мы это применяем
We archive Search Central announcements because client questions often trace back to a change that was announced years ago. Reading the original is faster than reconstructing it from second-hand summaries.
Связанные услуги