Количество страниц, сканируемых Googlebot

Пятница, 10 ноября 2006 г.

The Отчеты об активности Googlebot в Инструментах для веб-мастеров показывают количество страниц вашего сайта, которые Googlebot просканировал за последние 90 дней. Мы заметили, что некоторые из вас интересуются, почему это число может превышать общее количество страниц на ваших сайтах.
Googlebot сканирует страницы вашего сайта на основе ряда факторов, включая:

страницы, которые ему уже известны

• ссылки с других веб-страниц (в пределах вашего сайта и на других сайтах)
• страницы, указанные в вашем файле Sitemap
• Точнее говоря, Googlebot обращается не к страницам, а к URL-адресам. И к одной и той же странице часто можно получить доступ через несколько URL-адресов. Рассмотрим главную страницу сайта, к которой можно обратиться по следующим четырем URL-адресам:

https://www.example.com/

• https://www.example.com/index.html
• https://example.com
• https://example.com/index.html
• Хотя все URL-адреса ведут на одну и ту же страницу, все четыре URL-адреса могут использоваться в ссылках на страницу. Когда Googlebot переходит по этим ссылкам, к отчету об активности добавляется четыре единицы.

Многие другие сценарии могут привести к появлению нескольких URL-адресов для одной и той же страницы. Например, страница может иметь несколько именованных якорей, таких как:

https://www.example.com/mypage.html#heading1

• https://www.example.com/mypage.html#heading2
• https://www.example.com/mypage.html#heading3
• А динамически сгенерированные страницы часто доступны по нескольким URL-адресам, например:

https://www.example.com/furniture?type=chair&brand=123

• https://www.example.com/hotbuys?type=chair&brand=123
• Как видите, учитывая, что каждая страница вашего сайта может иметь несколько ведущих к ней URL-адресов, количество URL-адресов, сканируемых Googlebot, может значительно превышать общее количество страниц вашего сайта.

Конечно, вы (и мы) хотите, чтобы в результатах поиска возвращалась только одна версия URL-адреса. Не беспокойтесь — именно это и происходит. Наши алгоритмы выбирают версию для включения, и вы можете повлиять на этот процесс выбора.

Перенаправление на предпочтительную версию URL

Вы можете сделать это, используя

301 (постоянное)
перенаправление . В первом примере, где показаны четыре URL-адреса, указывающие на главную страницу сайта, вы можете перенаправить index.html на www.example.com/. И вы можете перенаправить example.com на www.example.com, чтобы любые URL-адреса, начинающиеся с одной версии, перенаправлялись на другую версию. Обратите внимание, что последнее перенаправление можно сделать с помощьюфункции «Предпочтительный домен»
в инструментах для веб-мастеров. (Если вы также используете перенаправление, убедитесь, что оно совпадает с тем, что вы установили для предпочитаемого домена.) 301 Блокировка непредпочтительных версий URL с помощью файла robots.txt

Для динамически сгенерированных страниц вы можете заблокировать непредпочтительную версию с помощью

pattern matching
в вашем файле robots.txt. (Обратите внимание, что не все поисковые системы поддерживают pattern matching, поэтому ознакомьтесь с рекомендациями для каждого интересующего вас бота поисковой системы.) Например, в третьем примере, показывающем два URL-адреса, указывающих на страницу со стульями марки 123, раздел “hotbuys” периодически меняется, а контент всегда доступен из основного и постоянного места. В этом случае вы можете проиндексировать первую версию и заблокировать версию
“hotbuys”. Для этого добавьте следующее в свой файл robots.txt:Чтобы убедиться, что это правило действительно блокирует и разрешает то, что вы задумали, используйте инструмент анализа robots.txt в Инструментах для веб-мастеров. Просто добавьте это правило в раздел robots.txt на этой странице, перечислите URL-адреса, которые вы хотите проверить, в разделе “Test URLs” и нажмите кнопку Проверить. Для этого примера вы увидите примерно следующий результат:

Не беспокойтесь о ссылках на якоря, потому что, хотя Googlebot будет сканировать каждую ссылку, наши алгоритмы проиндексируют URL-адрес без якоря.

И если вы не предоставите данные, подобные описанным выше, наши алгоритмы отлично справятся с выбором версии для отображения в результатах поиска.

Количество страниц, сканируемых Googlebot | Alien Road