Если на вашем сайте есть страницы, адаптированные под локаль (то есть ваш сайт возвращает разный контент в зависимости от предполагаемой страны или предпочитаемого языка посетителя), Google может не сканировать, не индексировать или не ранжировать весь ваш контент для разных локалей. Это происходит потому, что IP-адреса краулера Googlebot по умолчанию находятся в США. Кроме того, краулер отправляет HTTP-запросы без указания Accept-Language в заголовке запроса.
Googlebot сканирует сайт с IP-адресов за пределами США в дополнение к IP-адресам из США.
Как мы всегда рекомендули, если Googlebot выглядит так, будто он заходит из определенной страны, относитесь к нему так же, как к любому другому пользователю из этой страны. Это означает, что если вы блокируете пользователям из США доступ к вашему контенту, но разрешаете его просмотр посетителям из Австралии, ваш сервер должен заблокировать Googlebot, если он поступает из США, но разрешить доступ Googlebot, если он поступает из Австралии.
Другие соображения
Googlebot использует одну и ту же строку пользовательского агента для всех конфигураций сканирования. Узнайте больше о
- строках пользовательского агента, используемых краулерами Google Вы можете.
- проверить географически распределенное сканирование Googlebot с помощью обратного поиска DNS. Если ваш сайт использует
- протокол исключения роботов , убедитесь, что применяете его одинаково для всех локалей. Это означает, чтотеги мета-тегов
robotsи
файл robots.txt должны задавать одни и те же правила в каждой локали. Как Google сканирует страницы, адаптированные под локаль | Alien Road
Как мы это применяем
Locale-adaptive serving is fragile because Googlebot crawls from a limited set of locations. Where a client insists on it, we make sure the fallback experience is the one Google sees, and we prefer separate URLs whenever the business can accept them.
Связанные услуги