Вторник, 6 декабря 2011 г.
Некоторые вебмастера на наших форумах задают вопросы о проблемах, связанных с хостингом и влияющих на их сайты. Чтобы помочь хостинг-провайдерам и вебмастерам распознавать, диагностировать и устранять подобные проблемы, мы хотели бы поделиться с вами некоторыми распространенными проблемами, с которыми мы сталкивались, и предложить способы их решения.
Блокировка сканирования Googlebot. Это очень распространенная проблема, которая обычно возникает из-за неправильной конфигурации брандмауэра или системы защиты от DoS-атак, а иногда из-за системы управления контентом, на которой работает сайт. Системы защиты являются важной частью хорошего хостинга и часто настраиваются на блокировку необычно высокого уровня запросов к серверу, иногда автоматически.
Однако, поскольку Googlebot часто выполняет больше запросов, чем обычный пользователь, эти системы защиты могут решить заблокировать Googlebot и помешать ему сканировать ваш сайт. Чтобы проверить наличие такой проблемы, используйте
функцию «Просмотреть как Googlebot»
в Инструментах для вебмастеров и проверьте другие
ошибки сканирования
, отображаемые в Инструментах для вебмастеров.Мы предлагаем несколько инструментов вебмастерам и хостинг-провайдерам, которые хотят получить больше контроля над сканированием Googlebot и повысить его эффективность:
- У нас есть подробная справка о том, как управлять сканированием Googlebot с помощью
протокола исключения роботов и
настройки параметров URL. - . Если вы беспокоитесь о том, что недобросовестные боты используют агент пользователя Googlebot, мы предлагаем способ
проверить, является ли краулер на самом деле Googlebot. - . Если вы хотите изменить интенсивность сканирования вашего сайта ботом Googlebot, вы можете подтвердить свой сайт в Инструментах для вебмастеров и
изменить скорость сканирования Googlebot.
Хостинг-провайдеры также могут подтвердить право собственности на свои IP-адреса. - Дополнительную информацию можно найти в нашем
разделе часто задаваемых вопросов о сканировании и индексировании. - Проблемы с доступностью. Схожий тип проблем, с которыми мы сталкиваемся — это недоступность сайтов при попытке Googlebot (и пользователей) получить к ним доступ. Сюда относятся проблемы с DNS, перегруженные серверы, приводящие к тайм-аутам и отклоненным соединениям, неправильно настроенные сети доставки контента (CDN) и множество других ошибок. Когда Googlebot сталкивается с такими проблемами, мы сообщаем о них в Инструментах для вебмастеров как об
ошибках недоступности URL
или
ошибках сканирования. - Недействительные SSL-сертификаты. Чтобы SSL-сертификаты были действительны для вашего сайта, они должны соответствовать названию сайта. Распространенные проблемы включают в себя истекшие SSL-сертификаты и серверы с неправильной конфигурацией, при которой все сайты на этом сервере используют один и тот же сертификат. Большинство веб-браузеров пытаются предупредить пользователей в таких ситуациях, а Google пытается предупредить вебмастеров об этой проблеме, отправляя сообщение через Инструменты для вебмастеров. Решение этих проблем заключается в том, чтобы использовать SSL-сертификаты, действительные для всех доменов и поддоменов вашего сайта, с которыми будут взаимодействовать ваши пользователи.
Wildcard DNS. Сайты можно настроить так, чтобы они отвечали на все запросы поддоменов. Например, сайт на example.com может быть настроен на ответы на запросы к foo.example.com, made-up-name.example.com и всем остальным поддоменам.
В некоторых случаях это желательно; например, сайт с пользовательским контентом может предпочесть выделить каждой учетной записи собственный поддомен. Однако иногда вебмастер может не хотеть такого поведения, так как это может привести к ненужному дублированию контента на разных хостах, а также может повлиять на сканирование Googlebot.
Чтобы свести к минимуму проблемы при настройках Wildcard DNS, либо настройте свой сайт так, чтобы он не использовал их, либо настройте сервер так, чтобы он не отвечал успешно на несуществующие имена хостов, либо отклоняя соединение, либо возвращая
404HTTP-заголовок.- Неправильная настройка виртуального хостинга. Симптомом этой проблемы является то, что несколько хостов и/или доменных имен, размещенных на одном сервере, всегда возвращают содержимое только одного сайта. Иными словами, хотя на сервере размещено несколько сайтов, он возвращает только один сайт независимо от того, что запрашивается. Чтобы диагностировать проблему, вам нужно проверить, правильно ли сервер отвечает на
HTTP-заголовокHost - Дублирование контента через хостинг-специфичные URL. Многие хостинги любезно предоставляют URL-адреса для вашего сайта в целях тестирования/разработки. Например, если вы размещаете сайт https://a.com/ у хостинг-провайдера example.com, хост может предоставить доступ к вашему сайту через URL-адрес вроде https://a.example.com/ или https://example.com/~a/. Мы рекомендуем сделать эти хостинг-специфичные URL-адреса недоступными для общественности (защитив их паролем); и даже если эти URL-адреса доступны, наши алгоритмы обычно выбирают тот URL-адрес, который задумывали вебмастера. Если наши алгоритмы
выбирают хостинг-специфичные URL, вы можете повлиять на наши алгоритмы, чтобы они выбрали предпочитаемые вами URL, правильно внедрив
методы канонизации
. Страницы мягкой ошибки (Soft 404). Некоторые хостинг-провайдеры показывают страницы ошибок, используя
200код состояния HTTP (что означает «Успех») вместо кода состояния ошибки HTTP. Например, страница ошибки «Страница не найдена» может возвращать HTTP200вместо
404, превращая ее в страницу
soft 404; или сообщение «Веб-сайт временно недоступен» может возвращатьвместо корректного возврата200кода состояния HTTP. Мы прилагаем большие усилия для обнаружения мягких ошибок, но когда нашим алгоритмам не удается обнаружить мягкие ошибки хостинга, такие страницы могут индексироваться вместе с содержимым ошибки. Это может вызвать проблемы с ранжированием или503междудоменным выбором URL
.
Проверить возвращаемый код состояния очень просто: просто проверьте HTTP-заголовки, возвращаемые сервером, с помощью любого из множества инструментов, таких какПросмотреть как Googlebot
. Если страница ошибки возвращает HTTP, измените конфигурацию так, чтобы она возвращала правильный код состояния ошибки HTTP. Также следите за отчетами о200soft 404в Инструментах для вебмастеров на странице «Ошибки сканирования» в разделе «Диагностика».Модификация контента и фреймы. Вебмастера могут быть удивлены, обнаружив, что содержимое их страниц изменено хостинг-провайдерами, обычно путем внедрения скриптов или изображений на страницу. Веб-хостинги также могут предоставлять ваш контент, встраивая его на другие страницы с помощьюHTML-элементов
frameилиiframe. Чтобы проверить, изменяет ли веб-хостинг ваш контент неожиданным образом, просто проверьте исходный код страницы, предоставляемой хостом, и сравните его с загруженным вами кодом.Обратите внимание, что некоторые изменения кода на стороне сервера могут быть очень полезны. Например, сервер, использующий
модуль Apachemod_pagespeed
от Google или другие инструменты, может возвращать ваш код в минифицированном виде для оптимизации скорости страницы.- Спам и вредоносное ПО. Мы заметили, что некоторые веб-хостинги и службы массовых поддоменов становятся основными источниками вредоносного ПО и спама. Мы стараемся действовать детально при защите наших пользователей и качества поиска, но если мы видим, что очень большая доля сайтов на определенном веб-хостинге является спамом или распространяет вредоносное ПО, мы можем быть вынуждены принять меры против веб-хостинга в целом. Чтобы помочь вам следить за вредоносным ПО, мы предлагаем:
- Предупреждения о безопасном просмотре для сетевых администраторов, полезно для хостинг-провайдеров
- Уведомления о вредоносном ПО
в Инструментах для вебмастеров для отдельных сайтов - A Safe Browsing API для разработчиков
Мы надеемся, что этот список поможет хостинг-провайдерам и веб-мастерам диагностировать и устранять эти проблемы. Помимо этого списка, также подумайте о качественных аспектах хостинга, таких как качество обслуживания и отзывчивость поддержки. Как всегда, если у вас есть вопросы или нужна дополнительная помощь, пожалуйста, обращайтесь на наш
Справочный форум для веб-мастеров.
Как мы это применяем
We archive Search Central announcements because client questions often trace back to a change that was announced years ago. Reading the original is faster than reconstructing it from second-hand summaries.
Связанные услуги