Устранение сетевых ошибок и ошибок DNS для поисковых роботов Google

Сетевые ошибки и ошибки DNS быстро и негативно влияют на способность Google успешно сканировать URL-адрес. Google обрабатывает тайм-ауты сети, сбросы соединений и ошибки DNS аналогично
5xx ошибкам сервера. В случае сетевых ошибок сканирование немедленно замедляется, так как сетевая ошибка является признаком того, что сервер может не справляться с нагрузкой. Поскольку Google не смог связаться с сервером, на котором размещен сайт, Google также не получил никакого контента с сервера.

Для Google Поиска отсутствие контента означает, что Google не может индексировать просканированные URL-адреса, а уже проиндексированные URL-адреса, которые стали недоступны, будут удалены из индекса Google в течение нескольких дней. Search Console может генерировать уведомления для каждой соответствующей ошибки.

Устранение сетевых ошибок

Эти ошибки возникают до того, как Google начинает сканирование URL-адреса, или во время сканирования. Поскольку ошибки могут возникнуть до того, как сервер успеет ответить, и нет кода состояния, который мог бы указывать на проблемы, диагностика этих ошибок может быть более сложной. Чтобы устранить ошибки тайм-аута и сброса соединения:

• Проверьте настройки и журналы вашего брандмауэра. Возможно, установлена слишком широкая блокирующая правило. Убедитесь, что
  IP-адреса Google
  не заблокированы никаким правилом брандмауэра.
• Следите за сетевым трафиком. Используйте такие инструменты, как
  tcpdump и
  Wireshark для захвата и анализа TCP-пакетов, и ищите аномалии, указывающие на конкретный сетевой компонент или модуль сервера.
• Если вы не можете найти ничего подозрительного, свяжитесь со своей хостинговой компанией.

Ошибка может быть в любом компоненте сервера, который обрабатывает сетевой трафик. Например, перегруженные сетевые интерфейсы могут отбрасывать пакеты, что приводит к тайм-аутам (невозможность установить соединение) и сбросам соединений (RST пакет отправлен, потому что порт был ошибочно закрыт).

Устранение ошибок DNS

Ошибки DNS чаще всего вызваны неправильной конфигурацией, но они также могут быть вызваны правилом брандмауэра, которое блокирует DNS-запросы Google. Чтобы устранить ошибки DNS, выполните следующие действия:

• Проверьте правила вашего брандмауэра. Убедитесь, что
  ни один из IP-адресов Google
  не заблокирован никаким правилом брандмауэра, и что разрешены как UDP так и TCP
  запросы.
• Проверьте свои DNS-записи. Дважды проверьте, что ваши A и
  CNAME записи указывают на правильные IP-адреса и имя хоста соответственно. Например:
• Проверьте, что все ваши серверы имен указывают на правильные IP-адреса вашего сайта. Например:
• Если вы внесли изменения в конфигурацию DNS за последние 72 часа, вам, возможно, придется подождать, пока ваши изменения распространятся по глобальной сети DNS. Чтобы ускорить распространение, вы можете
  очистить кэш общедоступного DNS Google.
• Если вы используете свой собственный DNS-сервер, убедитесь, что он исправен и не перегружен.