Устранение сетевых ошибок и ошибок DNS для поисковых роботов Google.

Сетевые ошибки и ошибки DNS быстро и негативно влияют на способность Google успешно сканировать URL. Google обрабатывает тайм-ауты сети, сброс соединения и ошибки DNS так же, как и серверные ошибки 5xx. В случае сетевых ошибок сканирование немедленно замедляется, так как сетевая ошибка — это признак того, что сервер может не справляться с нагрузкой. Поскольку Google не смог связаться с сервером, на котором размещен сайт, Google также не получил никакого контента с сервера.

Для Google Search отсутствие контента означает, что Google не может индексировать просканированные URL, а уже проиндексированные URL, которые стали недоступны, будут удалены из индекса Google в течение нескольких дней. Search Console может генерировать отчеты об ошибках для каждого конкретного случая.

Отладка сетевых ошибок

Эти ошибки возникают до того, как Google начинает сканирование URL, или во время него. Поскольку ошибки могут возникнуть до того, как сервер успеет ответить, и нет кода состояния, который мог бы указать на проблему, диагностика таких ошибок может быть более сложной. Для отладки ошибок тайм-аута и сброса соединения:

• Проверьте настройки и логи вашего брандмауэра (firewall). Возможно, установлены слишком строгие правила блокировки. Убедитесь, что IP-адреса Google не заблокированы никакими правилами брандмауэра.
• Проверьте сетевой трафик. Используйте такие инструменты, как tcpdump и Wireshark, для захвата и анализа TCP-пакетов, а также для поиска аномалий, указывающих на конкретный сетевой компонент или модуль сервера.
• Если вы не нашли ничего подозрительного, свяжитесь с вашей хостинг-компанией.

Ошибка может быть в любом компоненте сервера, который обрабатывает сетевой трафик. Например, перегруженные сетевые интерфейсы могут отбрасывать пакеты, что приводит к тайм-аутам (невозможности установить соединение) и сбросу соединений (пакет RST отправляется из-за ошибочно закрытого порта).

Отладка ошибок DNS

Ошибки DNS чаще всего вызваны неправильной конфигурацией, но они также могут быть вызваны правилом брандмауэра, блокирующим DNS-запросы Google. Для отладки ошибок DNS выполните следующие действия:

• Проверьте правила брандмауэра. Убедитесь, что ни один из IP-адресов Google не заблокирован правилами брандмауэра и что разрешены запросы как UDP, так и TCP.
• Проверьте свои DNS-записи. Еще раз убедитесь, что ваши записи A и CNAME указывают на правильные IP-адреса и имена хостов соответственно. Например:
• Убедитесь, что все ваши серверы имен указывают на правильные IP-адреса вашего сайта. Например:
• Если вы вносили изменения в конфигурацию DNS в течение последних 72 часов, возможно, вам нужно дождаться распространения изменений по глобальной сети DNS. Чтобы ускорить этот процесс, вы можете очистить кэш Google Public DNS.
• Если вы используете собственный DNS-сервер, убедитесь, что он исправен и не перегружен.