Вы можете найти страницы без HTTPS, проиндексированные в Google, используя оператор site: в сочетании с командой -inurl:https. Введя ‘site:yourdomain.com -inurl:https’ в строку поиска, вы даете указание поисковой системе отображать только те страницы на вашем домене, в URL которых отсутствует безопасный протокол. Этот прямой метод помогает вам провести аудит конфигурации безопасности вашего сайта без необходимости использования стороннего программного обеспечения для сканирования.
Идентификация этих страниц — первый шаг к защите ваших посетителей от предупреждений о смешанном контенте. Когда браузер загружает страницу HTTPS, но подтягивает ресурсы, такие как изображения или скрипты, из источника HTTP, это вызывает предупреждение безопасности. Использование поисковых команд Google позволяет вам видеть именно то, что видит поисковая система, предоставляя четкий список URL, требующих немедленного внимания.
Почему Google индексирует страницы без HTTPS?
Google индексирует страницы без HTTPS, когда конфигурация вашего сервера не перенаправляет небезопасные запросы на их безопасные аналоги. Даже если у вас установлен SSL-сертификат, неправильные правила на стороне сервера или несогласованные внутренние ссылки могут привести к тому, что обе версии страницы будут существовать в индексе. Поисковые системы рассматривают их как отдельные сущности, если вы явно не определите канонический источник.
В типичной настройке сервера ошибки конфигурации часто возникают из-за устаревших файлов. Если ваш сайт развивался в течение нескольких лет, у вас могут быть старые папки или подкаталоги, которые никогда не были настроены на принудительное использование SSL. Эти страницы остаются доступными через порт 80, и поскольку они доступны, поисковый бот Google продолжает проверять их как действительный контент, сохраняя их в индексе вместе с их безопасными альтернативами.
Еще одна причина такого поведения — наличие жестко закодированных ссылок. Если ваша внутренняя структура ссылок указывает на ‘http://example.com’ вместо относительного пути или версии ‘https’, боты будут следовать по этим путям и индексировать их соответствующим образом. Даже при наличии перенаправления 301 исходная версия HTTP может сохраняться в результатах поиска до тех пор, пока бот не переобработает всю структуру сайта.
Как провести аудит с помощью поисковых операторов
Чтобы идентифицировать эти страницы, вам следует принять систематический подход к запросу вашего собственного сайта. Начните с изоляции потенциально небезопасных URL, а затем вручную проверьте их коды состояния. Цель состоит в том, чтобы очистить ваш индекс от этих записей, чтобы гарантировать, что пользователи всегда получают зашифрованный контент, и поддерживать целостность профиля безопасности вашего сайта.
- Используйте ‘site:yourdomain.com -inurl:https’ в строке поиска Google, чтобы перечислить все страницы, проиндексированные в настоящее время без безопасного протокола.
- Используйте ‘site:yourdomain.com inurl:http’, чтобы найти конкретные вхождения HTTP, которые могут вызывать проблемы со смешанным контентом.
- Проверьте свой файл robots.txt, чтобы убедиться, что вы случайно не блокируете сканирование версий HTTPS.
- Убедитесь, что ваша конфигурация .htaccess или Nginx содержит постоянное перенаправление 301 для всего входящего трафика HTTP.
При проведении этого аудита будьте готовы исследовать также свои поддомены. Часто основной сайт безопасен, но забытая тестовая среда или устаревший поддомен блога на другом сервере могут все еще предоставлять контент через HTTP. Используйте команду ‘site:subdomain.yourdomain.com -inurl:https’ для проверки этих областей в частности.
Как Alien Road применяет этот процесс
В Alien Road мы рассматриваем аудиты безопасности как основу каждого технического взаимодействия. Когда мы берем клиента, мы проводим ручную проверку поискового индекса перед началом более масштабных технических аудитов. Мы ищем расхождения между предполагаемой структурой сайта и тем, что Google фактически отображает на страницах результатов, гарантируя, что никакие устаревшие небезопасные страницы не снижают авторитет сайта.
Внедряя ограничения близости, поисковые профессионалы получают возможность исследовать, насколько близко связанные концепции располагаются внутри тела статьи или структуры заголовков.
Google Search Central
Например, во время недавнего аудита для розничного клиента мы обнаружили, что их CDN изображений все еще использовал конечные точки HTTP для старых галерей продуктов. Используя поисковые операторы, мы определили, что десятки этих страниц галерей были проиндексированы как небезопасные. Мы предоставили клиенту прямой список этих URL, что позволило их разработчикам обновить ссылки и применить глобальное правило перенаправления, которое устранило ошибки смешанного контента в течение двух недель после следующего цикла сканирования.
Каковы риски игнорирования смешанного контента?
Игнорирование смешанного контента приводит к предупреждениям браузера, которые отговаривают посетителей от взаимодействия с вашим сайтом. Браузеры, такие как Chrome, помечают страницы HTTP как ‘Не защищено’, что может привести к более высоким показателям отказов. Кроме того, поисковые системы предпочитают HTTPS в качестве сигнала ранжирования, поэтому поддержание безопасного индекса является требованием для современной производительности.
- Снижение доверия пользователей из-за постоянных предупреждений безопасности браузера.
- Потеря данных о рефералах, когда пользователи переходят с сайтов HTTPS на ваши страницы HTTP.
- Непоследовательная производительность в показателях поискового ранжирования, вызванная сигналами дублирующегося контента.
- Повышенная уязвимость к межсайтовому скриптингу или перехвату данных на незашифрованных страницах.
Эти проблемы — не просто теория. Если пользователь попадает на страницу HTTP, которая должна быть безопасной, он может увидеть предупреждение ‘Соединение не защищено’. Это немедленный сдерживающий фактор, который заставляет большинство пользователей немедленно покинуть сайт. Регулярно выполняя поиск этих страниц, вы предотвращаете влияние этого негативного пользовательского опыта на репутацию вашего бренда.
С чего начать на этой неделе
Начните свой аудит на этой неделе с запуска поисковой команды ‘site:’ для вашего домена. Создайте список каждого URL HTTP, который появляется в результатах. Как только у вас будет этот список, обновите настройки вашего сервера, чтобы перенаправить эти конкретные пути на HTTPS. Если у вас большой сайт, сосредоточьтесь сначала на ваших самых эффективных страницах, чтобы убедиться, что ваш самый важный контент немедленно защищен.
После внедрения перенаправлений проверьте изменения, нажав на старые ссылки HTTP. Если ваш сервер настроен правильно, вы должны быть автоматически перенаправлены на версию HTTPS. Ведите журнал своих находок и повторно запустите поисковый оператор через семь дней, чтобы подтвердить, что Google начал удалять небезопасные версии из своего индекса.