Анализ логов Googlebot включает в себя просмотр логов запросов сервера, чтобы точно увидеть, к каким файлам и когда обращался сканер. Потерянными страницами являются те, которые существуют на вашем сервере, но не имеют внутренних ссылок из других частей вашего веб-сайта. Сравнивая список известных URL с фактической активностью, записанной в логах вашего сервера, вы можете определить страницы, которые Googlebot обнаружил, но которые вы, возможно, забыли включить в основную структуру вашего сайта.
Поиск этих скрытых страниц имеет жизненно важное значение для поддержания здорового краулингового бюджета. Когда Googlebot тратит время на потерянный контент, он может пренебречь вашими высокоприоритетными страницами. В этой статье объясняется, как выявить эти шаблоны и исправить структурные проблемы для повышения вашей видимости в поиске.
Почему анализ логов googlebot необходим для SEO?
Поисковые системы обнаруживают новый контент в основном по переходам по ссылкам. Если на странице нет внутренних ссылок, она становится невидимой для сканера, если только она не появляется в карте сайта или на нее не ссылаются из внешнего источника. Анализ логов помогает понять эффективность процесса сканирования и гарантирует, что ваши основные страницы получат заслуженное внимание.
Многие сайты страдают от «раздувания сканирования», когда Googlebot тратит время на старые служебные страницы или заброшенные области промежуточного тестирования. Изучая данные логов, вы можете увидеть, не застревает ли сканер в этих тупиках. Этот анализ показывает разницу между вашей предполагаемой архитектурой и тем, с чем поисковая система действительно сталкивается при обходе ваших файлов.
В типичном аккаунте мы часто видим, что 15% общего краулингового бюджета тратится на страницы, которые не приносят никакой пользы пользователю. Это происходит потому, что эти страницы были проиндексированы много лет назад и до сих пор существуют в базе данных Google, несмотря на отсутствие актуальных внутренних ссылок. Анализ логов предоставляет доказательства, необходимые для эффективной очистки этих зон.
Как определить потерянную страницу в своих логах?
Потерянная страница появляется в ваших логах с кодом состояния 200, указывающим на то к ней был осуществлен доступ, но при этом она отсутствует в вашем списке URL внутренних страниц. Вы должны выполнить эту проверку, используя следующие шаги, чтобы убедиться, что вы охватили все возможные пробелы в своей стратегии внутренней перелинковки.
- Экспортируйте логи доступа к вашему серверу за определенный период времени, например, за последние 30 дней.
- Отфильтруйте логи, чтобы выделить запросы, поступающие именно от пользовательского агента Googlebot.
- Составьте исчерпывающий список всех URL из вашей текущей XML-карты сайта и данных внутреннего сканирования.
- Используйте электронную таблицу или инструмент сравнения, чтобы определить запрошенные URL, которых нет в вашем экспорте внутреннего аудита.
- Проверьте, следует ли перенаправить, удалить эти потерянные страницы или связать их с вашей основной навигацией.
Требуется постоянный мониторинг, так как новые потерянные страницы могут появляться после миграции сайта или обновлений CMS. Когда вы автоматизируете процесс сравнения, вы превращаете реактивную задачу по очистке в проактивный график обслуживания. Это гарантирует, что ваш сайт останется чистым, а Googlebot потратит свое время на ваш самый свежий и высококачественный контент.
Как Googlebot обращается к вашему сайту?
Для большинства сайтов Googlebot в среднем не должен обращаться к вашему сайту чаще, чем раз в несколько секунд.
Google Search Central
Понимание того, как ведет себя сканер, имеет решающее значение. Если вы заметили высокую частоту обращений к страницам, которые вы планировали сделать приватными или без ссылок, анализ логов покажет, что Googlebot находит эти пути через вторичные источники, такие как старые карты сайта или внешние обратные ссылки. Это объясняет, почему потерянная страница все еще может получать визиты.
Googlebot использует различные пользовательские агенты, такие как Смартфон и Десктоп, для получения вашего контента. При изучении логов полезно агрегировать оба типа, чтобы увидеть полную картину охвата сайта. Если вы видите большой объем запросов для определенной папки, проверьте, содержит ли эта папка устаревшие файлы, которые должны были быть заблокированы через robots.txt.
Как Alien Road применяет этот подход
В Alien Road мы интегрируем анализ логов в наш стандартный процесс технического аудита. Мы не полагаемся на автоматические догадки; мы смотрим на «сырые» данные, генерируемые вашим сервером. Во время типичного проекта мы проверяем распределение краулингового бюджета по разделам вашего сайта, чтобы убедиться, что ваши основные активы имеют приоритет.
- Составление карты точной частоты сканирования высокодоходных страниц по сравнению с низкоценными служебными страницами.
- Определение того, расходуют ли потерянные страницы краулинговый бюджет, который должен быть выделен на основные категории продуктов.
- Настройка серверного мониторинга для сообщения о новых потерянных страницах по мере их обнаружения ботом.
- Доработка архитектуры сайта для обеспечения того, чтобы каждая релевантная страница имела по крайней мере одну четкую внутреннюю ссылку.
- Проверка на предмет неожиданной индексации промежуточных URL или временных файлов, которые были случайно выставлены напоказ.
Мы часто работаем с клиентами электронной коммерции, которые ежемесячно добавляют тысячи новых товаров. Применяя эту методологию, мы гарантируем, что новые продукты не останутся без внимания. Мы проверяем логи, чтобы узнать, находит ли Googlebot эти товары сразу после их публикации, что подтверждает правильность работы нашей стратегии внутренней перелинковки.
Какие технические факторы влияют на эффективность сканирования?
Помимо линковки, огромное значение имеет протокол, используемый вашим сервером. Современные сканеры используют HTTP/2 и HTTP/3, которые обеспечивают более эффективное получение ресурсов. Если ваш сервер по-прежнему использует старые протоколы, Googlebot может столкнуться с проблемами задержки, из-за чего ваш сайт будет казаться сканеру более медленным, чем он есть на самом деле.
Мультиплексирование — ключевая особенность современных протоколов, которая позволяет Googlebot получать несколько файлов CSS и JavaScript по одному соединению. Это резко сокращает количество требуемых рукопожатий сервера. При оптимизации вашего сайта обеспечение конфигурации вашего сервера в соответствии с этими современными стандартами — это практический шаг, который дополняет результаты анализа ваших логов.
С чего начать на этой неделе
Начните с определения наиболее распространенного инструмента анализа логов, используемого вашим хостинг-провайдером. Убедитесь, что у вас есть доступ к необработанным файлам логов, а не только к сводным отчетам. Получив логи, отфильтруйте их по строке пользовательского агента Googlebot и сравните уникальные URL с вашей картой сайта.
Если вы найдете потерянные страницы, содержащие ценный контент, немедленно создайте на них внутренние ссылки, чтобы помочь Googlebot правильно их проиндексировать. Если страницы устарели, настройте 301 редирект на наиболее релевантную живую страницу. Этот простой шаг, выполняемый еженедельно, поддерживает здоровье структуры вашего сайта и гарантирует, что ваш лучший контент останется в центре внимания поисковых систем.