Crawling and indexing

Crawler management

Отслеживание мобильного и десктопного Googlebot через анализ журналов сервера

Анализ журналов сервера позволяет отслеживать активность Googlebot, разделяя мобильных и десктопных пользовательских агентов, чтобы оптимизировать ваш бюджет сканирования и производительность…

robots.txt

Устранение распространенных синтаксических ошибок в файлах Robots.txt

Узнайте, как исправить синтаксические ошибки в файле robots.txt, чтобы обеспечить правильный доступ поисковых роботов и защитить показатели SEO.

Canonicalization

Устранение неполадок: Google игнорирует канонические теги с URL-параметрами

Google игнорирует канонические теги, когда URL-параметры изменяют содержимое страницы или противоречат другим сигналам. Это руководство поможет вам выстроить структуру вашего…

Page and content metadata

Устранение ошибок индексации в Google Search Console с помощью канонических тегов

Ошибки индексации в Google Search Console, связанные с каноническими тегами, возникают, когда поисковые системы сталкиваются с противоречивыми сигналами. Настройка вашей…

Crawling infrastructure

Устранение тайм-аутов сканирования Googlebot и проблем с подключением

Устраняйте ошибки тайм-аута сканирования Googlebot, выявляя узкие места на стороне сервера. Обеспечьте индексацию вашего контента путем оптимизации времени ответа сервера.

Site moves and changes

Обновление канонических тегов при миграции домена или платформы

Обновление канонических тегов во время миграции требует пошагового сопоставления, чтобы гарантировать, что Googlebot правильно идентифицирует новую основную версию ваших страниц.

Crawling and indexing

Использование HTTP 429 и Retry-After для контроля частоты сканирования Googlebot

Управляйте частотой сканирования Googlebot с помощью кодов состояния HTTP 429 и заголовков Retry-After. Защитите производительность вашего сервера в периоды пикового…

robots.txt

Использование Robots.txt для предотвращения сканирования фасетной навигации

Узнайте, как использовать правила запрета (disallow) в robots.txt, чтобы Googlebot не тратил краулинговый бюджет на бесконечные комбинации запросов фасетного поиска.

Page and content metadata

Использование тега indexifembedded для управления индексацией контента

Тег indexifembedded позволяет владельцам сайтов разрешить индексацию своего медиаконтента, когда он встроен на сторонние страницы, даже если источник имеет noindex.…

Page and content metadata

Эффективное использование метатегов nosubjectaltlink и noscript для Googlebot

Освойте теги nosubjectaltlink и noscript для управления поведением краулера Googlebot, совершенствования вашей технической SEO-стратегии и защиты индексации сайта.

Page and content metadata

Использование мета-тега unavailable_after для контента, чувствительного ко времени

Мета-тег unavailable_after информирует Googlebot о том, когда следует прекратить отображение страницы в результатах поиска. В этом руководстве объясняется его внедрение…

Meta tags

Использование метатега unavailable_after для контента, чувствительного ко времени

Метатег unavailable_after дает указание поисковым системам удалить страницу из результатов через определенное время, гарантируя, что индексируется только активный контент.

Sitemap extensions

Использование XML-карт сайта для ускорения индексации Google для крупных сайтов

XML-карты сайта помогают Google быстрее находить контент, предоставляя четкую карту ваших страниц. Узнайте, как оптимизировать файлы карт сайта для крупных…

Canonicalization

Почему каждой странице нужен самореферентный канонический тег

Самореферентный канонический тег сигнализирует о том, что страница является предпочтительной версией, предотвращая проблемы с индексацией из-за параметров отслеживания или вариантов…