Попадание страницы в результаты поиска ничего не стоит, что бы вам ни говорили. Если страница соответствует минимальным техническим требованиям, она может быть проиндексирована в Google Search:
- Googlebot не заблокирован.
- Страница работает, то есть Google получает HTTP-код состояния
200 (success). - На странице есть контент, доступный для индексации.
То, что страница соответствует этим требованиям, не означает, что она обязательно будет проиндексирована; индексация не гарантируется.
Googlebot не заблокирован (он может найти и получить доступ к странице)
Google индексирует только те страницы в сети, которые доступны общественности и не блокируют нашего краулера, Googlebot, от сканирования. Если страница сделана приватной, например, требует входа в систему для просмотра, Googlebot не будет её сканировать. Аналогично, если используются несколько механизмов для блокировки индексации Google, страница не будет проиндексирована.
Проверьте, может ли Googlebot найти и получить доступ к вашей странице
Страницы, заблокированные через robots.txt, вряд ли появятся в результатах поиска Google. Чтобы увидеть список страниц, недоступных для Google (но которые вы хотели бы видеть в результатах поиска), используйте отчет об индексировании страниц и отчет о статистике сканирования в Search Console. Каждый отчет может содержать разную информацию о ваших URL, поэтому стоит изучить оба.
Для проверки конкретной страницы используйте инструмент проверки URL.
Страница работает (это не страница ошибки)
Google индексирует только те страницы, которые отдают HTTP-код состояния 200 (success). Страницы с ошибками клиента или сервера не индексируются. Вы можете проверить HTTP-код состояния для конкретной страницы с помощью инструмента проверки URL.
На странице есть контент, доступный для индексации
Как только Googlebot находит и получает доступ к работающей странице, Google проверяет её на наличие контента, доступного для индексации. Это означает:
- Текстовый контент находится в формате файла, поддерживаемом Google Search.
- Контент не нарушает наши правила в отношении спама.
Хотя блокировка Googlebot через файл robots.txt предотвратит сканирование, URL страницы всё равно может появиться в результатах поиска. Чтобы запретить Google индексировать страницу, используйте noindex и разрешите Google сканировать этот URL.
Как мы это применяем
This is a short list, and that is the point: if a site is not indexed, the cause is rarely here. We check these four items first anyway because ruling them out in ten minutes stops a team from spending a week on the wrong hypothesis.
Связанные услуги