noindex — это правило, заданное либо с помощью тега <meta>
, либо с помощью заголовка ответа HTTP, и оно используется для предотвращения индексации контента поисковыми системами, поддерживающими правило noindex , такими как Google. Когда Googlebot сканирует эту страницу и извлекает тег или заголовок, Google полностью удаляет эту страницу из результатов поиска Google, независимо от того, ссылаются ли на нее другие сайты.
Использование noindex полезно, если у вас нет корневого доступа к серверу, так как оно позволяет управлять доступом к вашему сайту для каждой отдельной страницы.
Внедрение noindex
Существует два способа внедрения noindex: в качестве тега <meta> и в качестве заголовка ответа HTTP. Они имеют одинаковый эффект; выберите метод, который более удобен для вашего сайта и подходит для данного типа контента. Указание правила
noindex в файле robots.txt не поддерживается Google.
Вы также можете объединить правило noindex с другими правилами, управляющими индексацией. Например, вы можете объединить подсказку nofollow с правилом noindex :
<meta name="robots" content="noindex, nofollow" />.
тег <meta>
Чтобы запретить всем поисковым системам , поддерживающим правило noindex , индексировать страницу на вашем сайте, поместите следующий тег <meta> в раздел
<head> вашей страницы:
Чтобы предотвратить индексацию страницы только веб-сканерами Google :
Имейте в виду, что некоторые поисковые системы могут интерпретировать правило
noindex по-разному. В результате ваша страница все равно может появиться в результатах других поисковых систем.
Подробнее о теге noindex <meta> Если вы используете CMS, такую как Wix, WordPress или Blogger.
Вместо тега
<meta> , вы можете вернуть заголовок HTTP X-Robots-Tag значением либо
noindex , либо none в своем ответе. Заголовок ответа можно использовать для ресурсов, отличных от HTML, таких как файлы PDF, видеофайлы и файлы изображений. Вот пример ответа HTTP с X-Robots-Tag az заголовок, указывающий поисковым системам не индексировать страницу:
Подробнее о noindex заголовке ответа.
Отладка noindex проблем
Нам нужно просканировать вашу страницу, чтобы увидеть <meta> теги и HTTP-заголовки. Если страница все еще появляется в результатах, вероятно, это потому, что мы не сканировали страницу с тех пор, как вы добавили noindex правило. В зависимости от важности страницы в Интернете, Googlebot может потребоваться несколько месяцев, чтобы повторно посетить страницу. Вы можете запросить у Google повторное сканирование страницы с помощью
инструмента проверки URL.
Если вам нужно быстро удалить страницу вашего сайта из результатов поиска Google, ознакомьтесь с нашей
документацией по удалению.
Другой причиной может быть то, что файл robots.txt блокирует URL для веб-краулеров Google, поэтому они не могут увидеть тег. Чтобы разблокировать вашу страницу в Google, вы должны
отредактировать файл robots.txt.
Наконец, убедитесь, что noindex правило видно для Googlebot. Чтобы проверить, правильно ли реализован ваш
noindex используйте
инструмент проверки URL
чтобы увидеть HTML, который получил Googlebot при сканировании страницы. Вы также можете использовать
отчет об индексировании страниц
в Search Console, чтобы отслеживать страницы на вашем сайте, из которых Googlebot извлек
noindex правило.
Как мы это применяем
Noindex only works if Google can fetch the page. Blocking a URL in robots.txt and adding noindex is the contradiction we find most often, and it leaves the page indexed with no description.
Связанные услуги