В этом документе подробно описано, как настройки на уровне страниц и текста могут использоваться для управления тем, как Google представляет ваш контент в результатах поиска. Вы можете задать настройки на уровне страницы, включив
meta тег на страницах HTML или в HTTP-заголовке. Вы можете задать настройки на уровне текста с помощью атрибута data-nosnippet для HTML-элементов на странице.
Имейте в виду, что эти настройки могут быть прочитаны и учтены только в том случае, если сканерам разрешен доступ к страницам, содержащим эти настройки.
Правило <meta name="robots" content="noindex"> применяется к сканерам поисковых систем. Чтобы заблокировать сканеры, не являющиеся поисковыми системами, такие как AdsBot-Google, вам может потребоваться добавить правила, ориентированные на конкретный сканер (например,
<meta name="AdsBot-Google" content="noindex">).
Использование robots meta тега
Метатег robots meta позволяет использовать детальный подход для конкретной страницы, чтобы контролировать, как отдельная HTML-страница должна индексироваться и показываться пользователям в результатах поиска Google. Разместите метатег robots meta в разделе <head> данной страницы следующим образом:
В этом примере метатег robots meta предписывает поисковым системам не показывать страницу в результатах поиска. Значение атрибута name (robots) указывает, что правило применяется ко всем сканерам. И атрибут name
, и атрибут content нечувствительны к регистру. Чтобы обратиться к конкретному сканеру, замените значение robots атрибута name на токен агента пользователя сканера, к которому вы обращаетесь. Google поддерживает два токена агента пользователя в метатеге
robots meta ; остальные значения игнорируются:
googlebot: для всех текстовых результатов.googlebot-news: для результатов новостей.
Например, чтобы явно указать Google не показывать сниппет в результатах поиска, вы можете указать googlebot в качестве имени метатега meta :
Чтобы показывать полный сниппет в результатах веб-поиска Google, но не показывать сниппет в Google Новости, укажите
googlebot-news в качестве имени метатега meta :
Чтобы указать несколько сканеров по отдельности, используйте несколько метатегов robots
meta :
Для блокировки индексации ресурсов, не являющихся HTML (например, файлов PDF, видео или изображений), используйте заголовок ответа X-Robots-Tag.
esubst es вместо этого.
Использование X-Robots-Tag заголовка HTTP
Тег X-Robots-Tag может использоваться как элемент ответа HTTP-заголовка для определенного URL. Любое правило, которое может быть использовано в метатеге robots meta также может быть задано как X-Robots-Tag. Вот пример ответа HTTP с заголовком
X-Robots-Tag , предписывающим краулерам не индексировать страницу:
Несколько заголовков X-Robots-Tag могут быть объединены в ответе HTTP, либо вы можете указать список правил, разделенных запятыми. Вот пример ответа HTTP-заголовка, который содержит noimageindex
X-Robots-Tag в сочетании с
unavailable_after X-Robots-Tag.
Тег X-Robots-Tag может опционально указывать агента пользователя перед правилами. Например, следующий набор HTTP-заголовков X-Robots-Tag может использоваться для условного разрешения показа страницы в результатах поиска для разных поисковых систем:
Правила, указанные без агента пользователя, действительны для всех краулеров. HTTP-заголовок, имя агента пользователя и указанные значения нечувствительны к регистру.
Действующие правила индексирования и показа
Следующие правила, также доступные в
машиночитаемом формате, могут использоваться для управления индексированием и показом сниппета с помощью метатега robots meta и X-Robots-Tag. Каждое значение представляет собой конкретное правило. Несколько правил могут быть объединены в список, разделенный запятыми, или в отдельные meta теги. Эти правила нечувствительны к регистру.
| Правила | |
|---|---|
| Нет никаких ограничений на индексирование или показ. Это правило является значением по умолчанию и не оказывает никакого влияния, если перечислено явно. |
| Не показывать эту страницу, медиафайл или ресурс в результатах поиска. Если вы не укажете это правило, страница, медиафайл или ресурс могут быть проиндексированы и показаны в результатах поиска. Чтобы удалить информацию из Google, следуйте нашему |
| Не переходите по ссылкам на этой странице. Если вы не укажете это правило, Google может использовать ссылки на странице для обнаружения этих связанных страниц. Узнайте больше оnofollow. |
| Эквивалентно noindex, nofollow. |
| Не показывать текстовый сниппет или превью видео в результатах поиска для этой страницы. Статичное миниатюрное изображение (если доступно) все равно может быть видимым, если это приводит к улучшению пользовательского опыта. Это относится ко всем формам результатов поиска (в Google: веб-поиск, Картинки Google, Discover, AI Overviews, AI Mode) а также предотвратит использование контента в качестве прямого ввода для AI Overviews и AI Mode. Если вы не укажете это правило, Google может сгенерировать текстовый сниппет и превью видео на основе информации, найденной на странице. Чтобы исключить определенные разделы вашего контента из появления в сниппетах результатов поиска, используйте |
| Google разрешено индексировать содержимое страницы, если оно встроено в другую страницу через
|
| Используйте максимум [number] символов в качестве текстового фрагмента для этого результата поиска. (Обратите внимание, что один URL может отображаться как несколько результатов поиска на странице результатов поиска.) Это не влияет на предварительный просмотр изображений или видео. Это относится ко всем формам результатов поиска (таким как веб-поиск Google, Google Картинки, Discover, Assistant, AI Overviews, AI Mode) и также ограничивает объем контента, который может быть использован в качестве прямого ввода для AI Overviews и AI Mode. Однако это ограничение не применяется в случаях, когда издатель отдельно предоставил разрешение на использование контента. Например, если издатель предоставляет контент в виде структурированных данных на странице или имеет лицензионное соглашение с Google, этот параметр не прерывает эти более специфические разрешенные виды использования. Это правило игнорируется, если не указано анализируемое [number]. Если вы не укажете это правило, Google выберет длину фрагмента самостоятельно. Специальные значения:
Примеры: Чтобы запретить отображение фрагмента в результатах поиска: Чтобы разрешить отображение до 20 символов во фрагменте: Чтобы указать, что нет ограничения на количество символов, которые могут быть отображены во фрагменте: |
| Установите максимальный размер предварительного просмотра изображения для этой страницы в результатах поиска. Если вы не укажете правило Принимаемые значения [setting]:
Это относится ко всем формам результатов поиска (таким как веб-поиск Google, Google Картинки, Discover, Assistant). Однако это ограничение не применяется в случаях, когда издатель отдельно предоставил разрешение на использование контента. Например, если издатель предоставляет контент в виде структурированных данных на странице (таких как AMP и канонические версии статьи) или имеет лицензионное соглашение с Google, этот параметр не прервет эти более специфические разрешенные виды использования. Если вы не хотите, чтобы Google использовал более крупные миниатюры изображений, когда их AMP-страницы и каноническая версия статьи отображаются в Поиске или Discover, укажите значение Пример: |
| Используйте максимум [number] секунд в качестве видеофрагмента для видео на этой странице в результатах поиска. Если вы не укажете правило Специальные значения:
Это относится ко всем формам результатов поиска (в Google: веб-поиск, Google Картинки, Google Видео, Discover, Assistant). Это правило игнорируется, если не указано анализируемое [number]. Пример: |
| Не предлагайте перевод этой страницы в результатах поиска. Если вы не укажете это правило, Google может предоставить перевод ссылки на заголовок и фрагмента результата поиска для результатов, которые не на языке поискового запроса. Если пользователь нажимает на переведенную ссылку на заголовок, все дальнейшее взаимодействие пользователя со страницей происходит через Google Translate, который автоматически переводит все переходы по ссылкам. |
| Не индексируйте изображения на этой странице. Если вы не укажете это значение, изображения на странице могут быть проиндексированы и показаны в результатах поиска. |
| Не показывайте эту страницу в результатах поиска после указанной даты/времени. Дата/время должны быть указаны в широко принятом формате, включая, но не ограничиваясь Если вы не укажете это правило, эта страница может отображаться в результатах поиска бесконечно. Googlebot значительно снизит скорость сканирования URL после указанной даты и времени. Пример: |
Обработка комбинированных правил индексации и обслуживания
Вы можете создать инструкцию с несколькими правилами, объединив правила метатега robots с помощью запятых или используя несколько метатегов
robots . Вот пример метатега robots , который предписывает веб-краулерам не индексировать страницу и не сканировать никакие ссылки на странице: Вот пример, который ограничивает текстовый фрагмент 20 символами и разрешает большой предварительный просмотр изображения: Для ситуаций, когда указано несколько краулеров вместе с разными правилами, поисковая система будет использовать сумму отрицательных правил. Например:
Страница, содержащая эти метатеги
robots
, будет интерпретироваться как имеющая правило noindex, nofollow при сканировании Googlebot. Используя
es fr
ru data-nosnippet HTML-атрибут
Вы можете указать текстовые части HTML-страницы, которые не должны использоваться в качестве сниппета. Это можно сделать на уровне HTML-элемента с помощью data-nosnippet HTML-атрибута в элементах
span, divи
section . data-nosnippet
считается
логическим атрибутом. Как и в случае со всеми логическими атрибутами, любое указанное значение игнорируется. Чтобы обеспечить машиночитаемость, HTML-раздел должен быть валидным HTML, а все соответствующие теги должны быть закрыты надлежащим образом.
Примеры:
Google обычно рендерит страницы для их индексации, однако рендеринг не гарантируется. По этой причине извлечение data-nosnippet может происходить как до, так и после рендеринга. Чтобы избежать неопределенности, связанной с рендерингом, не добавляйте и не удаляйте атрибут
data-nosnippet существующих узлов с помощью JavaScript. При добавлении DOM-элементов через JavaScript включайте атрибут
data-nosnippet по мере необходимости при первоначальном добавлении элемента в DOM страницы. Если используются пользовательские элементы, оберните или отрендерите их с помощью элементов
div, spanили
section , если вам нужно использовать
data-nosnippet.
. Использование структурированных данных
Robots meta теги регулируют объем контента, который Google автоматически извлекает с веб-страниц для отображения в результатах поиска. Но многие издатели также используют структурированные данные schema.org, чтобы сделать конкретную информацию доступной для
представления в поиске. . Ограничения тега Robots meta
не влияют на использование этих структурированных данных, за исключением article.description
и значений description
для структурированных данных, указанных для других творческих работ. Чтобы указать максимальную длину предварительного просмотра на основе этих значений description
, используйте правило max-snippet
. Например, структурированные данные recipe на странице могут быть включены в карусель рецептов, даже если предварительный просмотр текста был бы ограничен. Вы можете ограничить длину предварительного просмотра текста с помощьюmax-snippet , но этот тег robots meta
не применяется, когда информация предоставляется с использованием структурированных данных для расширенных результатов. Чтобы управлять использованием структурированных данных для ваших веб-страниц, изменяйте сами типы и значения структурированных данных, добавляя или удаляя информацию, чтобы предоставлять только те данные, которые вы хотите сделать доступными. Также обратите внимание, что структурированные данные остаются пригодными для использования в результатах поиска, если они объявлены внутри элемента data-nosnippet
. Практическая реализация X-Robots-Tag
. Вы можете добавить X-Robots-Tag к HTTP-ответам сайта через файлы конфигурации программного обеспечения веб-сервера вашего сайта. Например, на веб-серверах на базе Apache вы можете использовать файлы .htaccess и httpd.conf. Преимущество использования
X-Robots-Tag с HTTP-ответами заключается в том, что вы можете указать правила сканирования, которые применяются глобально ко всему сайту. Поддержка регулярных выражений обеспечивает высокий уровень гибкости.
Например, чтобы добавить noindex, nofollow
X-Robots-Tag к HTTP-ответу для всех файлов .PDF на всем сайте, добавьте следующий фрагмент в файл .htaccess или httpd.conf в корневом каталоге сайта на Apache или в файл .conf сайта на NGINX.
Вы можете использовать X-Robots-Tag для не-HTML файлов, таких как файлы изображений, где использование тегов robots meta в HTML невозможно. Вот пример добавления “noindex”
. X-Robots-Tag правило для файлов изображений (.png, .jpeg, .jpg, .gif) на всем сайте:
Вы также можете установить X-Robots-Tag заголовки для отдельных статических файлов:
Сочетание правил robots.txt с правилами индексации и обслуживания
robots meta теги и X-Robots-Tag HTTP-заголовки обнаруживаются при сканировании URL. Если страница запрещена для сканирования через файл robots.txt, то любая информация о правилах индексации или обслуживания не будет найдена и, следовательно, будет проигнорирована. Если правила индексации или обслуживания должны соблюдаться, URL-адреса, содержащие эти правила, не могут быть запрещены для сканирования.
Как мы это применяем
Robots directives are the sharpest tool in technical SEO and the easiest to misfire. We review every noindex on a site during onboarding, because inherited directives on commercially important pages are more common than clients expect.
Связанные услуги