18 октября: Добавлена ссылка на инструмент проверки расширенных результатов в документации по структурированным данным для подписок и платного контента, так как этот тип данных теперь поддерживается в инструменте тестирования. Также добавлен раздел с рекомендациями по использованию генеративного AI в поиске. Добавлена информация о SGE (Search Generative Experience) на страницу спецификаций метатега robots, data-nosnippet и X-Robots-Tag для правил nosnippet и max-snippet.
Уточнено в документации по фавиконам, что как файл фавикона, так и домашняя страница сайта должны быть разрешены для сканирования Googlebot-Image и Googlebot соответственно. Также удалена информация о строке HTTP-агента пользователя Google Favicon из всей нашей документации, так как она больше не используется. Удаление строки HTTP-агента пользователя не означает никаких изменений для владельцев сайтов. Google Favicon зависел от токенов агента пользователя robots.txt Googlebot-Image и Googlebot, которые по-прежнему поддерживаются.
На этой странице описано, как использовать JSON-LD schema.org для обозначения платного контента на вашем сайте с помощью свойств CreativeWork. Эти структурированные данные помогают Google отличать платный контент от практики клоакинга, которая нарушает политику в отношении спама. Узнайте больше о подписках и платном контенте.
Пример
Рекомендации
Вы должны следовать общим рекомендациям по структурированным данным и техническим рекомендациям, чтобы ваша страница могла отображаться в результатах поиска. Кроме того, к платному контенту применяются следующие рекомендации:
Добавление разметки к платному контенту
Если вы предлагаете доступ к контенту вашего сайта по подписке или если пользователям необходимо зарегистрироваться для доступа к любому контенту, который вы хотите проиндексировать, выполните следующие действия. Следующий пример применяется к структурированным данным NewsArticle. Обязательно выполните эти действия для всех версий вашей страницы (включая AMP и не-AMP).
Добавьте имя класса вокруг каждого платного раздела вашей страницы. Например:
Этот контент находится вне пейволла и виден всем.
Добавьте выделенные структурированные данные JSON-LD в ваши структурированные данные NewsArticle. { “@context” : “https://schema.org” , “@type” : “NewsArticle” , “mainEntityOfPage” : { “@type” : “WebPage” , “@id” : “https://example.org/article” }, (…) “isAccessibleForFree” : “False” , “hasPart” : { “@type” : “WebPageElement” , “isAccessibleForFree” : “False” , “cssSelector” : “.paywall” } }
Несколько платных разделов
Если у вас на странице несколько платных разделов, добавьте имена классов в виде массива.
Поддерживаемые типы
Эта разметка поддерживается для типа CreativeWork или одного из следующих более специфических типов CreativeWork:
Вы должны включить обязательные свойства, чтобы Google понял, что ваша статья содержит платный контент. Вы можете добавить рекомендуемые свойства для большей детализации того, какие разделы страницы находятся за пейволлом (или требуют подписки или регистрации).
Доступна ли статья всем или она находится за пейволлом (или требует подписки или регистрации). Установите для свойства isAccessibleForFree значение False, чтобы указать, что этот раздел находится за пейволлом. Рекомендуемые свойства hasPart. cssSelector CssSelectorType
CSS-селектор, который ссылается на имя класса, установленное вами в HTML для указания платного раздела. hasPart. @type Text
Находится ли этот раздел статьи за пейволлом (или требует подписки или регистрации). Установите для свойства isAccessibleForFree значение False, чтобы указать, что этот раздел находится за пейволлом. Рекомендации AMP Вот список моментов, которые следует учитывать при использовании страниц AMP:
Убедитесь, что ваша конечная точка авторизации предоставляет доступ к контенту соответствующим ботам от Google и других. Это зависит от издателя.
Убедитесь, что ваша политика доступа ботов одинакова для страниц AMP и не-AMP, в противном случае это может привести к ошибкам несоответствия контента, которые появляются в Search Console.
Рекомендации по генеративному AI в поиске
Обзоры SGE (Search Generative Experience) создаются с помощью AI. Они подкрепляются информацией со всего Интернета и Knowledge Graph Google, коллекции информации о людях, местах и вещах. Контент, заблокированный с помощью элементов управления фрагментами, не будет отображаться в обзорах.
SGE разработан, чтобы помочь людям находить полезную информацию в Интернете, которая поддерживает информацию в обзоре и служит отправной точкой для дальнейшего изучения. Как и в поиске в целом, обзоры SGE могут включать ссылки на платный контент как способ для людей обнаружить эти страницы.
SGE во время просмотра, отдельная функция от SGE в поиске, не будет показывать ключевые моменты для платных статей, если на странице есть структурированные данные пейволла.
Убедитесь, что Google может сканировать и индексировать ваши страницы
Если вы хотите, чтобы Google сканировал и индексировал ваш контент, включая платные разделы, убедитесь, что Googlebot и Googlebot-News (если применимо) могут получить доступ к вашей странице.
Используйте инструмент проверки URL, чтобы протестировать, как Google сканирует и отображает URL на вашем сайте.
Контроль информации, отображаемой в результатах поиска
Чтобы запретить Google показывать кэшированную ссылку на вашу страницу, используйте метатег robots noarchive.
Чтобы исключить определенные разделы вашего контента из отображения во фрагментах результатов поиска, используйте HTML-атрибут data-nosnippet. Вы также можете ограничить количество символов во фрагменте результата поиска с помощью метатега robots max-snippet.
Устранение неполадок
Если у вас возникли проблемы с реализацией или отладкой структурированных данных, вот несколько ресурсов, которые могут вам помочь.
Если вы используете систему управления контентом (CMS) или кто-то другой занимается вашим сайтом, попросите их помочь вам. Обязательно перешлите им любое сообщение из Search Console, в котором подробно описана проблема.
Google не гарантирует, что функции, использующие структурированные данные, будут отображаться в результатах поиска. Список распространенных причин, по которым Google может не показывать ваш контент в расширенном результате, см. в Общих рекомендациях по структурированным данным.
Возможно, у вас есть ошибка в структурированных данных. Проверьте список ошибок структурированных данных.
Если вы получили ручные меры в отношении структурированных данных на вашей странице, структурированные данные на странице будут проигнорированы (хотя страница все равно может появляться в результатах поиска Google). Чтобы исправить проблемы со структурированными данными, используйте отчет о ручных мерах.
Еще раз просмотрите рекомендации, чтобы определить, не соответствует ли ваш контент правилам. Проблема может быть вызвана спам-контентом или спам-использованием разметки. Однако проблема может быть не синтаксической, поэтому инструмент проверки расширенных результатов не сможет ее выявить.
Дайте время на повторное сканирование и индексацию. Помните, что после публикации страницы может пройти несколько дней, прежде чем Google найдет и просканирует ее. По общим вопросам о сканировании и индексации ознакомьтесь с FAQ по сканированию и индексации в поиске Google.
Рекомендации по генеративному AI в поиске
Обзоры SGE (Search Generative Experience) создаются с помощью AI. Они подкрепляются информацией со всего Интернета и Knowledge Graph Google, коллекции информации о людях, местах и вещах. Контент, заблокированный с помощью элементов управления фрагментами, не будет отображаться в обзорах.
SGE разработан, чтобы помочь людям находить полезную информацию в Интернете, которая поддерживает информацию в обзоре и служит отправной точкой для дальнейшего изучения. Как и в поиске в целом, обзоры SGE могут включать ссылки на платный контент как способ для людей обнаружить эти страницы.
SGE во время просмотра, отдельная функция от SGE в поиске, не будет показывать ключевые моменты для платных статей, если на странице есть структурированные данные пейволла.
В этом документе подробно описано, как настройки на уровне страницы и текста могут использоваться для корректировки того, как Google представляет ваш контент в результатах поиска. Вы можете указать настройки на уровне страницы, включив метатег на HTML-страницах или в HTTP-заголовке. Вы можете указать настройки на уровне текста с помощью атрибута data-nosnippet для HTML-элементов на странице.
Имейте в виду, что эти настройки могут быть прочитаны и выполнены только в том случае, если роботам разрешен доступ к страницам, которые включают эти настройки.
Правило применяется к роботам поисковых систем. Чтобы заблокировать не-поисковых роботов, таких как AdsBot-Google, вам может потребоваться добавить правила, нацеленные на конкретного робота (например, ).
Использование метатега robots
Метатег robots позволяет использовать гранулярный, специфичный для страницы подход к управлению тем, как отдельная страница должна индексироваться и предоставляться пользователям в результатах поиска Google. Поместите метатег robots в раздел данной страницы, например так:
В этом примере метатег robots указывает поисковым системам не показывать страницу в результатах поиска. Значение атрибута name (robots) указывает, что правило применяется ко всем роботам. Атрибуты name и content нечувствительны к регистру. Чтобы обратиться к конкретному роботу, замените значение robots атрибута name на токен агента пользователя того робота, к которому вы обращаетесь. Google поддерживает два токена агента пользователя в метатеге robots; другие значения игнорируются:
Например, чтобы специально указать Google не показывать страницу в результатах поиска, вы можете указать googlebot в качестве имени метатега:
Чтобы показать страницу в результатах веб-поиска Google, но не в Google Новостях, используйте метатег googlebot-news:
Чтобы заблокировать индексацию не-HTML ресурсов, таких как PDF-файлы, видеофайлы или файлы изображений, используйте вместо этого заголовок ответа X-Robots-Tag.
Использование HTTP-заголовка X-Robots-Tag
X-Robots-Tag может использоваться как элемент ответа HTTP-заголовка для данного URL. Любое правило, которое можно использовать в метатеге robots, также может быть указано как X-Robots-Tag. Вот пример HTTP-ответа с X-Robots-Tag, указывающим роботам не индексировать страницу:
Несколько заголовков X-Robots-Tag могут быть объединены в HTTP-ответе, или вы можете указать список правил, разделенных запятыми. Вот пример ответа HTTP-заголовка, который имеет X-Robots-Tag noarchive, объединенный с X-Robots-Tag unavailable_after.
X-Robots-Tag может опционально указывать агента пользователя перед правилами. Например, следующий набор HTTP-заголовков X-Robots-Tag может использоваться для условного разрешения показа страницы в результатах поиска для разных поисковых систем:
Правила, указанные без агента пользователя, действительны для всех роботов. HTTP-заголовок, имя агента пользователя и указанные значения нечувствительны к регистру.
Действительные правила индексации и обслуживания
Следующие правила, также доступные в машиночитаемом формате, могут использоваться для управления индексацией и обслуживанием фрагмента с помощью метатега robots и X-Robots-Tag. Каждое значение представляет собой конкретное правило. Несколько правил могут быть объединены в список, разделенный запятыми, или в отдельные метатеги. Эти правила нечувствительны к регистру.
all
noindex
Чтобы удалить информацию из Google, следуйте нашему пошаговому руководству. nofollow Не переходите по ссылкам на этой странице. Если вы не укажете это правило, Google может использовать ссылки на странице для обнаружения этих связанных страниц. Узнайте больше о nofollow. none Эквивалентно noindex, nofollow. noarchive Не показывайте кэшированную ссылку в результатах поиска. Если вы не укажете это правило, Google может создать кэшированную страницу, и пользователи могут получить к ней доступ через результаты поиска. nositelinkssearchbox Не показывайте поле поиска по сайту в результатах поиска для этой страницы. Если вы не укажете это правило, Google может создать поле поиска, специфичное для вашего сайта, в результатах поиска, наряду с другими прямыми ссылками на ваш сайт. nosnippet Не показывайте текстовый фрагмент или предварительный просмотр видео в результатах поиска для этой страницы. Статическое изображение-миниатюра (если доступно) может по-прежнему быть видимым, когда это приводит к лучшему пользовательскому опыту. Это относится ко всем формам результатов поиска (в Google: веб-поиск, Google Картинки, Discover). Обзоры Google SGE также не будут показывать контент, заблокированный с помощью nosnippet.
Если вы не укажете это правило, Google может создать текстовый фрагмент и предварительный просмотр видео на основе информации, найденной на странице. indexifembedded Google разрешено индексировать контент страницы, если он встроен в другую страницу через iframe или аналогичные HTML-теги, несмотря на правило noindex.
indexifembedded имеет эффект только в том случае, если он сопровождается noindex. max-snippet: [число] Используйте максимум [число] символов в качестве текстового фрагмента для этого результата поиска. (Обратите внимание, что один URL может появляться как несколько результатов поиска на странице результатов поиска.) Это не влияет на предварительный просмотр изображений или видео. Это относится ко всем формам результатов поиска (таким как веб-поиск Google, Google Картинки, Discover, Assistant). Обзоры Google SGE также не будут показывать контент сверх указанного лимита. Однако этот лимит не применяется в случаях, когда издатель отдельно предоставил разрешение на использование контента. Например, если издатель предоставляет контент в виде структурированных данных на странице или имеет лицензионное соглашение с Google, эта настройка не прерывает эти более специфические разрешенные варианты использования. Это правило игнорируется, если не указано анализируемое [число].
-1 : Google выберет длину фрагмента, которую он считает наиболее эффективной, чтобы помочь пользователям обнаружить ваш контент и направить их на ваш сайт.
Чтобы указать, что нет ограничения на количество символов, которые могут быть показаны во фрагменте:
max-image-preview: [настройка]
Если вы не укажете правило max-image-preview, Google может показать предварительный просмотр изображения размера по умолчанию.
large : Может быть показан предварительный просмотр изображения большего размера, до ширины области просмотра.
Это относится ко всем формам результатов поиска (таким как веб-поиск Google, Google Картинки, Discover, Assistant). Однако этот лимит не применяется в случаях, когда издатель отдельно предоставил разрешение на использование контента. Например, если издатель предоставляет контент в виде структурированных данных на странице (таких как AMP и канонические версии статьи) или имеет лицензионное соглашение с Google, эта настройка не прервет эти более специфические разрешенные варианты использования.
Если вы не хотите, чтобы Google использовал миниатюры изображений большего размера, когда их страницы AMP и каноническая версия статьи отображаются в Search или Discover, укажите значение max-image-preview standard или none.
max-video-preview: [число]
Если вы не укажете правило max-video-preview, Google может показать фрагмент видео в результатах поиска, и вы оставляете на усмотрение Google решение о том, какой длины может быть предварительный просмотр.
0 : В крайнем случае может быть использовано статическое изображение в соответствии с настройкой max-image-preview.
Это относится ко всем формам результатов поиска (в Google: веб-поиск, Google Картинки, Google Видео, Discover, Assistant). Это правило игнорируется, если не указано анализируемое [число].
notranslate
noimageindex
unavailable_ after: 2025
Если вы не укажете это правило, эта страница может отображаться в результатах поиска бесконечно. Googlebot значительно снизит скорость сканирования URL после указанной даты и времени.
Обработка комбинированных правил индексации и обслуживания
Вы можете создать инструкцию из нескольких правил, объединив правила метатега robots запятыми или используя несколько метатегов. Вот пример метатега robots, который указывает веб-роботам не индексировать страницу и не сканировать ссылки на странице:
Вот пример, который ограничивает текстовый фрагмент 20 символами и разрешает предварительный просмотр большого изображения:
Для ситуаций, когда указано несколько роботов вместе с разными правилами, поисковая система будет использовать сумму отрицательных правил. Например:
Страница, содержащая эти метатеги, будет интерпретироваться как имеющая правило noindex, nofollow при сканировании Googlebot.
Использование HTML-атрибута data-nosnippet
Вы можете обозначить текстовые части HTML-страницы, которые не должны использоваться в качестве фрагмента. Это можно сделать на уровне HTML-элемента с помощью HTML-атрибута data-nosnippet для элементов span, div и section. data-nosnippet считается логическим атрибутом. Как и для всех логических атрибутов, любое указанное значение игнорируется. Для обеспечения машиночитаемости HTML-раздел должен быть валидным HTML, и все соответствующие теги должны быть закрыты соответствующим образом.
Google обычно отображает страницы для их индексации, однако отображение не гарантируется. Из-за этого извлечение data-nosnippet может происходить как до, так и после отображения. Чтобы избежать неопределенности при отображении, не добавляйте и не удаляйте атрибут data-nosnippet существующих узлов через JavaScript. При добавлении элементов DOM через JavaScript включайте атрибут data-nosnippet по мере необходимости при первоначальном добавлении элемента в DOM страницы. Если используются пользовательские элементы, оберните или отобразите их с помощью элементов div, span или section, если вам нужно использовать data-nosnippet.
Использование структурированных данных
Метатеги robots регулируют объем контента, который Google автоматически извлекает с веб-страниц для отображения в результатах поиска. Но многие издатели также используют структурированные данные schema.org, чтобы сделать конкретную информацию доступной для представления в поиске. Ограничения метатега robots не влияют на использование этих структурированных данных, за исключением article.description и значений описания для структурированных данных, указанных для других творческих работ. Чтобы указать максимальную длину предварительного просмотра на основе этих значений описания, используйте правило max-snippet. Например, структурированные данные рецепта на странице подходят для включения в карусель рецептов, даже если предварительный просмотр текста был бы ограничен. Вы можете ограничить длину предварительного просмотра текста с помощью max-snippet, но этот метатег robots не применяется, когда информация предоставляется с использованием структурированных данных для расширенных результатов.
Чтобы управлять использованием структурированных данных для ваших веб-страниц, измените сами типы и значения структурированных данных, добавляя или удаляя информацию, чтобы предоставлять только те данные, которые вы хотите сделать доступными. Также обратите внимание, что структурированные данные остаются пригодными для использования в результатах поиска при объявлении внутри элемента data-nosnippet.
Практическая реализация X-Robots-Tag
Вы можете добавить X-Robots-Tag к HTTP-ответам сайта через файлы конфигурации программного обеспечения веб-сервера вашего сайта. Например, на веб-серверах на базе Apache вы можете использовать файлы .htaccess и httpd.conf. Преимущество использования X-Robots-Tag с HTTP-ответами заключается в том, что вы можете указать правила сканирования, которые применяются глобально по всему сайту. Поддержка регулярных выражений обеспечивает высокий уровень гибкости.
Например, чтобы добавить X-Robots-Tag noindex, nofollow к HTTP-ответу для всех .PDF файлов на всем сайте, добавьте следующий фрагмент в корневой файл .htaccess или файл httpd.conf сайта на Apache, или файл .conf сайта на NGINX.
Вы можете использовать X-Robots-Tag для не-HTML файлов, таких как файлы изображений, где использование метатегов robots в HTML невозможно. Вот пример добавления правила X-Robots-Tag noindex для файлов изображений (.png, .jpeg, .jpg, .gif) на всем сайте:
Объединение правил robots.txt с правилами индексации и обслуживания
Метатеги robots и HTTP-заголовки X-Robots-Tag обнаруживаются при сканировании URL. Если страница запрещена для сканирования через файл robots.txt, то любая информация о правилах индексации или обслуживания не будет найдена и, следовательно, будет проигнорирована. Если правила индексации или обслуживания должны соблюдаться, URL, содержащие эти правила, не могут быть запрещены для сканирования.
max-snippet: [число]
-1 : Google выберет длину фрагмента, которую он считает наиболее эффективной, чтобы помочь пользователям обнаружить ваш контент и направить их на ваш сайт.
Чтобы указать, что нет ограничения на количество символов, которые могут быть показаны во фрагменте:
nosnippet Не показывайте текстовый фрагмент или предварительный просмотр видео в результатах поиска для этой страницы. Статическое изображение-миниатюра (если доступно) может по-прежнему быть видимым, когда это приводит к лучшему пользовательскому опыту. Это относится ко всем формам результатов поиска (в Google: веб-поиск, Google Картинки, Discover). Обзоры Google SGE также не будут показывать контент, заблокированный с помощью nosnippet.
Если вы не укажете это правило, Google может создать текстовый фрагмент и предварительный просмотр видео на основе информации, найденной на странице. Определите фавикон для отображения в результатах поиска bookmark_border
Если у вашего сайта есть фавикон, он может быть включен в результаты поиска Google для вашего сайта.
Реализация
Добавьте тег в заголовок вашей домашней страницы со следующим синтаксисом: Для извлечения информации о фавиконе Google полагается на следующие атрибуты элемента link: Атрибуты rel Установите атрибут rel на одну из следующих строк: icon
Google ищет и обновляет ваш фавикон каждый раз, когда сканирует вашу домашнюю страницу. Если вы вносите изменения в свой фавикон и хотите сообщить Google об изменениях, вы можете запросить индексацию домашней страницы вашего сайта. Обновления могут занять несколько дней или больше, чтобы появиться в результатах поиска.
Рекомендации
Поиск Google поддерживает только один фавикон на сайт, где сайт определяется именем хоста. Например, https://www.example.com/ и https://code.example.com/ — это два разных имени хоста, и поэтому они могут иметь два разных фавикона. Однако https://www.example.com/sub-site — это подкаталог сайта, и вы можете установить только один фавикон для https://www.example.com/, который применяется к сайту и его подкаталогам. Поддерживается: https://example.com (это домашняя страница уровня домена) Поддерживается: https://news.example.com (это домашняя страница уровня поддомена) Не поддерживается: https://example.com/news (это домашняя страница уровня подкаталога)
Файл фавикона должен быть доступен для сканирования Googlebot-Image, а домашняя страница — Googlebot; они не могут быть заблокированы для сканирования.
Чтобы помочь людям быстро идентифицировать ваш сайт при просмотре результатов поиска, убедитесь, что ваш фавикон визуально представляет бренд вашего веб-сайта.
Ваш фавикон должен быть кратным 48px квадрату, например: 48x48px, 96x96px, 144x144px и так далее. Файлы SVG не имеют определенного размера. Поддерживается любой валидный формат фавикона.
Google не будет показывать фавикон, который он считает неуместным, включая порнографию или символы ненависти (например, свастики). Если такой тип изображений обнаружен внутри фавикона, Google заменяет его значком по умолчанию.
Обновление Google SEO декабрь 2022
Часы работы Google SEO декабрь 2022 bookmark_border Это транскрипт за 2 декабря ..
100+ открывающих глаза статистик контент-маркетинга на 2023 год
Синдикация контента: что это и как это работает
Синдикация контента: что это и как это работает Что такое синдикация контента? Синдикация контента ..
Связанная услуга: SEO (поисковая оптимизация)