Контролируйте, какую информацию Google видит на вашем сайте и что отображается в результатах поиска. Есть несколько причин, по которым вы можете захотеть скрыть контент от Google:
Чтобы сохранить конфиденциальность данных: На вашем сайте могут быть размещены личные данные, к которым вы не хотите предоставлять доступ другим пользователям. Вы можете заблокировать Google от сканирования таких данных, чтобы они не отображались в результатах поиска.
Чтобы скрыть контент, менее ценный для вашей аудитории: На вашем веб-сайте может быть один и тот же контент в разных местах, что может негативно повлиять на рейтинг ваших страниц в Google Поиске. Хорошим примером того, где может возникнуть дублированный контент, является общесайтовая функция поиска, помогающая пользователям ориентироваться в контенте сайта. Некоторые функции поиска генерируют и отображают пользовательские страницы результатов поиска каждый раз, когда любой пользователь вводит запрос. Google может сканировать все пользовательские страницы результатов поиска по отдельности, если они не заблокированы. В результате Google видит сайт со множеством похожих страниц и может классифицировать дублированный контент как спам, что может подорвать рейтинг страниц в Google Поиске. Ваш веб-сайт может делиться информацией, созданной другими сторонними источниками, которая доступна в других местах в Интернете. Google видит меньше ценности во включении ваших страниц, содержащих большое количество дублированного контента, в результаты Google Поиска. Вы можете заблокировать скопированный контент, чтобы улучшить то, что видит Google, и повысить рейтинг ваших страниц в Google Поиске.
Чтобы Google сосредоточился на вашем важном контенте: Если у вас очень большой сайт (многие тысячи URL-адресов) и страницы с менее важным контентом, или если у вас много дублированного контента, вы можете захотеть предотвратить сканирование Google дублированных или менее важных страниц, чтобы сосредоточиться на вашем более важном контенте.
Как заблокировать контент
Удалить существующий контент из Google
Удалить страницу, размещенную на вашем сайте, из Google
Для быстрого удаления используйте инструмент «Удаления», чтобы удалить страницу, размещенную на вашем сайте, из результатов поиска Google в течение дня.
Защитите или удалите все варианты URL-адреса для контента, который вы хотите удалить. Во многих случаях разные URL-адреса могут указывать на одну и ту же страницу. Например: example.com/puppies , example.com/PUPPIES и example.com/petchooser?pet=puppies . Узнайте, как найти правильный URL-адрес для блокировки .
Сделайте ваше удаление постоянным
Запросы, сделанные в инструменте «Удаления», действуют около 6 месяцев. Чтобы навсегда заблокировать страницу из результатов Google Поиска, выполните одно из следующих действий:
Удалите или обновите контент на вашей странице . Это самый безопасный способ предотвратить появление вашей информации в других поисковых системах, которые могут не соблюдать тег noindex. Это также гарантирует, что другие люди не смогут получить доступ к вашей странице.
Защитите вашу страницу паролем . Ограничение доступа к вашей странице позволяет нужным пользователям просматривать вашу страницу, предотвращая при этом доступ к ней Googlebot и другим веб-сканерам.
Добавьте тег noindex на вашу страницу . Тег noindex только блокирует появление вашей страницы в результатах поиска Google. Пользователи и другие поисковые системы, которые не поддерживают noindex, все равно могут получить доступ к вашей странице.
Удалить изображение из результатов поиска
Удалить информацию из других свойств Google
Чтобы удалить контент из других свойств Google, поищите в документации справки для вашего продукта, чтобы узнать, как его удалить. Например:
Google Shopping и некоторые другие свойства : Откажитесь от результатов поиска для конкретных свойств Google .
Как удалить контент с сайта, который мне не принадлежит?
Удалить изображения, размещенные на вашем сайте, из результатов поиска
Для быстрого удаления используйте инструмент «Удаления», чтобы удалить изображения, размещенные на вашем сайте, из результатов поиска Google в течение нескольких часов.
Для неэкстренного удаления изображений
Чтобы предотвратить появление изображений с вашего сайта в результатах поиска Google, добавьте файл robots.txt в корень сервера, который блокирует изображение. Хотя удаление изображения из результатов поиска занимает больше времени, чем использование инструмента «Удаления», это дает вам больше гибкости и контроля за счет использования подстановочных знаков или блокировки подпутей. Это также относится ко всем поисковым системам, в то время как инструмент «Удалить URL-адреса» применяется только к Google.
Например, если вы хотите, чтобы Google исключил изображение dogs.jpg, которое появляется на вашем сайте по адресу www.yoursite.com/images/dogs.jpg , добавьте следующее в ваш файл robots.txt:
В следующий раз, когда Google просканирует ваш сайт, мы увидим это правило и удалим ваше изображение из наших результатов поиска.
Правила могут включать специальные символы для большей гибкости и контроля. Символ * соответствует любой последовательности символов, а шаблоны могут заканчиваться на $ для обозначения конца пути.
Чтобы удалить несколько изображений на вашем сайте из нашего индекса, добавьте правило disallow для каждого изображения, или если изображения имеют общий шаблон, такой как суффикс в имени файла, используйте символ * в имени файла. Например:
Чтобы удалить все изображения на вашем сайте из нашего индекса, поместите следующий файл robots.txt в корень вашего сервера:
Чтобы удалить все файлы определенного типа (например, чтобы включить .jpg, но не изображения .gif), вы бы использовали следующую запись robots.txt:
Указав Googlebot-Image в качестве User-agent , изображения будут исключены из Google Картинок. Если вы хотите исключить изображения из всех поисков Google (включая Google Поиск и Google Картинки), укажите агент пользователя Googlebot.
Как удалить изображения из свойств, которые мне не принадлежат?
См. документацию справки Google Поиска о том, как удалить изображение из результатов поиска .
Держите отредактированную информацию вне Google Поиска
При публикации документов и изображений в Интернете вы можете непреднамеренно опубликовать информацию, выходящую за рамки того, что сразу видно человеческому глазу. В частности, информация, которую вы можете не видеть или которая предназначалась для редактирования, может быть включена в некоторые форматы документов и видна поисковым системам.
Поскольку поисковые системы индексируют общедоступные материалы в Интернете, включая изображения, контент, который не полностью отредактирован, потенциально может быть найден в поисковых системах. Вспомогательные технологии, такие как программы чтения с экрана, могут сделать этот кажущийся «скрытым» контент более легкодоступным, а распространенные методы понимания изображений, такие как оптическое распознавание символов (OCR), делают возможным поиск этого контента.
Несмотря на то, что размещение текста мелким шрифтом, использование цвета шрифта, совпадающего с фоном, на котором находится текст, или покрытие текста изображением может сделать что-то невидимым для человеческого глаза, эти методы на самом деле не редактируют материал таким образом, чтобы предотвратить индексацию поисковыми системами и сделать его доступным для поиска.
Точно так же некоторые типы документов включают информацию различными способами, которые не сразу видны. Они могут включать историю изменений документа, позволяя пользователям видеть текст, который был отредактирован или изменен. Они могут сохранять полные версии изображений, содержащих обрезанную или отредактированную информацию. В файле также могут быть метаданные, которые не сразу видны, в которых могут быть перечислены имена людей, которые получили доступ к файлу или отредактировали его.
Вся эта информация может оставаться даже при экспорте или преобразовании документа из одного формата в другой. Если вам нужно удалить информацию из файла, крайне важно, чтобы информация была полностью удалена из файла до того, как этот файл станет общедоступным.
Вот несколько лучших практик того, как надлежащим образом редактировать информацию из документов, которые вы не хотите индексировать и делать доступными для обнаружения через Google Поиск.
Редактируйте и экспортируйте изображения перед их встраиванием
Google Поиск перечисляет изображения, которые он находит в Интернете, как те, что находятся на веб-страницах, так и те, что встроены в различные форматы документов. Встроенные изображения иногда редактируются с использованием только инструментов редактирования содержащего их документа. Это может привести к сбою этого редактирования, когда изображение индексируется отдельно от документа. Вот почему лучше редактировать изображения перед их встраиванием в документ, а не после. В частности:
Обрезайте нежелательную информацию из изображений перед их встраиванием в документы. Некоторые инструменты редактирования документов (например, текстовые процессоры или инструменты для создания слайдов) сохранят любые необрезанные изображения, которые вы используете в общедоступной версии документа, поэтому обязательно тщательно изучите документацию инструмента.
Полностью удалите или скройте любой текст или другие непубличные части изображения, так как системы OCR могут превратить любой увиденный текст изображения в текст, доступный для поиска.
После выполнения предложений в этом документе экспортируйте или сохраните обновленные изображения в виде невекторных или сплющенных форматов файлов изображений, таких как PNG или WEBP. Это предотвращает непреднамеренное включение этих частей изображений в общедоступный документ.
Редактируйте или удаляйте нежелательный текст перед переходом к общедоступному формату файла
Перед созданием общедоступного документа удалите любой текст, который вы не хотите отображать в окончательной версии файла. Перейдите к общедоступному формату, который не сохраняет вашу предыдущую историю изменений. Вот еще конкретные советы:
Используйте надлежащие инструменты редактирования документов, если файл должен содержать отредактированную информацию. Например, избегайте размещения черных прямоугольников поверх текста в качестве метода редактирования, так как это может привести к тому, что текст все равно будет включен в общедоступный документ.
Следуйте лучшим практикам редактирования документов для формата, который вы используете (PDF, изображение и т. д.).
Учитывайте информацию в самом URL-адресе или имени файла. Даже если часть веб-сайта заблокирована файлом robots.txt , URL-адреса могут быть проиндексированы в поиске (без их контента). Используйте хеши в параметрах URL вместо адресов электронной почты или имен.
Рассмотрите возможность использования аутентификации для ограничения доступа к отредактированному контенту. Обслуживайте полученную страницу входа с метатегом noindex robots, чтобы заблокировать индексацию.
При публикации убедитесь, что веб-сайт подтвержден в Google Search Console . Это позволяет при необходимости быстро выполнить действие по удалению.
Что делать, если неотредактированные или неправильно отредактированные документы индексируются в Поиске
Используйте инструмент «Удаления» для подтвержденного сайта, чтобы удалить соответствующие документы из Поиска. Используйте префикс URL, если вам нужно удалить много документов. Для подтвержденных сайтов удаление URL обычно занимает менее дня. Это предотвращает появление соответствующего документа при любых поисках отредактированного контента.
Разместите правильно отредактированный документ по другому URL-адресу. Это гарантирует, что любая вновь проиндексированная версия будет версией нового документа, а не старой версией документа (поскольку повторное сканирование URL-адресов и их обновление в поисковом индексе может занять некоторое время). Обновите все ссылки на эти документы.
Свяжитесь с любым другим сайтом, который также может размещать неправильно отредактированные документы, и попросите их также удалить их. Попросите их использовать инструмент «Удаления» в своей учетной записи Search Console, или вы можете использовать инструмент «Устаревший контент», чтобы попросить системы Google обновить результаты поиска.
Позвольте запросам на удаление URL-адресов истечь (это происходит после того, как URL-адреса были обновлены в индексе Google Поиска, или примерно через 6 месяцев).
Связанная услуга: Маркетинговое агентство с ИИ