Удаление URL: Часть I. URL-адреса и каталоги

Вторник, 30 марта 2010 г.

В настоящее время в Интернете
огромное количество контента.
В какой-то момент в сети может появиться то, чего вам совсем не хотелось бы видеть — от резкой записи в блоге, о публикации которой вы жалеете, до случайно попавших в открытый доступ конфиденциальных данных. В большинстве случаев удаление или ограничение доступа к этому контенту приведет к тому, что через некоторое время он естественным образом исчезнет из результатов поиска. Однако если вам нужно срочно удалить нежелательный контент, который был проиндексирован Google, и вы не можете ждать, пока он исчезнет сам по себе, вы можете использовать наш инструмент удаления URL-адресов, чтобы ускорить удаление контента из результатов поиска, если он соответствует определенным критериям
(которые мы обсудим ниже).

Мы подготовили серию статей в блоге, объясняющих, как успешно удалять различные типы контента и каких распространенных ошибок следует избегать. В этой первой статье я рассмотрю несколько основных сценариев: удаление отдельного URL-адреса, удаление целого каталога или сайта, а также повторное включение удаленного контента. Я также настоятельно рекомендую нашу предыдущую статью о
том, как управлять информацией о вас в интернете.

Удаление отдельного URL-адреса

Как правило, чтобы ваши запросы на удаление увенчались успехом, владелец рассматриваемого URL-адреса (или адресов) — будь то вы или кто-то другой — должен указать, что этот контент можно удалить. Для отдельного URL-адреса это можно сделать одним из трех способов:

• заблокировать сканирование страницы с помощью
  файла robots.txt
• заблокировать индексацию страницы с помощью
  noindex мета тега
• указать, что страница больше не существует, вернув
  404 или 410 код состояния

Перед отправкой запроса на удаление вы можете проверить, правильно ли заблокирован URL-адрес:

• robots.txt: Вы можете проверить, правильно ли заблокирован URL-адрес, используя функции
  Просмотреть как Googlebot
  или
  Проверить robots.txt
  в Инструментах для веб-мастеров.
• noindex мета тег: Вы можете использовать функцию «Просмотреть как Googlebot», чтобы убедиться, что мета тег появляется где-то между тегами <head> и </head> . Если вы хотите проверить страницу, которую не можете подтвердить в Инструментах для веб-мастеров, вы можете открыть URL-адрес в браузере, перейти в > ПросмотрИсходный код страницы
  , и убедиться, что вы видите мета тег между тегами <head> и </head>
• 404 . 410 и код состояния:
  Вы можете использовать функцию «Просмотреть как Googlebot» или такие инструменты, как
  Live HTTP Headers или
  web-sniffer.net
  , чтобы проверить, действительно ли URL-адрес возвращает правильный код. Иногда на «удаленных» страницах может “404быть написано
  200 « или «Не найдено», но на самом деле в заголовке страницы возвращается код состояния; поэтому полезно использовать надежный инструмент проверки заголовков для перепроверки.

Если нежелательный контент был удален со страницы, но сама страница не была заблокирована ни одним из вышеуказанных способов, вы не сможете полностью удалить этот URL-адрес из результатов нашего поиска. Чаще всего это происходит, когда вы не являетесь владельцем сайта, на котором размещен этот контент. О том, что делать в такой ситуации, мы рассказываем в следующей статье в
Части II нашей серии статей об удалении.

Если URL-адрес соответствует одному из вышеуказанных критериев, вы можете удалить его, перейдя в
Инструмент удаления, введя URL-адрес, который вы хотите удалить, и выбрав опцию «Веб-мастер уже заблокировал страницу». Обратите внимание, что вы должны ввести URL-адрес, на котором размещался контент, а не URL-адрес поиска Google, где он появляется. Например, введите
https://www.example.com/embarrassing-stuff.html а не
https://www.google.com/search?q=embarrassing+stuff.

Наша статья в справочном центре
содержит более подробную информацию о том, как убедиться, что вы вводите правильный URL-адрес. Помните, что если вы не укажете нам точный URL-адрес, который вас беспокоит, мы не сможем удалить тот контент, который вы имели в виду.

Удаление всего каталога или сайта

Чтобы удаление каталога или всего сайта прошло успешно, каталог или сайт должен быть
запрещен в
файле robots.txtсайта. Например, чтобы удалить https://www.example.com/secret/ каталог, ваш файл robots.txt должен содержать:

Недостаточно того, чтобы корень каталога возвращал код состояния, так как каталог может возвращать код состояния. 404 Недостаточно того, чтобы корень каталога возвращал код состояния, так как каталог может возвращать код состояния. 404 но по-прежнему отдает файлы, находящиеся в нем.
Использование robots.txt для блокировки каталога (или всего сайта) гарантирует, что все URL в этом каталоге (или на этом сайте) также будут заблокированы. Вы можете проверить, был ли каталог заблокирован правильно, используя функции
Просмотреть как Googlebot
или
Проверить robots.txt
в Webmaster Tools.

Только подтвержденные владельцы сайта могут запрашивать удаление всего сайта или каталога в Webmaster Tools. Чтобы запросить удаление каталога или сайта, нажмите на соответствующий сайт, а затем перейдите в раздел
Конфигурация сайта >
Доступ для сканеров >
Удалить URL. Если вы укажете корень своего сайта в качестве URL, который хотите удалить, вам будет предложено подтвердить удаление всего сайта. Если вы укажете подкаталог, выберите в выпадающем меню пункт «Удалить каталог».

Повторное включение контента

Вы можете в любой момент отменить запросы на удаление для любого принадлежащего вам сайта, включая те, которые были отправлены другими людьми. Для этого вы должны быть
подтвержденным владельцем этого сайта
в Webmaster Tools. После подтверждения прав владения вы можете перейти в раздел
Конфигурация сайта >
Доступ для сканеров >
Удалить URL >
Удаленные URL (или > Создано другими) и нажать «Отменить» рядом с любым запросом, который вы хотите отозвать.

Остались вопросы? Следите за продолжением нашей серии материалов об удалении контента из результатов поиска Google. Если вы не хотите ждать, многое об удалении URL и устранении неполадок в отдельных случаях уже написано в нашем
Справочном форуме.
Если у вас все еще остались вопросы после ознакомления с чужим опытом, вы можете их задать. Обратите внимание, что в большинстве случаев сложно дать актуальный совет по конкретному удалению, не зная сайт или URL, о котором идет речь. Мы рекомендуем делиться вашим URL с помощью
сервиса сокращения URL
, чтобы интересующий вас URL не индексировался как часть вашей публикации; некоторые службы сокращения даже позволяют отключить короткую ссылку позже, когда ваш вопрос будет решен.

Другие материалы этой серии

• Часть II: Удаление и обновление кэшированного контента
• Часть III: Удаление контента, который вам не принадлежит
• Часть IV: Отслеживание запросов, что не следует удалять

Наконец, вам также может быть интересно почитать о том,
как управлять доступной о вас информацией в сети.

Опубликовано: Susan Moskwa, Webmaster Trends Analyst