Заметка о неподдерживаемых правилах в robots.txt

Вторник, 2 июля 2019 г.

Вчера мы объявили, что открываем исходный код
производственного парсера robots.txt от Google. Это был захватывающий момент, который прокладывает путь для потенциальных проектов Search с открытым исходным кодом в будущем! Обратная связь очень полезна, и мы с энтузиазмом собираем вопросы от
разработчиков и
веб-мастеров в равной степени. Один вопрос

выделился особенно, и мы ответим на него в этой статье:

Почему в код не включен обработчик для других правил, таких как crawl-delay? Черновой документ интернета , который мы опубликовали вчера, предоставляет расширяемую архитектуру для правил, не входящих в стандарт. Это означает, что если быкраулер захотел поддержать собственную строку, например unicorns: allowed.

,
он мог бы это сделать. Чтобы продемонстрировать, как это будет выглядеть в парсере, мы включили очень распространенную строку,, sitemap, в наш
парсер robots.txt с открытым исходным кодомОткрывая исходный код нашей библиотеки парсера, мы проанализировали использование правил robots.txt. В частности, мы сфокусировались на правилах, не поддерживаемых интернет-черновиком, таких как

crawl-delay
nofollow, и
noindex . Поскольку эти правила никогда не документировались Google, их использование по отношению к Googlebot, естественно, очень низкое. Копая дальше, мы увидели, что их использование противоречит другим правилам во всех файлах robots.txt в интернете, за исключением 0,001%. Эти ошибки наносят ущерб присутствию сайтов в результатах поиска Google таким образом, который, как нам кажется, веб-мастера не планировали.
В интересах поддержания здоровой экосистемы и подготовки к возможным будущим релизам с открытым исходным кодом мы прекращаем поддержку всего кода, обрабатывающего неподдерживаемые и неопубликованные правила (такие как noindex

• ), 1 сентября 2019 года. Для тех из вас, кто полагался на правило индексации
  noindex в файле robots.txt , управляющем сканированием, существует ряд альтернативных вариантов: noindex
  в тегах
• 404 meta 410 robots::
  Поддерживаемое как в заголовках ответа HTTP, так и в HTML, правило
• noindex является наиболее эффективным способом удаления URL-адресов из индекса при разрешенном сканировании.
  иКоды состояния HTTP
• Оба кода состояния означают, что страница не существует, что приведет к удалению таких URL-адресов из индекса Google после их сканирования и обработки. Защита паролем: Если разметка не используется для указания: контента по подписке или за пейволом
• , сокрытие страницы за входом в систему обычно приводит к ее удалению из индекса Google.:
  Disallow

в
robots.txtПоисковые системы могут индексировать только те страницы, о которых им известно, поэтому блокировка сканирования страницы обычно означает, что ее контент не будет проиндексирован. Хотя поисковая система может также проиндексировать URL на основе ссылок с других страниц, не видя самого контента, мы стремимся сделать такие страницы менее заметными в будущем. Инструмент удаления URL в Search Console
Этот инструмент — быстрый и простой способ временно удалить URL из результатов поиска Google. Для получения дополнительных инструкций о том, как удалить информацию из результатов поиска Google, посетите нашСправочный центр . Если у вас есть вопросы, вы можете найти нас в Twitter

и в нашем Сообществе веб-мастеров