Пятница, 14 марта 2025 г.
С помощью файла robots.txt, владельцы сайтов получают простой способ контролировать, какие части веб-сайта доступны для краулеров. Чтобы помочь владельцам сайтов точнее определять, как поисковые системы и веб-краулеры могут использовать их страницы, сообщество, занимающееся разработкой веб-стандартов,
предложило robots мета теги в 1996 году, всего через несколько месяцев после того, как метатеги были предложены для HTML (и, что примечательно, еще до основания Google). Позже заголовки X-Robots-Tag HTTP-ответа
были добавлены. Эти инструкции отправляются вместе с URL-адресом, поэтому краулеры могут учитывать их только в том случае, если им не запрещено сканирование URL-адреса через файл robots.txt. Вместе они формируют протокол исключения роботов (REP).
Взгляд на robots мета
теги Метатеги (или элементы) — это способ включения машиночитаемых метаданных. Robots
мета теги являются одним из «видов» метатегов и применяются к краулерам, включая поисковые краулеры. Они сигнализируют: заблокирован ли контент от индексации? Следует ли не переходить по ссылкам на странице при сканировании? Эту информацию легко указать прямо на странице с помощью robots мета тегов. Протокол исключения роботов для любого URL-адреса Чтобы предоставить тот же уровень контроля для не-HTML контента, был создан заголовок HTTP-ответа X-Robots-Tag “. Эти HTTP-заголовки также считаются частью REP. Заголовок поддерживает те же значения, что и метатег robots, и может быть добавлен к любому контенту, размещенному в сети. Помимо HTML, Google поддерживает его для такого контента, как PDF-файлы, документы и даже изображения. Большинство этих форматов файлов не имеют механизма, эквивалентного метатегам, поэтому заголовок HTTP-ответа очень полезен.
Начало работы с robots
метатегами и заголовкамиСинтаксис прост и расширяем. Правила обычно реализуются либо веб-разработчиком, либо через систему управления контентом (CMS), где владельцы сайтов могут использовать флажки или выпадающие меню для выбора своих предпочтений. Эти элементы управления могут адресоваться к определенному краулеру, например Googlebot, или, при опускании конкретного имени, ко всем краулерам, поддерживающим эти значения.
Например, следующие правила предписывают всем краулерам не использовать связанную страницу для индексации:
В виде HTML мета тега на веб-странице: Изучение существующих мета
тегов или заголовков ответа требует немного больше усилий и прямого анализа содержимого страницы или заголовков. Вы можете просмотреть HTML метатеги на любой странице, либо посмотрев исходный код страницы в вашем браузере, либо используя инструменты разработчика Chrome для инспектирования страницы В виде
заголовка HTTP-ответа
Вы можете проверить заголовки HTTP-ответа для отдельных URL-адресов с помощью инструментов разработчика Chrome в
- панели сети
Другие примеры того, что вы можете сделать:Не показывать сниппет для этой страницы или документа.В заголовке HTTP:
или в HTML:Не индексировать эту страницу в
ExampleBot-News, не указывая предпочтений для других.
Эти элементы управления явно задают один краулер.. - или ExampleBot:
не должен показывать сниппет, и кроме того, все краулеры не должны следовать по ссылкам на этой странице.
Обратите внимание, что применяются наиболее ограничивающие действительные директивы, поэтому для.
ExampleBot
директива будет объединена как « | nosnippet, nofollow или |
Выбор механизма REP Все эти элементы управления по своей природе расширяемы. За прошедшие годы владельцы сайтов, операторы краулеров и поисковые системы работали вместе над их развитием. Исторически все начиналось с горстки значений, включая | |
, а позже появились и другие значения, такие как | ru |
ru
ru
ru
ru ru ru ruru
ru, ruru max-snippet: были приняты. И иногда значения устаревают, как это было в случае с noodp,
DMOZ / Open Directory Project
, который использовал сниппеты до закрытия каталога. Существует
множество значений , поддерживаемых Google для владельцев сайтов, и аналогичное количество от других крупных операторов краулеров.
Под эгидой REP владельцы сайтов могут контролировать, что сканируется и как эти данные используются в поисковых системах. Они могут делать это на широком уровне для больших частей веб-сайтов или на очень детальном уровне для отдельных страниц и даже для изображений на страницах. Эти элементы управления хорошо известны, доступны во всех распространенных системах управления контентом, широко поддерживаются коммерческими операторами и сегодня используются на миллиардах хостов в Интернете.
Ознакомьтесь с остальной частью серии Robots Refresher:
Как мы это применяем
Google announcements age. We keep this post here for the record, and we note for clients whether the behaviour it describes still applies today or has since been superseded.
Связанные услуги