Пользователи мобильного поиска скоро увидят более чистый и упорядоченный вид отображения URL-адресов в результатах поиска.
Освежаем знания о роботах: представление новой серии Понедельник, 24 февраля 2025 г.Время от времени мы получаем вопросы о robots.txt, мета-тегах robots и
функциях управления
, которые они предлагают. После нашей
A “декабрьской серии о сканировании, мы подумали, что это идеальное время для подготовки легкого повторения. Так что, если вам интересны эти элементы управления, следите за этой новой серией публикаций в блоге! Начнем с самого начала, с robots.txt.Итак, что такое robots.txt? robots.txt — это файл, который может предоставить любой веб-сайт. В своей простейшей форме это текстовый файл, который хранится на сервере. Практически у всех веб-сайтов есть файл robots.txt.
. Чтобы посмотреть его, возьмите доменное имя и добавьте
/robots.txt
в конец, затем перейдите по этому адресу. Например, файл robots.txt этого веб-сайта находится по адресу
developers.google.com/robots.txt .
Большинство веб-сайтов используют системы управления контентом (CMS), которые создают эти файлы автоматически, но даже если вы создаете свой веб-сайт «вручную», его легко создать. Мы рассмотрим некоторые варианты в будущих публикациях.
Для чего нужны эти файлы?
Файлы robots.txt сообщают веб-краулерам, какие части веб-сайта доступны для автоматизированного доступа (мы называем это сканированием), а какие нет. Это позволяет сайтам управлять всем сайтом, частями своего сайта или даже конкретными файлами на своем сайте. Помимо того, что файлы читаемы для машин, они также читаемы для людей. Это означает, что всегда есть однозначный ответ «да» или «нет» относительно того, разрешен ли доступ к странице в автоматическом режиме конкретным краулером.
Для любого разработчика краулера стандартной практикой является следование этим директивам, а для разработчика — их поддержка: для разработчиков доступно более
1000 библиотек с открытым исходным кодом
. Файл дает инструкции краулерам для оптимального сканирования веб-сайта. Современные веб-сайты могут быть сложными, автоматическая навигация по ним может быть сложной задачей, а правила robots.txt помогают краулерам сосредоточиться на соответствующем контенте. Это также помогает краулерам избегать динамически создаваемых страниц, которые могут создавать нагрузку на сервер и делать сканирование излишне неэффективным. Поскольку файлы robots.txt технически полезны и полезны для отношений с владельцами веб-сайтов, большинство коммерческих операторов краулеров следуют им.
Создано и расширено общественностью
Файлы robots.txt существуют почти столько же, сколько существует интернет, и это один из важнейших инструментов, позволяющих интернету работать так, как он работает. HTML, основа веб-страниц, был изобретен в 1991 году, первые браузеры появились в 1992 году, а robots.txt появился в 1994 году. Это означает, что они старше даже Google, который был основан в 1998 году. С тех пор формат практически не изменился, и
файл из ранних дней
был бы актуален и сейчас. Благодаря трехлетнему привлечению мирового сообщества он стал предлагаемым стандартом IETF
в 2022 году.
Если у вас есть веб-сайт, велика вероятность, что у вас также есть файл robots.txt. Вокруг robots.txt существует живое и активное сообщество, есть тысячи программных инструментов, которые помогают создавать, тестировать, управлять или понимать файлы robots.txt всех форм и размеров. Однако прелесть robots.txt заключается в том, что вам не нужны навороченные инструменты: прочитать файл можно в браузере, а для управляемого вами веб-сайта — настроить в простом текстовом редакторе.
Взгляд в будущее…
. Это также регулярно происходит по мере поддержки новых «пользовательских агентов» операторами краулеров и поисковыми системами, такими как те, которые используются для целей AI.
Как мы это применяем
Google announcements age. We keep this post here for the record, and we note for clients whether the behaviour it describes still applies today or has since been superseded.
Связанные услуги