Robots Refresher: robots.txt — гибкий способ управления сканированием вашего сайта роботами

Пятница, 7 марта 2025 г.

Инструмент для владельцев сайтов с многолетней историей, robots.txt активно используется уже более 30 лет и широко поддерживается операторами краулеров (такими как инструменты для владельцев сайтов, сервисы и поисковые системы). В этом выпуске серии публикаций Robots Refresher, мы подробнее рассмотрим robots.txt как гибкий способ сообщить роботам, что им следует (или не следует) делать на вашем сайте.

Начало работы с robots.txt

Эти файлы работают просто: вы создаете текстовый файл с именем “robots.txt” и загружаете его на свой сайт — а если вы используете систему управления контентом (CMS), это, скорее всего, еще проще. Вы можете оставить файл robots.txt пустым (или не иметь его вообще), если разрешено сканирование всего сайта, или вы можете добавить правила для управления сканированием. Например, чтобы указать всем ботам (также известным как краулеры, роботы, пауки) не заходить на страницу «добавить в корзину», вы можете написать в файле robots.txt следующее:

Более специфические задачи, которые можно решить с помощью robots.txt

robots.txt — это швейцарский нож для выражения того, что должны или не должны делать разные роботы на вашем сайте: он может состоять всего из нескольких строк или быть сложным, с более детальными правилами для конкретных шаблонов URL. Вы можете использовать файл robots.txt для решения технических проблем (таких как ненужные страницы с пагинацией), или по редакционным или личным причинам (например, просто не желая, чтобы сканировались определенные материалы). Например, вы можете:

Сообщить нескольким ботам (но не всем) об одном и том же правиле Эта группа указывает как examplebot , так и otherbot не приближаться к пути /search .
Указать боту избегать путей, содержащих определенный текст Например, вы можете сказать documentsbot не сканировать файлы, в названии которых есть “.pdf”.
Разрешить боту сканировать ваш блог, но не черновики
Заблокировать краулеру доступ к определенной части вашего сайта, разрешив при этом доступ другим краулерам Этот файл robots.txt запрещает указанному aicorp-trainer-bot получать доступ ко всему, кроме главной страницы, в то время как другим краулерам (например, поисковым системам) доступ к сайту разрешен.
Оставить комментарий для себя в будущем Вы можете начать строку с # чтобы напомнить себе, почему вы добавили то или иное правило.

Дополнительную информацию можно найти в нашем списке полезных правил robots.txt.

Внесение изменений в файл robots.txt (на практике)

Протокол исключения роботов (REP) работает путем объединения правил (« разрешить» или «запретить») и указания того, к каким роботам эти правила применяются. Вам не нужно изучать программирование или возиться с инструментами; вы можете просто поместить эти правила в текстовый файл и загрузить его на свой сайт.Для большинства сайтов все еще проще! Если вы используете CMS, в нее обычно уже встроено средство для изменения файла robots.txt. Например, некоторые CMS позволяют настраивать файл robots.txt с помощью флажков или простой формы, а во многих есть плагины, помогающие настраивать и писать правила для robots.txt. Чтобы узнать, что возможно в вашей CMS, вы можете выполнить поиск по запросу название вашей CMS + “edit robots.txt file”.

После настройки вы также можете проверить правильность работы файла. Для этого создано множество инструментов тестирования от веб-сообщества, таких как

инструмент тестирования robots.txt от TametheBot
и этот
парсер robots.txt , использующий библиотеку парсера robots.txt с открытым исходным кодом . Если у вас есть какие-либо вопросы о robots.txt, вы можете найти нас на.

LinkedIn или пообщаться с единомышленниками на
наших форумах сообщества . Опубликовано.

Мартином Сплиттом и
John Mueller , команда по связям с поисковыми системамиОзнакомьтесь с остальной частью серии Robots Refresher:

frubots Refresher: robots.txt — un moyen flexible de contrôler la façon dont les machines explorent votre site web