Использование файла robots.txt

24 февраля 2006 г.

Пару недель назад мы
запустили инструмент анализа
robots.txt. Этот инструмент предоставляет вам информацию о том, как
Googlebot
интерпретирует ваш файл robots.txt. Вы можете прочитать больше о
стандарте исключения роботов robots.txt, но мы решили ответить на некоторые распространенные вопросы здесь.

Что такое файл robots.txt?

Файл robots.txt содержит ограничения для роботов поисковых систем (известных как «боты»), которые сканируют сеть. Эти боты автоматизированы, и перед тем, как получить доступ к страницам сайта, они проверяют, существует ли файл robots.txt, который запрещает им доступ к определенным страницам.

Нужен ли моему сайту файл robots.txt?

Только если ваш сайт содержит контент, который вы не хотите индексировать поисковыми системами. Если вы хотите, чтобы поисковые системы индексировали все на вашем сайте, вам не нужен файл robots.txt (даже пустой).

Где должен располагаться файл robots.txt?

Файл robots.txt должен находиться в корне домена. Файл robots.txt, расположенный в подкаталоге, недействителен, так как боты проверяют этот файл только в корне домена. Например, https://www.example.com/robots.txt является допустимым местоположением. Но,
https://www.example.com/mysite/robots.txt нет. Если у вас нет доступа к корню домена, вы можете ограничить доступ с помощью
мета-тега Robots.

Как создать файл robots.txt?

Вы можете создать этот файл в любом текстовом редакторе. Это должен быть
текстовый файл в кодировке ASCII, а не файл HTML. Имя файла должно быть написано строчными буквами.

Каким должен быть синтаксис моего файла robots.txt?

Самый простой файл robots.txt использует два правила:

• User-Agent: бот, к которому применяется следующее правило
• Disallow: страницы, которые вы хотите заблокировать

Эти две строки считаются одной записью в файле. Вы можете включить столько записей, сколько захотите. Вы можете включить несколько строк Disallow в одну запись.

User-Agent

User-agent — это определенный робот поисковой системы.
База данных веб-роботов
перечисляет много распространенных ботов. Вы можете настроить запись для применения к определенному боту (указав имя) или настроить ее для применения ко всем ботам (указав звездочку). Запись, которая применяется ко всем ботам, выглядит следующим образом:

Disallow

Строка Disallow перечисляет страницы, которые вы хотите заблокировать. Вы можете указать конкретный URL-адрес или шаблон. Запись должна начинаться с косой черты (/).

• Чтобы заблокировать весь сайт, используйте косую черту: Disallow: /
• Чтобы заблокировать каталог, укажите имя каталога, за которым следует косая черта:
  Disallow: /private_directory/
• Чтобы заблокировать страницу, укажите страницу:
  Disallow: /private_file.html

URL-адреса чувствительны к регистру. Например, Disallow: /private_file.html заблокировал бы
https://www.example.com/private_file.html, но разрешил бы
https://www.example.com/Private_File.html.

Как заблокировать Googlebot?

Google использует несколько user-agents. Вы можете заблокировать доступ к любому из них, указав имя бота в строке User-Agent записи.

• Googlebot: сканирует страницы из нашего
  веб-индекса.
• Googlebot-Mobile: сканирует страницы для нашего
  мобильного индекса.
• Googlebot-Image: сканирует страницы для нашего
  индекса изображений.
• Mediapartners-Google: сканирует страницы для определения
  контента AdSense
  (используется только в том случае, если вы показываете рекламу AdSense на своем сайте).

Могу ли я разрешить страницы?

Да, Googlebot распознает расширение стандарта robots.txt под названием Allow. Это расширение может не поддерживаться всеми остальными ботами поисковых систем, поэтому уточняйте это у других интересующих вас поисковых систем. Строка Allow
работает точно так же, как строка Disallow

. Просто укажите каталог или страницу, которую вы хотите разрешить. Disallow и Allow вместе. Например, чтобы заблокировать доступ ко всем страницам в подкаталоге, кроме одной, вы можете использовать следующие записи:

Эти записи заблокируют все страницы в папке folder1, кроме
myfile.html.

Я не хочу, чтобы некоторые страницы моего сайта индексировались, но я хочу показывать на них рекламу AdSense. Могу ли я это сделать?

Да, вы можете Disallow всех ботов, кроме Mediapartners-Google с этих страниц. Это предотвращает индексацию страниц, но позволяет боту
Googlebot-MediaPartners анализировать страницы для определения того, какие объявления показывать.
Googlebot-MediaPartners бот не делится страницами с другими пользовательскими агентами Google. Например, вы можете использовать следующие записи:

Я не хочу перечислять каждый файл, который хочу заблокировать. Могу ли я использовать сопоставление с шаблоном?

Да, Googlebot интерпретирует некоторые сопоставления с шаблонами. Это расширение стандарта, поэтому не все боты могут его поддерживать.

Сопоставление последовательности символов

Вы можете использовать звездочку (*) для сопоставления последовательности символов. Например, чтобы заблокировать доступ ко всем подкаталогам, начинающимся с private, вы можете использовать следующую запись:

Как убедиться, что мои блокировки и разрешения файлов работают так, как я хочу?

Вы можете использовать наш
инструмент анализа robots.txt чтобы:

• Проверить конкретные URL-адреса, чтобы узнать, разрешает или блокирует их ваш файл robots.txt.
• Увидеть, возникли ли у Googlebot проблемы с синтаксическим анализом каких-либо строк в вашем файле robots.txt.
• Протестировать изменения в вашем файле robots.txt.

Кроме того, если вы в настоящее время не используете файл robots.txt, вы можете создать его, а затем протестировать с помощью инструмента, прежде чем загружать на свой сайт.

Если я изменю свой файл robots.txt или загружу новый, как скоро это вступит в силу?

Мы обычно скачиваем файлы robots.txt примерно раз в день. Вы можете увидеть время последнего скачивания вашего файла, перейдя на вкладку robots.txt в вашей учетной записи Sitemaps и проверив
Последнее скачивание дату и время.

Опубликовано Vanessa Fox