Как использовать robots.txt

Суббота, 1 марта 2008 г.

A robots.txt
устанавливает ограничения для роботов поисковых систем (известных как «боты»), которые сканируют веб. Эти боты работают автоматически, и перед тем как получить доступ к страницам сайта, они проверяют наличие файла robots.txt, который запрещает им доступ к определенным страницам. Если вы хотите защитить часть своего контента от индексации поисковыми системами, robots.txt — это простой инструмент для этого. Сегодня мы хотели бы обсудить, как им пользоваться.

Размещение Robots.txt

Файл robots.txt представляет собой текстовый файл с одной или несколькими записями. Файл robots.txt должен находиться в корне домена и должен называться строго robots.txt. Файл robots.txt, расположенный в подкаталоге, недействителен, так как боты ищут этот файл только в корне домена.

Например,
https://www.example.com/robots.txt — допустимое расположение. Но,
https://www.example.com/mysite/robots.txt — нет.

Пример файла robots.txt:

Блокировка или удаление всего веб-сайта с помощью файла robots.txt

Чтобы удалить свой сайт из поисковых систем и запретить всем роботам сканировать его в будущем, поместите следующий файл robots.txt в корневой каталог вашего сервера:

Чтобы удалить ваш сайт только из Google и запретить только Googlebot сканировать его в будущем, поместите следующий файл robots.txt в корневой каталог вашего сервера:

Каждый порт должен иметь собственный файл robots.txt. В частности, если вы предоставляете контент как по протоколу http, так и по протоколу https, вам понадобится отдельный файл robots.txt для каждого из этих протоколов. Например, чтобы разрешить Googlebot индексировать все http-страницы, но не индексировать https-страницы, вы бы использовали файлы robots.txt, приведенные ниже.

Для вашего протокола http (https://example.com/robots.txt):

Для протокола https (https://yourserver.com/robots.txt):

Разрешить всем роботам полный доступ

(альтернативное решение: просто создайте пустой файл «/robots.txt» или вообще не используйте его.)

Блокировка или удаление страниц с помощью файла robots.txt

Вы можете использовать файл robots.txt, чтобы заблокировать сканирование страниц вашего сайта ботом Googlebot.

Например, если вы вручную создаете файл robots.txt, чтобы заблокировать сканирование ботом Googlebot всех страниц в определенном каталоге (например, private), вы используете следующую запись robots.txt:

Чтобы заблокировать сканирование ботом Googlebot всех файлов определенного типа (например, .gif), вы используете следующую запись robots.txt:

Чтобы заблокировать сканирование ботом Googlebot любого URL, который включает ? (точнее, любого URL, который начинается с вашего доменного имени, за которым следует любая строка, за которой следует знак вопроса, за которым следует любая строка):

Хотя мы не сканируем и не индексируем содержимое страниц, заблокированных с помощью robots.txt, мы все равно можем сканировать и индексировать URL-адреса, если найдем их на других страницах в Интернете. В результате URL-адрес страницы или другая общедоступная информация, такая как анкорный текст в ссылках на сайт, может появиться в результатах поиска Google. Однако никакой контент с ваших страниц не будет сканироваться, индексироваться или отображаться.

В рамках инструментов для веб-мастеров Google предоставляет
инструмент анализа robots.txt. Этот инструмент считывает файл robots.txt так же, как это делает Googlebot, и выдает результаты для пользовательских агентов Google. Мы настоятельно рекомендуем использовать его. Прежде чем создавать robots.txt, подумайте о том, какой объем информации вы хотите сделать общедоступным или оставить конфиденциальным. Помните, что поисковая система — отличный способ сделать ваш контент более доступным для общественности. Правильно используя robots.txt, вы поможете пользователям с удовольствием посещать ваш сайт через поисковую систему и в то же время защитите свою конфиденциальную информацию от разглашения.

Авторы: Чао Ма, Ин Хьюк Сок