Введение в robots.txt

Файл robots.txt сообщает краулерам поисковых систем, к каким URL-адресам краулер может получить доступ на вашем сайте.
Это используется в основном для того, чтобы избежать перегрузки вашего сайта запросами; это не
механизм для сокрытия веб-страницы от Google. Чтобы скрыть веб-страницу от Google,
заблокируйте индексирование с помощью noindex
или защитите страницу паролем.

Для чего используется файл robots.txt?

Файл robots.txt используется в первую очередь для управления трафиком краулеров на вашем сайте, и
обычно , в зависимости от типа файла, чтобы исключить файл из выдачи Google:

Влияние robots.txt на различные типы файлов
Веб-страница	Вы можете использовать файл robots.txt для веб-страниц (HTML, PDF или других немедиаформатов, которые может читать Google), чтобы управлять краулинговым трафиком, если вы считаете, что ваш сервер будет перегружен запросами от краулера Google, или чтобы избежать сканирования неважных или похожих страниц на вашем сайте. Если ваша веб-страница заблокирована с помощью файла robots.txt, ее URL-адрес все равно может появиться в результатах поиска, но результат поиска не будет содержать описание. Файлы изображений, видеофайлы, PDF-файлы и другие не-HTML файлы, встроенные в заблокированную страницу, также будут исключены из сканирования, если на них нет ссылок с других страниц, которым разрешено сканирование. Если вы видите этот результат поиска для своей страницы и хотите это исправить, удалите запись robots.txt, блокирующую страницу. Если вы хотите полностью скрыть страницу из Поиска, используйте другой метод.
Медиафайл	Используйте файл robots.txt для управления краулинговым трафиком, а также для предотвращения появления файлов изображений, видео и аудио в результатах поиска Google. Это не помешает другим страницам или пользователям ссылаться на ваш файл изображения, видео или аудио. Узнайте больше о том, как запретить появление изображений в Google. Узнайте больше о том, как удалить или ограничить появление ваших видеофайлов в Google.
Файл ресурса	Вы можете использовать файл robots.txt для блокировки файлов ресурсов, таких как неважные изображения, скрипты или файлы стилей, если вы считаете, что страницы, загруженные без этих ресурсов, не пострадают существенно от этой потери. Однако если отсутствие этих ресурсов затрудняет понимание страницы для краулера Google, не блокируйте их, иначе Google будет плохо анализировать страницы, зависящие от этих ресурсов.

Поймите ограничения файла robots.txt

Прежде чем создавать или редактировать файл robots.txt, вам следует узнать об ограничениях этого метода блокировки URL. В зависимости от ваших целей и ситуации, вы можете рассмотреть другие механизмы, чтобы ваши URL-адреса не находились в сети.

• Правила robots.txt могут поддерживаться не всеми поисковыми системами.
  Инструкции в файлах robots.txt не могут принудительно заставить краулер вести себя определенным образом на вашем сайте; краулер сам решает, подчиняться им или нет. В то время как Googlebot и другие авторитетные веб-краулеры подчиняются инструкциям в файле robots.txt, другие краулеры могут этого не делать. Поэтому, если вы хотите обезопасить информацию от веб-краулеров, лучше использовать другие методы блокировки, такие как
  защита паролем личных файлов на вашем сервере.
• Разные краулеры интерпретируют синтаксис по-разному.
  Хотя авторитетные веб-краулеры следуют правилам в файле robots.txt, каждый краулер может интерпретировать правила по-своему. Вы должны знать
  правильный синтаксис для обращения к разным веб-краулерам, так как некоторые могут не понимать определенные инструкции.
• Страница, запрещенная в robots.txt,
  все равно может быть проиндексирована, если на нее есть ссылки с других сайтов.
  Хотя Google не будет сканировать или индексировать контент, заблокированный файлом robots.txt, мы все равно можем найти и проиндексировать заблокированный URL-адрес, если на него есть ссылки из других мест в сети. В результате URL-адрес и, возможно, другая общедоступная информация, такая как анкорный текст в ссылках на страницу, все равно могут появляться в результатах поиска Google. Чтобы должным образом предотвратить появление вашего URL-адреса в результатах поиска Google,
  защите файлы на вашем сервере паролем,
  используйте noindex мета тег или заголовок ответа, или удалите страницу полностью.

Создайте или обновите файл robots.txt

Если вы решили, что он вам нужен, узнайте, как
создать файл robots.txt. Или если он у вас уже есть, узнайте, как
обновить его.

Хотите узнать больше? Ознакомьтесь со следующими ресурсами:

• Как написать и отправить файл robots.txt
• Обновите свой файл robots.txt
• Как Google интерпретирует спецификацию robots.txt