Как написать и отправить файл robots.txt

Вы можете
контролировать, к каким файлам могут обращаться краулеры
на вашем сайте с помощью файла robots.txt.

Файл robots.txt находится в корне вашего сайта. Таким образом, для сайта www.example.com, файл robots.txt находится по адресу www.example.com/robots.txt. robots.txt — это простой текстовый файл, который соответствует
Robots Exclusion Standard. Файл robots.txt состоит из одного или нескольких правил. Каждое правило блокирует или разрешает доступ для всех или конкретного краулера к указанному пути к файлу в домене или поддомене, где размещен файл robots.txt. Если вы не укажете иное в своем файле robots.txt, все файлы неявно разрешены для сканирования.

Вот простой файл robots.txt с двумя правилами:

Вот что означает этот файл robots.txt:

1. Пользовательскому агенту под названием Googlebot не разрешено сканировать любые URL-адреса, начинающиеся с
   https://example.com/nogooglebot/.
2. Всем остальным пользовательским агентам разрешено сканировать весь сайт. Это можно было бы опустить, и результат был бы таким же; поведение по умолчанию заключается в том, что пользовательским агентам разрешено сканировать весь сайт.
3. Файл sitemap сайта находится по адресу
   https://www.example.com/sitemap.xml.

Дополнительные примеры см. в разделе синтаксис .

Основные рекомендации по созданию файла robots.txt

Создание файла robots.txt и обеспечение его общей доступности и полезности включает четыре шага:

1. Создайте файл с именем robots.txt.
2. Добавьте правила в файл robots.txt.
3. Загрузите файл robots.txt в корень вашего сайта.
4. Протестируйте файл robots.txt.

Создайте файл robots.txt

Вы можете использовать практически любой текстовый редактор для создания файла robots.txt. Например, Notepad, TextEdit, vi и emacs могут создавать допустимые файлы robots.txt. Не используйте текстовый процессор; текстовые процессоры часто сохраняют файлы в проприетарном формате и могут добавлять неожиданные символы, такие как фигурные кавычки, которые могут вызвать проблемы для краулеров. Обязательно сохраните файл в кодировке UTF-8, если появится запрос в диалоговом окне сохранения файла.

Правила формата и расположения:

• Файл должен называться robots.txt.
• На вашем сайте может быть только один файл robots.txt.
• Файл robots.txt должен находиться в корне хоста сайта, к которому он применяется. Например, чтобы контролировать сканирование всех URL-адресов под
  https://www.example.com/, файл robots.txt должен находиться по адресу
  https://www.example.com/robots.txt. Он не может быть размещен в подкаталоге (например, по адресу https://example.com/pages/robots.txt). Если вы не уверены, как получить доступ к корню вашего сайта, или вам нужны разрешения для этого, свяжитесь с вашим провайдером веб-хостинга. Если вы не можете получить доступ к корню вашего сайта, используйте альтернативный метод блокировки, такой как meta теги.
• Файл robots.txt может быть размещен на поддомене (например,
  https://site.example.com/robots.txt) или на нестандартных портах (например, https://example.com:8181/robots.txt).
• Файл robots.txt применяется только к путям внутри протокола, хоста и порта, где он опубликован. То есть правила в https://example.com/robots.txt применяются только к файлам в
  https://example.com/, а не к поддоменам, таким как
  https://m.example.com/, или альтернативным протоколам, таким как
  http://example.com/.
• Файл robots.txt должен быть текстовым файлом в кодировке UTF-8 (включая ASCII). Google может игнорировать символы, которые не входят в диапазон UTF-8, что потенциально делает правила robots.txt недействительными.

Как писать правила robots.txt

Правила — это инструкции для краулеров о том, какие части вашего сайта они могут сканировать. Следуйте этим рекомендациям при добавлении правил в ваш файл robots.txt:

• Файл robots.txt состоит из одной или нескольких групп (набор правил).
• Каждая группа состоит из нескольких правил (также известных как директивы), по одному правилу на строку. Каждая группа начинается со строки User-agent , которая указывает цель групп.
• Группа предоставляет следующую информацию:
  • К кому применяется группа (пользовательский агент).
  • К каким каталогам или файлам этот агент может получить доступ.
  • К каким каталогам или файлам этот агент не может получить доступ.
• Краулеры обрабатывают группы сверху вниз. Пользовательский агент может соответствовать только одному набору правил, который является первой, наиболее специфичной группой, соответствующей данному пользовательскому агенту. Если для одного и того же пользовательского агента существует несколько групп, группы будут объединены в одну группу перед обработкой.
• По умолчанию предполагается, что пользовательский агент может сканировать любую страницу или каталог, не заблокированные правилом
  disallow .
• Правила чувствительны к регистру. Например, disallow: /file.asp применяется к
  https://www.example.com/file.asp, но не к
  https://www.example.com/FILE.asp.
• Символ # отмечает начало комментария. Комментарии игнорируются при обработке.

Сканеры Google поддерживают следующие правила в файлах robots.txt:

• user-agent: [Обязательно, одно или несколько на группу] Правило указывает имя автоматического клиента, известного как сканер поисковой системы, к которому применяется правило. Это первая строка для любой группы правил. Имена пользовательских агентов Google перечислены в
  списке пользовательских агентов Google. Использование звездочки (*) соответствует всем сканерам, за исключением различных сканеров AdsBot, которые должны быть названы явно. Например:*disallow:
• [По крайней мере одна или несколько записей disallow или allow
  на правило] Каталог или страница относительно корневого домена, которые вы не хотите, чтобы пользовательский агент сканировал. Если правило относится к странице, это должно быть полное имя страницы, как оно отображается в браузере. Оно должно начинаться с символа и если оно относится к каталогу, оно должно заканчиваться знаком / . / allow:
• [По крайней мере одна или несколько записей disallow или allow
  на правило] Каталог или страница относительно корневого домена, которые могут быть просканированы только что упомянутым пользовательским агентом. Это используется для переопределения правила disallow
  чтобы разрешить сканирование подкаталога или страницы в запрещенном каталоге. Для одной страницы укажите полное имя страницы, как оно отображается в браузере. Оно должно начинаться с символа и если оно относится к каталогу, оно должно заканчиваться знаком / .
  / sitemap:
• [Необязательно, ноль или более на файл] Расположение карты сайта для этого сайта. URL-адрес карты сайта должен быть полным URL-адресом; Google не предполагает и не проверяет альтернативы http/https/www.non-www. Карты сайта — это хороший способ указать, какой контент Google должен сканировать, в отличие от того контента, который он может
  или не может сканировать. Узнайте больше о картах сайта. Пример:
  Все правила, кроме
  sitemap

, поддерживают символ подстановки для префикса пути, суффикса или всей строки.Строки, которые не соответствуют ни одному из этих правил, игнорируются. * Прочитайте нашу страницу о

интерпретации Google спецификации robots.txt

для полного описания каждого правила.
Загрузите файл robots.txt
После того, как вы сохранили файл robots.txt на своем компьютере, вы готовы сделать его доступным для сканеров поисковых систем. Не существует единого инструмента, который мог бы помочь вам в этом, потому что то, как вы загружаете файл robots.txt на свой сайт, зависит от архитектуры вашего сайта и сервера. Свяжитесь с вашей хостинговой компанией или поищите в документации вашей хостинговой компании; например, выполните поиск “upload files infomaniak”.

После загрузки файла robots.txt проверьте, доступен ли он публично и может ли Google его проанализировать.

Проверьте разметку robots.txt

Чтобы проверить, доступен ли ваш недавно загруженный файл robots.txt публично, откройте

окно приватного просмотра

(или эквивалентное) в вашем браузере и перейдите к расположению файла robots.txt. Например,
https://example.com/robots.txt
. Если вы видите содержимое вашего файла robots.txt, вы готовы проверить разметку. Google предлагает два варианта решения проблем с разметкой robots.txt:Отчет

robots.txt

1. в Search Console. Вы можете использовать этот отчет только для файлов robots.txt, которые уже доступны на вашем сайте.
   Если вы разработчик, ознакомьтесь и создайте библиотеку robots.txt с открытым исходным кодом от Google
2. , которая также используется в поиске Google. Вы можете использовать этот инструмент для локального тестирования файлов robots.txt на вашем компьютере.
   Отправьте файл robots.txt в GoogleПосле того, как вы загрузили и протестировали свой файл robots.txt, сканеры Google автоматически найдут и начнут использовать ваш файл robots.txt. Вам не нужно ничего делать. Если вы обновили свой файл robots.txt и вам нужно как можно скорее обновить кэшированную копию Google, узнайте,

как отправить обновленный файл robots.txt

Как написать и отправить файл robots.txt | Alien Road
Файл robots.txt находится в корне вашего сайта. Узнайте, как создать файл robots.txt, посмотрите примеры и изучите правила robots.txt..