Чтобы обновить правила в существующем файле robots.txt, скачайте копию файла robots.txt со своего сайта и внесите необходимые изменения. Затем загрузите обновленный файл на свой сайт.
Скачайте файл robots.txt
Вы можете скачать файл robots.txt разными способами, например:
Перейдите к своему файлу robots.txt, например https://example.com/robots.txt и скопируйте его содержимое в новый текстовый файл на компьютере. Убедитесь, что вы следуете рекомендациям, касающимся формата файла при создании нового локального файла.
Скачайте фактическую копию файла robots.txt с помощью такого инструмента, как curl. Например:
Используйте отчет robots.txt в Search Console, чтобы скопировать содержимое файла robots.txt, которое затем можно вставить в файл на вашем компьютере.
Отредактируйте файл robots.txt
Откройте файл robots.txt, скачанный с вашего сайта, в текстовом редакторе и внесите необходимые изменения в правила. Убедитесь, что вы используете правильный синтаксис и сохраняете файл в кодировке UTF-8.
Загрузите файл robots.txt
Загрузите новый файл robots.txt в корневой каталог вашего сайта как текстовый файл с именем robots.txt. Способ загрузки файла на сайт сильно зависит от платформы и сервера. Ознакомьтесь с нашими советами по поиску помощи с загрузкой файла robots.txt на ваш сайт.
Обновите кэш robots.txt в Google
В процессе автоматического сканирования роботы Google замечают изменения, внесенные вами в файл robots.txt, и обновляют кэшированную версию каждые 24 часа. Если вам нужно обновить кэш быстрее, используйте функцию “Запросить повторное сканирование” в отчете robots.txt.
Alien Road
Как мы это применяем
Robots.txt changes propagate on Google’s schedule, not yours. We plan around the cache window when a change is part of a launch, because assuming immediate effect has cost clients days of blocked crawling.
