Как запретить индексацию сайта или страниц?

Три инструмента скрывают контент от индексации, и они работают на разных уровнях: весь сайт или раздел, отдельная страница или часть текста страницы.

Сайт, раздел или страница

• Disallow в robots.txt.
• Тег robots метатаг с noindex или none.
• Авторизация — и Яндех специально рекомендует это для скрытия главной страницы, с причиной, которую стоит запомнить: главная страница, заблокированная в robots.txt все еще может появляться в результатах, если на нее ссылаются другие сайты. Блокировка — это не сокрытие.

Для всего по-настоящему ограниченного объедините авторизацию с ответом сервера 404, 403 или 410 для неавторизованных запросов, чтобы страница не просто отказывалась отображаться, но сообщала о своей недоступности.

Часть текста страницы

Элемент noindex — расширение Яндекса, отличное от метататага:

<noindex>текст, который не должен индексироваться</noindex>

Две правила делают его опасным при неправильном использовании:

• Если закрывающий тег отсутствует, весь оставшийся контент страницы считается скрытым. Один незакрытый тег может удалить текст целой страницы из индекса.
• Вложенные теги игнорируются после первого закрывающего тега, поэтому вложенность работает не так, как написано.

Для валидной разметки принимается форма комментария: <!--noindex-->…<!--/noindex-->.

Выбор между ними

Спросите себя, что должно произойти, если кто-то введет URL напрямую. Если ответ «они должны это увидеть, но страница не должна ранжироваться» — noindex. Если ответ «робот не должен тратить здесь время» — Disallow. Если ответ «это никто не должен видеть» — авторизация с соответствующим кодом состояния. Эти три инструмента не взаимозаменяемы, и самая частая ошибка — использовать второй вместо третьего.