Yandex может обнаруживать страницы с помощью тега аналитики Metrica, а не только через ссылки и карты сайта. У Google нет аналога, и для сайтов, разделы которых доступны только через формы, фильтры или навигацию на основе скриптов, это разница между тем, чтобы быть обойденным роботом и быть невидимым.
Кто должен дать согласие
Связывание требует участия обеих сторон. Запрос из Вебмастера (отправленный кем-то с правами на сайт) подтверждается пользователем Metrica с доступом к редактированию тегов или правами руководителя; запрос из Metrica работает наоборот. Если у них один и тот же владелец, он подтверждается автоматически. Сопоставление доменов игнорирует протокол и префикс www — несколько доменов могут разделять один тег, и несколько тегов могут быть привязаны к одному сайту.
Статусы
Ожидание подтверждения, Связано (обход начинается), Не подтверждено (отменено с любой стороны), и Ошибка подтверждения — у которой есть три конкретные причины: сайт не находится в консоли, его права не подтверждены или идентификатор тега введен неверно.
Этап проверки, который является важной частью
После включения обхода в разделе Индексация → Обход по тегам робот находит страницы, и Yandex показывает вам примеры перед продолжением, уведомляя вас, когда список готов. Это механизм безопасности, поскольку тег находится на каждой странице, которую посещает пользователь, включая страницы, которые никогда не должны индексироваться. Yandex называет категории, на которые стоит обратить внимание:
- Страницы действий — добавить в корзину, сравнить товары. Заблокировать от индексации.
- Корзины с товаром внутри. Заблокировать.
- Личная информация — адреса доставки клиентов, номера телефонов. Не просто заблокируйте: ограничьте доступ за аутентификацией.
- Дубликаты такие как URL с дополнительными параметрами. Объявите предпочтительную страницу.
Исправьте, дождитесь обновления списка, проверьте снова, затем включите индексацию. Пропуск этой проверки — это то, как приватные URL попадают в поисковый индекс.
Область применения
После включения настройка применяется ко всем версиям сайта — HTTP и HTTPS, с www.
Как мы это применяем
We enable tag crawling only after reading the example list line by line, because the tag is on pages no sitemap would ever contain — carts, order confirmations, account screens. The category worth stopping for is personal data: Yandex says to authenticate rather than block, and that is right. A noindex on a page that exposes a customer address is not a fix, it is a smaller version of the same problem.
Связанные услуги