Статистика по всем страницам сайта

Экрановые отчеты консоли имеют ограничения: 50,000 50 000 изменений страниц в разделе «Индексирование» и первые 3 000 запросов за три месяца в разделе «Поисковые запросы». Расширенная статистика — это способ обойти эти ограничения в виде скачиваемого архива без таких лимитов.

Условие

Архив генерируется только в том случае, если на сайте размещен файл Sitemap, который был скачан поисковым роботом. Это та деталь, на которой многие спотыкаются: файл Sitemap, переданный через интерфейс, но недоступный по URL, не учитывается. Архив охватывает страницы, указанные в sitemap, а также страницы, в исходном коде которых содержится rel="canonical" со ссылкой на страницу в sitemap.

Архив статусов страниц

Поля для каждого URL:

• url, httpCode, lastAccess — что робот нашел и когда.
• status — статус страницы в поиске.
• fromSitemap — был ли URL в sitemap.
• redirTarget — назначение редиректа.
• relCanonical — указанный канонический адрес.
• title и metaDescription — в том виде, в каком их прочитал робот.

Эти последние два пункта превращают архив в то, чего интерфейс предложить не может: полноценный аудит заголовков и описаний по всему сайту в том виде, в каком их видит Yandex, а не в том, в каком CMS считает их опубликованными. Поиск каждого дубликата заголовка в каталоге на пятьдесят тысяч страниц сводится к сортировке таблицы.

Архив запросов

Запросы, по которым каждая страница показывалась за последние семь дней, по всем устройствам и регионам, с указанием кликов, показов и средней позиции по показам. Семидневное окно короткое, поэтому это скорее инструмент для выборки, а не для анализа трендов, но в пределах этого окна он полон, в отличие от отчета на экране.

Как мы это используем

1. Скачайте архив статусов страниц.
2. Сделайте сводную таблицу по status , чтобы оценить масштаб каждой категории исключений.
3. Сортируйте по title , чтобы найти дубликаты и обрезанные теги.
4. Отфильтруйте relCanonical там, где он не равен url, что выявит канонические теги, которые никто не планировал.
5. Сопоставьте fromSitemap со статусом, чтобы найти страницы, которые отправлены на индексацию, но никогда не включаются в нее.

Ни на один из этих пяти вопросов нельзя ответить через интерфейс на крупном сайте, и на все пять находятся ответы за полдня с помощью архива.