Screaming Frog — это краулер веб-сайтов, который помогает улучшить SEO на сайте путем извлечения данных и аудита распространенных SEO-проблем, таких как битые ссылки и цепочки редиректов. Это настольное приложение действует как мост между вашей локальной машиной и сервером веб-сайта, предоставляя детальное представление о том, как боты поисковых систем интерпретируют структуру и контент вашего сайта. Используя этот инструмент, SEO-специалисты могут быстро выявить технические барьеры, препятствующие эффективной индексации и ранжированию на страницах результатов поисковых систем.
Настройка вашего первого сканирования в Screaming Frog
Чтобы начать технический аудит, вы должны сначала настроить программное обеспечение для обработки конкретного масштаба вашего веб-сайта. После установки режим по умолчанию — Spider, который позволяет ввести корневой URL и позволить программе следовать по каждой внутренней ссылке, которую она находит. Для типичного сайта электронной коммерции с тысячами страниц товаров вам следует сначала проверить настройки памяти. Перейдите в Configuration > System > Memory, чтобы убедиться, что программа может использовать достаточно оперативной памяти для хранения данных сканирования без сбоев. Большинство современных компьютеров могут обрабатывать от 4 до 8 ГБ для сайтов среднего размера, но для более крупных доменов может потребоваться 16 ГБ или более для завершения процесса.
После выделения памяти введите адрес вашего веб-сайта в поле ‘Enter URL to spider’ в верхней части интерфейса. Перед нажатием кнопки запуска принято просматривать конфигурацию Spider в меню Configuration. Здесь вы можете решить, хотите ли вы сканировать изображения, CSS и JavaScript-файлы. Хотя сканирование этих ресурсов дает более полное представление о процессе загрузки страницы, оно также увеличивает время и память, необходимые для сканирования. Если ваша цель — быстрая проверка кодов состояния и заголовков, вы можете отключить их, чтобы ускорить начальный этап сбора данных.
Как настроить паука для полного сканирования?
Полный технический аудит требует, чтобы паук смотрел дальше простых HTML-ссылок. В меню Configuration > Spider вам следует включить опцию ‘Crawl All Subdomains’, если ваш сайт использует различные префиксы, такие как ‘blog.example.com’ или ‘shop.example.com’. Это гарантирует, что паук не остановится на границе основного домена. Кроме того, вам следует установить флажок ‘Crawl Outside Start Folder’, если вы начинаете сканирование из определенной подпапки, но хотите увидеть, как она связана с остальной архитектурой сайта. Эти настройки являются фундаментальными для захвата полного объема среды внутренних ссылок домена.
Еще одна расширенная настройка касается рендеринга JavaScript. Многие современные веб-сайты, построенные на фреймворках, таких как React или Angular, не отображают контент до тех пор, пока не будет выполнен JavaScript. Если вы сканируете эти сайты, используя режим по умолчанию ‘Text Only’, паук увидит пустую страницу. Чтобы исправить это, перейдите в Configuration > Spider > Rendering и выберите ‘JavaScript’ из выпадающего меню. Это дает указание Screaming Frog использовать встроенный браузер Chrome для рендеринга страниц, что позволяет ему находить ссылки и контент, которые в противном случае оставались бы скрытыми от базового краулера. Это часто является разницей между успешным и неудачным аудитом для современных веб-приложений.
Выявление битых ссылок и проблем с редиректами
Одно из основных применений этого программного обеспечения — выявление ошибок 404 и цепочек редиректов. Как только сканирование завершено, или даже во время его выполнения, вы можете нажать на вкладку ‘Response Codes’, чтобы увидеть список каждого URL и его статус. Фильтрация по ‘Client Error (4xx)’ немедленно покажет вам каждую битую ссылку на сайте. Однако увидеть битый URL — это только половина дела; вам нужно знать, где находятся эти ссылки. Выбрав URL 404 в верхнем окне и нажав на вкладку ‘Inlinks’ внизу, программа отобразит каждую страницу, которая ссылается на этот битый ресурс, что упрощает поиск и обновление исходного кода.
Цепочки редиректов — еще одна распространенная проблема, которая влияет как на пользовательский опыт, так и на эффективность сканирования. Цепочка редиректов возникает, когда URL A указывает на URL B, который затем указывает на URL C. Это создает ненужную задержку и потребляет больше бюджета сканирования. Чтобы найти их, перейдите в Reports > Redirects > Redirect Chains после завершения сканирования. Этот отчет предоставляет четкую карту каждого ‘прыжка’ в последовательности редиректов. В Alien Road мы предлагаем решать их путем обновления исходной ссылки, чтобы она указывала непосредственно на конечный пункт назначения, что упрощает путь как для пользователей, так и для краулеров поисковых систем.
Какие ошибки метаданных встречаются чаще всего?
- Дублирующиеся заголовки страниц, которые сбивают поисковые системы с толку относительно того, какая страница является наиболее релевантной.
- Отсутствующие мета-описания, которые приводят к автоматической генерации сниппетов в результатах поиска.
- Заголовки страниц длиннее 60 символов или 568 пикселей, которые обрезаются в результатах поиска.
- Несколько тегов H1 на одной странице, что может размыть основной тематический фокус.
- Отсутствующий замещающий текст (alt text) у изображений, что снижает доступность и потенциал поиска по изображениям.
Вкладки ‘Page Titles’ и ‘Meta Description’ в программе предназначены для выделения этих проблем с помощью встроенных фильтров. Например, вы можете использовать фильтр ‘Over 60 Characters’ на вкладке Page Titles, чтобы определить каждую страницу, где ваш заголовок может быть обрезан в результатах поиска Google. Аналогично, фильтр ‘Duplicate’ помогает выявить случаи, когда вы могли случайно использовать один и тот же заголовок для разных вариантов товара. Исправление этих проблем с метаданными является приоритетной задачей, поскольку это напрямую влияет на показатель кликабельности из поисковых систем на ваш веб-сайт.
Анализ архитектуры сайта и глубины сканирования
Глубина сканирования относится к количеству кликов, необходимых для достижения страницы с главной страницы. На вкладке ‘Internal’ столбец ‘Crawl Depth’ предоставляет эти данные для каждого URL. Как правило, важный контент должен быть доступен в три клика или меньше. Если вы обнаружите, что критически важные страницы конверсии имеют глубину сканирования пять или шесть, это указывает на плохую структуру внутренних ссылок. Это может привести к тому, что эти страницы будут сканироваться реже или будут восприниматься алгоритмами поисковых систем как менее важные. Вы можете использовать вкладку ‘Site Structure’ в правом окне, чтобы увидеть визуальную разбивку того, как ваши страницы распределены по разным уровням сайта.
Визуализации также являются мощным способом объяснения архитектурных проблем заинтересованным сторонам. В меню ‘Visualisations’ вы можете выбрать ‘Crawl Tree Graph’ или ‘Force-Directed Directory Tree Diagram’. Эти интерактивные карты показывают связи между папками и страницами. Беспорядочная или чрезмерно сложная диаграмма часто подчеркивает отсутствие логической категоризации. Например, если пост в блоге зарыт под пятью подпапками, визуализация покажет длинную тонкую ветку, тянущуюся от центра. Это визуальное доказательство часто более убедительно, чем электронная таблица, при рекомендации пересмотра структуры сайта.
Как можно использовать Screaming Frog для миграции сайта?
Во время миграции сайта обеспечение того, чтобы старые URL правильно перенаправлялись на новые, является самой важной задачей для поддержания SEO-рейтингов. Вы можете использовать ‘List Mode’ в Screaming Frog для проверки вашей карты редиректов. Вместо сканирования живого сайта измените режим на ‘List’ в меню Mode и загрузите текстовый файл или CSV, содержащий ваши старые URL. Перед началом сканирования перейдите в Configuration > Spider > Advanced и убедитесь, что установлен флажок ‘Always Follow Redirects’. Как только вы запустите сканирование, программа покажет вам конечный пункт назначения для каждого старого URL и код состояния, встреченный по пути.
Этот процесс позволяет проверить сотни редиректов за считанные секунды. Вы можете сравнить столбец ‘Address’ (старый URL) со столбцом ‘Redirect URL’ (новый URL), чтобы убедиться, что они соответствуют вашей предполагаемой карте редиректов. Если вы видите ошибки 404 в списке, это означает, что редирект не был реализован правильно или целевая страница отсутствует. Это проактивное тестирование предотвращает потерю органического трафика, которая обычно происходит, когда миграция выполняется без тщательной технической проверки. Это стандартная процедура для любого агентства, управляющего переходом домена или серьезным изменением структуры URL.
Интеграция данных API для комплексного аудита
Screaming Frog становится еще более эффективным, когда вы подключаете его к внешним источникам данных. Перейдя в Configuration > API Access, вы можете связать программу с Google Analytics, Google Search Console и PageSpeed Insights. Это позволяет вам видеть данные сканирования наряду с показателями производительности. Например, вы можете определить страницы, которые имеют большую глубину сканирования, но также получают значительное количество органического трафика из Search Console. Это главные кандидаты для улучшения внутренней перелинковки, потому что они уже хорошо работают, несмотря на то, что зарыты в архитектуре сайта.
Подключение API PageSpeed Insights особенно полезно для аудита Core Web Vitals. Программа будет получать такие показатели, как Largest Contentful Paint (LCP) и Cumulative Layout Shift (CLS) для каждого URL в вашем сканировании. Вместо того чтобы проверять страницы одну за другой в браузере, вы получаете массовый отчет, показывающий, какие разделы вашего сайта не соответствуют порогу LCP в 2,5 секунды. Этот подход, основанный на данных, позволяет вам расставить приоритеты технических исправлений для конкретных шаблонов или типов страниц, которые снижают общую производительность вашего сайта и показатели пользовательского опыта.
Пользовательская экстракция для конкретных потребностей в данных
Иногда вам нужно провести аудит данных, которые не являются частью стандартных SEO-тегов, таких как статус наличия, цена или имена авторов. Функция Custom Extraction позволяет использовать XPath, CSS Path или Regex для извлечения конкретного текста из HTML ваших страниц. Например, если вы хотите убедиться, что все посты в блоге имеют определенную разметку автора, вы можете определить CSS-класс, используемый для имени автора, и настроить экстрактор в Configuration > Custom > Extraction. Во время сканирования программа создаст новый столбец для этих данных, позволяя вам с первого взгляда увидеть, на каких страницах отсутствует информация.
Это также полезно для аудита реализации структурированных данных. Хотя существует специальная вкладка для структурированных данных, пользовательская экстракция может быть использована для двойной проверки того, что конкретные значения в вашей разметке Schema.org верны на тысячах страниц. Если на сайте электронной коммерции есть поле ‘Price’ в его JSON-LD, вы можете извлечь это значение и сравнить его с видимой ценой на странице, чтобы обеспечить согласованность. Этот уровень детализации помогает предотвратить проблемы с Google Merchant Center или отображением расширенных сниппетов, которые полагаются на точные и согласованные данные по всему домену.
С чего начать на этой неделе
- Загрузите бесплатную версию или лицензируйте полную версию Screaming Frog и запустите базовое сканирование вашего домена.
- Проверьте вкладку ‘Response Codes’ и экспортируйте все ошибки 4xx, чтобы выявить битые ссылки, требующие немедленного исправления.
- Перейдите на вкладку ‘Page Titles’ и отфильтруйте дубликаты, чтобы разрешить внутреннюю конкуренцию между похожими страницами.
- Подключите API Google Search Console, чтобы определить страницы, которые проиндексированы, но получили ноль кликов за последние 90 дней.
- Используйте функцию ‘Crawl Analysis’ в меню ‘Crawl Analysis’ для расчета показателя ссылок и внутреннего PageRank.
Следуя этим шагам, вы перейдете от поверхностного понимания вашего сайта к глубоким техническим знаниям о том, как он функционирует. Регулярное сканирование — это привычка, которая гарантирует, что мелкие ошибки не перерастут в серьезные проблемы с индексацией. Начните с самых критических ошибок — битых ссылок и циклов редиректа — прежде чем переходить к более сложным оптимизациям, таким как архитектура сайта и улучшения Core Web Vitals.
Читать далее: SEO (поисковая оптимизация) · SEO