Файл robots.txt — это стандартный текстовый документ, расположенный в корневом каталоге веб-сайта, который дает инструкции веб-краулерам о том, какие страницы им следует или не следует посещать. Он служит основным инструментом общения между веб-мастером и ботами поисковых систем, помогая управлять тем, как используются ресурсы в процессе обнаружения. Хотя это фундаментальная часть технического SEO, многие владельцы сайтов неправильно понимают его ограничения, особенно в отношении индексации страниц и безопасности.
Какова цель файла robots.txt?
Основная цель файла robots.txt — управление краулинговым бюджетом. Поисковые системы, такие как Google и Bing, не обладают бесконечными ресурсами для ежедневного сканирования каждой страницы в интернете. Они выделяют каждому веб-сайту определенное количество времени и энергии, известное как краулинговый бюджет. Если на вашем сайте тысячи страниц с низкой ценностью, таких как внутренние результаты поиска, параметры фильтров или дублирующийся контент, боты могут тратить свое время на них, вместо того чтобы находить ваши самые важные статьи или продукты.
Используя файл robots.txt, вы можете направить ботов подальше от административных областей, временных папок или конфиденциальных поисковых запросов. Это гарантирует, что краулер потратит свое время на высококачественный контент, который вы действительно хотите видеть в результатах поиска. Важно помнить, что эти файлы являются публичными; любой может увидеть ваши правила, добавив /robots.txt к вашему домену. Поэтому вы никогда не должны использовать этот файл, чтобы скрыть личную информацию или конфиденциальные каталоги от пользователей.
Как правильно структурировать файл robots.txt?
Стандартный файл robots.txt использует простой синтаксис, состоящий из директив и значений. Каждый набор инструкций начинается с идентификации бота, к которому он применяется, за которым следуют конкретные правила для этого бота. Файл должен называться именно robots.txt, быть написан строчными буквами и размещен в корневом каталоге вашего веб-сервера. Если он помещен в подпапку, поисковые системы не будут его искать и будут предполагать, что правил не существует.
Основные компоненты файла включают следующие директивы:
- User-agent: Идентифицирует, к какому краулеру применяется правило (например, Googlebot, Bingbot или * для всех).
- Disallow: Указывает каталог или страницу, которую краулер не должен посещать.
- Allow: Предоставляет исключение из правила Disallow, разрешая сканирование определенной подпапки.
- Sitemap: Указывает краулеру местоположение вашей XML-карты сайта для помощи в обнаружении.
В типичной учетной записи простой файл robots.txt может выглядеть так: User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://example.com/sitemap_index.xml Это говорит всем ботам держаться подальше от области администрирования WordPress, но разрешает им доступ к файлу AJAX, который часто необходим для функциональности сайта.
Почему Google все еще индексирует страницы, заблокированные в robots.txt?
Один из самых распространенных моментов путаницы в SEO — это разница между сканированием и индексацией. Robots.txt контролирует сканирование, а не индексацию. Если Google находит ссылку на страницу вашего сайта из внешнего источника, он знает, что страница существует. Даже если ваш файл robots.txt запрещает Google посещать эту страницу, поисковая система все равно может проиндексировать URL на основе информации, которую она собирает из внешней ссылки.
Это приводит к конкретной проблеме: если вы хотите полностью исключить страницу из результатов поиска, вы должны использовать метатег ‘noindex’. Однако тег ‘noindex’ работает только в том случае, если поисковая система может просканировать страницу, чтобы увидеть тег. Если вы блокируете страницу в robots.txt, бот никогда не посещает страницу, никогда не видит инструкцию ‘noindex’, и страница может остаться в результатах поиска. Чтобы страница была удалена через ‘noindex’, она должна быть доступна для краулера.
Распространенные ошибки robots.txt, которые вредят поисковым рейтингам
Ошибка в один символ в вашем файле robots.txt может иметь серьезные последствия. Во время миграции веб-сайтов или фаз разработки разработчики часто используют ‘Disallow: /’, чтобы предотвратить индексацию промежуточного сайта. Эта директива блокирует всех краулеров от каждой страницы сайта. Если этот код случайно перемещается на рабочий сервер, весь ваш веб-сайт в конечном итоге исчезнет из результатов поиска, так как ботам приказано прекратить посещения.
Еще одна частая ошибка — блокировка внутренних ресурсов, таких как файлы CSS и JavaScript. Исторически поисковые системы заботились только о текстовом контенте. Сегодня Googlebot рендерит страницы как современный браузер, чтобы оценить макет, мобильную дружелюбность и пользовательский опыт. Если ваш robots.txt блокирует папки, содержащие ваши стили или скрипты, поисковая система видит сломанную версию вашего сайта, что может привести к снижению рейтингов и ошибкам ‘удобства для мобильных устройств’ в консолях поиска.
Чувствительность к регистру — еще одна область, где возникают ошибки. Хотя директивы, такие как ‘User-agent’, не чувствительны к регистру, пути к файлам и папкам часто чувствительны. Например, ‘Disallow: /Private/’ не заблокирует папку с именем ‘/private/’. Лучшая практика — использовать строчные буквы для всех имен файлов и папок на вашем сервере, чтобы избежать этих технических конфликтов.
Управление robots.txt для электронной коммерции и крупных веб-сайтов
Крупные веб-сайты, такие как магазин Shopify, продающий тысячи товаров одежды, сталкиваются с уникальными проблемами. Платформы электронной коммерции часто генерируют огромное количество URL-адресов через фасетную навигацию, такую как фильтры по цвету, размеру или ценовому диапазону. Эти отфильтрованные страницы часто содержат дублирующийся контент, который не нужно индексировать. Без правильной стратегии robots.txt эти сайты могут легко исчерпать свой краулинговый бюджет на бесполезные параметры URL.
Например, вы можете использовать правило вроде ‘Disallow: /*?*’, чтобы заблокировать все URL-адреса, содержащие вопросительный знак, что часто означает параметр отслеживания или фильтр. Однако вы должны быть осторожны, чтобы не заблокировать важные страницы, которые также используют параметры. В Alien Road мы предлагаем просматривать ваши журналы внутренних поисковых запросов, чтобы определить, какие шаблоны URL сканируются чаще всего, и определить, приносят ли они реальную ценность пользователям поиска.
Как протестировать и проверить ваш файл robots.txt?
Прежде чем вносить изменения на ваш рабочий сайт, вы всегда должны проверять свои правила. Google предоставляет инструмент Robots.txt Tester в старой версии Search Console, который позволяет вам вставить ваш код и протестировать конкретные URL-адреса. Это помогает вам точно увидеть, какие правила блокируют какие страницы. Существуют также различные сторонние расширения для браузеров и онлайн-валидаторы, которые могут выделить синтаксические ошибки или логические конфликты.
Общий шаблон для проверки включает эти шаги:
- Проверьте, доступен ли файл по адресу yourdomain.com/robots.txt.
- Убедитесь, что нет правил ‘Disallow: /’, если вы не намерены блокировать весь сайт.
- Подтвердите, что ваши папки CSS и JS не заблокированы.
- Проверьте, правильно ли указан URL вашей XML-карты сайта в конце файла.
- Протестируйте ваши самые важные страницы продуктов или целевые страницы, чтобы убедиться, что они разрешены.
С чего начать на этой неделе
Вашим первым шагом должно быть посещение адреса /robots.txt вашего собственного веб-сайта, чтобы увидеть, какие инструкции активны в данный момент. Проверьте ваш отчет ‘Индексация’ в Google Search Console на наличие предупреждений ‘Проиндексировано, несмотря на блокировку в robots.txt’. Это указывает на то, что вы блокируете страницы, которые Google считает достаточно важными для индексации, что является признаком логической ошибки в вашей стратегии. Если вы найдете их, оцените, следует ли вам удалить блокировку или добавить тег ‘noindex’, разрешив сканирование. Наконец, убедитесь, что ваша карта сайта правильно связана, чтобы помочь краулерам эффективно перемещаться по вашему сайту.
Читать далее: SEO (Поисковая оптимизация) · SEO