Темы в этом разделе описывают, как вы можете контролировать способность Google находить и анализировать ваш контент, чтобы показывать его в Поиске и других ресурсах Google, а также как запретить Google сканировать определенный контент на вашем сайте.
Вот краткое описание каждой страницы. Чтобы получить общее представление о сканировании и индексации, прочитайте наше руководство «Как работает Поиск».
Типы файлов, индексируемые Google
Google может индексировать контент большинства типов страниц и файлов. К наиболее распространенным типам файлов, которые мы индексируем, относятся:
Текст (.txt, .text, другие расширения файлов), включая исходный код на распространенных языках программирования: Базовый исходный код (.bas)
Поиск по типу файла
Вы можете использовать оператор filetype: в Поиске Google, чтобы ограничить результаты определенным типом файла. Например, filetype:rtf galway позволит найти файлы RTF, содержащие термин «galway».
Поддерживайте простую структуру URL
Структура URL сайта должна быть максимально простой. Подумайте об организации вашего контента так, чтобы URL строились логично и были максимально понятны для людей.
Рекомендуется: При необходимости используйте кодировку UTF-8. Например, в следующем примере используется кодировка UTF-8 для арабских символов в URL:
Если ваш сайт является мультирегиональным, рассмотрите возможность использования структуры URL, которая упрощает GEO-таргетинг вашего сайта. Дополнительные примеры того, как можно структурировать ваши URL, см. в разделе использования локальных URL.
Подумайте об использовании дефисов для разделения слов в ваших URL, так как это помогает пользователям и поисковым системам легче идентифицировать концепции в URL. Мы рекомендуем использовать дефисы ( – ) вместо подчеркиваний ( _ ) в ваших URL.
Чрезмерно сложные URL, особенно содержащие несколько параметров, могут создавать проблемы для краулеров, создавая неоправданно большое количество URL, указывающих на идентичный или похожий контент на вашем сайте. В результате Googlebot может потреблять гораздо больше пропускной способности, чем необходимо, или может быть не в состоянии полностью проиндексировать весь контент на вашем сайте.
Распространенные причины этой проблемы
Аддитивная фильтрация набора элементов. Многие сайты предоставляют различные представления одного и того же набора элементов или результатов поиска, часто позволяя пользователю фильтровать этот набор с использованием определенных критериев (например: покажите мне отели на пляже). Когда фильтры можно комбинировать аддитивным образом (например: отели на пляже и с фитнес-центром), количество URL (представлений данных) на сайтах взрывается. Создание большого количества слегка отличающихся списков отелей избыточно, потому что Googlebot должен видеть только небольшое количество списков, из которых он может попасть на страницу каждого отеля. Например: Отельные объекты по «выгодным тарифам»:https://www.example.com/hotel-search-results.jsp?Ne=292&N=461
Динамическая генерация документов. Это может привести к небольшим изменениям из-за счетчиков, меток времени или рекламы.
Проблемные параметры в URL. Идентификаторы сессий, например, могут создавать огромное количество дубликатов и большее количество URL.
Параметры сортировки. Некоторые крупные торговые сайты предоставляют несколько способов сортировки одних и тех же товаров, что приводит к гораздо большему количеству URL. Например:https://www.example.com/results?search_type=search_videos&search_query=tpb&search_sort=relevance&search_category=25
Проблемы с календарем. Динамически генерируемый календарь может создавать ссылки на будущие и прошлые даты без ограничений на даты начала или окончания. Например:https://www.example.com/calendar.php?d=13&m=8&y=2011
Битые относительные ссылки. Битые относительные ссылки часто могут вызывать бесконечные пространства. Часто эта проблема возникает из-за повторяющихся элементов пути. Например:https://www.example.com/index.shtml/discuss/category/school/061121/html/interview/category/health/070223/html/category/business/070302/html/category/community/070413/html/FAQ.htm
Решите эту проблему
Рассмотрите возможность использования файла robots.txt для блокировки доступа Googlebot к проблемным URL. Как правило, рассмотрите возможность блокировки динамических URL, таких как URL, генерирующие результаты поиска, или URL, которые могут создавать бесконечные пространства, такие как календари. Использование регулярных выражений в вашем файле robots.txt может позволить вам легко блокировать большое количество URL.
Если на вашем сайте есть бесконечный календарь, добавьте атрибут nofollow к ссылкам на динамически создаваемые страницы будущего календаря.
Связанная услуга: Маркетинговое агентство с ИИ