Оптимизируйте сканирование и индексацию

Понедельник, 10 августа 2009 г.

Многие вопросы об архитектуре веб-сайта, сканировании и индексации, и даже проблемы с ранжированием можно свести к одному центральному вопросу:
Насколько легко поисковым системам сканировать ваш сайт?
Мы говорили на эту тему на ряде недавних мероприятий, и ниже вы найдете нашу презентацию и некоторые ключевые выводы по этой теме.

Интернет — это большоеместо; новый контент создается постоянно. У Google ограниченное количество ресурсов, поэтому, сталкиваясь с почти бесконечным количеством контента, доступного в Интернете, Googlebot может найти и просканировать только часть этого контента. Затем из того контента, который мы просканировали, мы можем проиндексировать только часть.

URL-адреса похожи на мосты между вашим веб-сайтом и сканером поисковой системы: сканеры должны иметь возможность находить и пересекать эти мосты (то есть находить и сканировать ваши URL-адреса), чтобы добраться до контента вашего сайта. Если ваши URL-адреса сложны или избыточны, сканеры будут тратить время на отслеживание и повторное отслеживание своих шагов; если ваши URL-адреса организованы и ведут непосредственно к отдельному контенту, сканеры могут тратить свое время на доступ к вашему контенту, а не на сканирование пустых страниц или сканирование одного и того же контента снова и снова через разные URL-адреса.

На слайдах выше вы можете увидеть несколько примеров того, чего не следует делать — реальные примеры (хотя имена были изменены для защиты невиновных) самодельных хаков и кодировок URL, параметров, маскирующихся под часть пути URL, бесконечных пространств сканирования и многого другого. Вы также найдете несколько рекомендаций по упорядочиванию этого лабиринта URL-адресов и помощи сканерам в более быстром поиске большего количества вашего контента, включая:

• Удалите специфические для пользователя детали из URL-адресов. Параметры URL, которые не меняют контент страницы (например, идентификаторы сеансов или порядок сортировки), можно удалить из URL и поместить в файл cookie. Поместив эту информацию в файл cookie и
  301 перенаправив
  на “чистый” URL, вы сохраняете информацию и уменьшаете количество URL-адресов, указывающих на один и тот же контент.
• Ограничьте бесконечные пространства. У вас есть календарь, который ссылается на бесконечное количество прошлых или будущих дат (каждая со своим уникальным URL)? У вас есть пагинированные данные, которые возвращают
  код состояния 200
  когда вы добавляете &page=3563 к URL, даже если страниц с данными не так много? Если это так, у вас есть
  бесконечное пространство сканирования на вашем веб-сайте, и сканеры могут тратить свою (и вашу!) пропускную способность, пытаясь просканировать все это. Рассмотрите
  эти советы
  по ограничению бесконечных пространств.
• Запретите действия, которые Googlebot не может выполнить. Используя свой
  файл robots.txt, вы можете запретить сканирование страниц входа, контактных форм, корзин покупок и других страниц, единственная функциональность которых — это то, что сканер не может выполнить. (Сканеры, как известно, экономны и застенчивы, поэтому они обычно не “Добавляют в корзину” или “Свяжитесь с нами”.) Это позволяет сканерам тратить больше времени на сканирование контента, с которым они действительно могут что-то сделать.
• Один человек, один голос. Один URL, один набор контента. В идеальном мире существует взаимно однозначное соответствие между URL и контентом: каждый URL ведет к уникальному фрагменту контента, и к каждому фрагменту контента можно получить доступ только через один URL. Чем ближе вы сможете подойти к этому идеалу, тем более оптимизированным будет ваш сайт для сканирования и индексации. Если ваша CMS или текущая настройка сайта затрудняют это, вы можете
  использовать элемент rel="canonical" чтобы указать предпочтительный URL для конкретного фрагмента контента.
  Если у вас есть дополнительные вопросы об оптимизации вашего сайта для сканирования и индексации, ознакомьтесь с некоторыми из наших

предыдущих публикаций по этой теме или загляните на наш Форум помощи
Опубликовано.

Сьюзан Москва
, аналитик тенденций для веб-мастеровОптимизируйте сканирование и индексацию | Alien Road