Date with Googlebot, Part II: HTTP status codes and If-Modified-Since

Четверг, 27 ноября 2008 г.

Наше
свидание с Googlebot
было таким чудесным, но трудно сказать, правильно ли мы, веб-сайты, всё сделали. Мы вернули
301 постоянный редирект, но стоило ли нам отвечать 302 временным
редиректом (чтобы он знал, что мы набиваем цену)? Если мы отправим несколько новых 404 ошибок,
зайдет ли Googlebot на наш сайт снова? Стоит ли нам поддерживать заголовок
If-Modified-Since? Эти вопросы могут сбивать с толку, совсем как первая любовь. Поэтому,
без лишних слов, давайте спросим эксперта, Googlebot, и узнаем, как он оценил наш ответ
(код).

Дорогой Googlebot,
Недавно я провел генеральную уборку на своем сайте и удалил пару старых страниц-сирот.
Теперь они возвращают 404 код “Страница не найдена”. Это нормально, или я вас запуталы?

Фрэнки О’Фор

Дорогой Фрэнки,

404 ошибки — это стандартный способ сообщить мне, что страница больше не существует. Я не
буду расстраиваться — это нормально, что старые сайты очищаются от старых страниц или обновляются более свежим контентом.
На большинстве сайтов будет отображаться горстка 404 ошибок в отчете диагностики сканирования в Webmaster Tools. Это действительно не большая проблема. Пока у вас хорошая архитектура сайта со ссылками на весь ваш индексируемый контент, я буду доволен, потому что это значит, что я смогу найти все, что мне нужно.

Но не забывайте, что на ваш сайт прихожу не только я — эти страницы могут видеть
и люди. Если у вас есть только очень простое сообщение “404 страница не найдена”, посетители, которые
не так подкованы, могут растеряться. Есть много способов сделать вашу 404 страницу
более дружелюбной; быстрый вариант — наш 404 виджет в Webmaster Tools, который поможет
направлять людей на контент, который действительно существует. Для получения дополнительной информации вы можете прочитать запись в блоге. Большинство
веб-хостинговых компаний, больших и маленьких, позволят вам настроить вашу 404 страницу (а
также другие коды ответов).

С любовью и поцелуями,
Googlebot

Привет, Googlebot,
Я только что читал твой ответ Фрэнки выше, и у меня возникло пара вопросов.
Что делать, если кто-то ссылается на страницу, которой больше не существует? Как мне убедиться, что мои посетители
все равно найдут то, что ищут? Кроме того, что если я просто перемещу некоторые страницы? Я бы хотел лучше
организовать свой сайт, но я боюсь, что ты запутаешься. Как я могу тебе помочь?

С надеждой на ответ,
Малыш Джимми

Привет, Джимми,

Давайте представим, что в вашем письме нет ахронизмов, и перейдем к сути дела. Во-первых, давайте посмотрим на ссылки с других сайтов. Очевидно, они могут быть отличным источником трафика, и вы же не хотите, чтобы посетители видели недружелюбное сообщение “Страница не найдена”. Так что вы можете использовать силу могущественного редиректа.

Существует два типа редиректов —301 и 302. На самом деле их
гораздо больше, но сейчас нас интересуют именно эти два. Точно так же, как 404,
301 и 302 представляют собой разные типы кодов ответов, которые вы можете отправлять пользователям
и поисковым роботам. Оба они являются редиректами, но 301 является постоянным, а
302 — временным. Редирект 301 сообщает мне, что бы ни представляла собой эта страница раньше, теперь она находится в другом месте. Это идеально подходит для случаев, когда вы реорганизуете свой сайт, а также помогает со ссылками с других ресурсов. Всякий раз, когда я вижу 301, я обновляю все ссылки
на эту старую страницу на новую, о которой вы мне рассказали. Разве это не легко?

Если вы не знаете, с чего начать работу с редиректами, позвольте мне помочь вам. Это зависит от вашего веб-сервера, но вот несколько поисковых запросов, которые могут оказаться полезными:

• Apache:
  301 redirect apache
• IIS:
  301 redirect iis

Вы также можете заглянуть в свое руководство или файлы README, поставляемые с вашим сервером.

В качестве альтернативы редиректу вы можете написать веб-мастеру ссылающегося на вас сайта и попросить его обновить ссылку. Не знаете, какие сайты на вас ссылаются? Не отчаивайтесь — мои коллеги-люди позаботились об этом. В разделе “Ссылки” в Webmaster Tools вы можете ввести конкретный URL на своем сайте, чтобы узнать, кто на него ссылается.

Мои коллеги-люди также
только что выпустили инструмент
который показывает URL-адреса, ссылающиеся на несуществующие страницы на вашем сайте.

С информацией,
Googlebot

Дорогой Googlebot,
У меня проблема — я живу в очень динамичной части сети и постоянно меняю свое мнение
по разным вопросам. Когда ты задаешь мне вопросы, я никогда не отвечаю одинаково дважды — мои главные темы меняются
каждый час, и у меня постоянно появляется новый контент! Ты кажешься прямым парнем, которому нужны
прямые ответы. Как я могу сообщать тебе об изменениях, не запутывая тебя?

Темп О’Рари

Дорогой Темп,

Я только что сказал малышу Джимми, что 301 редиректы — это лучший способ сообщить Googlebot
-у о вашем новом адресе, но то, что вы ищете, — это 302.

После того как ваш сайт проиндексирован, это вежливый способ сообщить посетителям, что ваш адрес по-прежнему верен, но контент временно можно найти в другом месте. В таких ситуациях лучше подойдет
302 (или более редкий 307 временный редирект). Например,
orkut перенаправляет с https://orkut.com на
https://google.com/accounts/login?service=orkut, что не является страницей, которую люди
сочтут особенно полезной при поиске Orkut.

Во-первых, она находится на другом домене. Поэтому 302 была использована, чтобы сообщить мне, что весь контент и свойства ссылок URL не должны обновляться до целевого — это просто
временная страница.

Именно поэтому при поиске orkut вы видите orkut.com, а не этот более длинный URL.

Помните: простое общение — залог любых отношений.

Твой друг,
Googlebot

Капитан Googlebot,
Я из тех сайтов, которые любят заново изобретать себя. Я заметил, что ссылки на меня на сайтах моих друзей ведут на URL-адреса, от которых я избавился несколько редизайнов назад! Я настроил 301
редиректы на мои новые URL для этих страниц, но после этого я 301 перенаправил более новые
URL на свою следующую версию. Теперь я боюсь, что если вы будете следовать их указаниям при сканировании, вы в итоге пройдете по цепочке 301 редиректов, настолько длинной, что в конце концов вы перестанете заходить в гости.

Этель Бинки

Дорогая Этель,
Похоже, вы настроили несколько URL-адресов, которые перенаправляют на другие редиректы… ну надо же! В
небольших количествах такие “повторные редиректы” понятны, но, возможно, стоит подумать, зачем
вы вообще их используете. Если вы удалите 301 редиректы посередине
и будете направлять меня сразу на конечный пункт назначения для каждого из них, вы сэкономите нам обоим кучу
времени и HTTP-запросов. Но думайте не только о нас. Другим людям надоедает видеть эту старую
игру ‘подключение…. загрузка … подключение…’ в своей строке состояния.
Поставьте себя на их место — если ваша цепочка редиректов начинает выглядеть слишком длинной, пользователи
могут испугаться, что вы вовлекли их в бесконечный цикл! И боты, и люди
могут испугаться такого рода “вечных обязательств”. Вместо этого постарайтесь избавиться от этих цепочек редиректов или хотя бы сделать их короче. Подумайте о людях!]

es5v

С уважением,
Googlebot

Уважаемый Googlebot,
Я знаю, что ты меня любишь — ты даже запрашиваешь у меня неизмененные файлы, например, мою дипломную работу, которая не менялась уже 10 лет. Это начинает порядком надоедать! Могу ли я что-то сделать, чтобы ты не расходовал мою прекрасную полосу пропускания?

Джанет Кринклноуз

Джанет, Джанет, Джанет,
Похоже, тебе пора выучить новую фразу — 304 (Not Modified). Если я уже видел этот URL раньше, я вставляю If-Modified-Since в заголовок своего запроса. Эта строка также включает строку даты в формате HTTP. Если вы не хотите отправлять мне очередную копию этого файла, проявите характер и отправьте обратно нормальный HTTP-заголовок со статусом
304 (Not Modified)! Я люблю информацию, и это тоже подходит под данное определение. Когда вы это делаете, нет необходимости присылать мне копию файла — а это значит, что вы не тратите впустую свою полосу пропускания, а у меня не создается впечатление, будто мне подсовывают одно и то же старье.

Вы, наверное, заметите, что многие браузеры и прокси тоже используют If-Modified-Since
в своих заголовках. Так вы сможете успешно сократить эти надоедливые расходы на полосу пропускания.

А теперь ступайте и сэкономьте немного полосы пропускания!
Старый добрый Googlebot

Googlebot оказался очень полезен! Теперь мы знаем, как лучше всего отвечать пользователям и поисковым системам. Однако в следующий раз, когда мы соберемся вместе, нам нужно будет посидеть и откровенно поговорить с роботом (Свидание с Googlebot: Часть III уже скоро!).

Записано со слов Чуи [Трюхелла], Developer Advocate