Более подробная информация о том, когда Googlebot в последний раз посещал страницу

Вторник, 5 сентября 2006 г.

Большинство людей знают, что Googlebot скачивает страницы с веб-серверов для сканирования сети. Не так много
304 (Не изменено)
людей знают, что если Googlebot обращается к странице и получает квалифицированный ответ If-Modified-Since , то Googlebot не скачивает содержимое этой страницы. Это снижает объем трафика, потребляемого на вашем веб-сервере.

Когда вы смотрите на кэш страницы в Google (например, используя оператор
cache: или
нажимая ссылку «В кэше» под URL в результатах поиска), вы можете увидеть дату, когда Googlebot получил эту страницу. Раньше датой, которую мы указывали для кэша страницы, была дата, когда мы в последний раз успешно получали содержимое страницы. Это означало, что даже если мы посещали страницу совсем недавно, дата в кэше могла быть значительно более старой, если страница не менялась с предыдущего посещения. Из-за этого веб-мастерам было трудно использовать отображаемую нами дату кэша для определения самого последнего визита Googlebot. Рассмотрим следующий пример:

1. Googlebot сканирует страницу 12 апреля 2006 г.
2. Наша кэшированная версия этой страницы сообщает, что «Это кэш Google для
   https://www.example.com/ , полученный 12 апреля 2006 г., 20:02:06 GMT».
3. Периодически Googlebot проверяет, изменилась ли эта страница, и каждый раз получает ответ
   Not-Modified (Не изменено). Например, 27 августа 2006 г. Googlebot проверяет страницу, получает ответ Not-Modified и поэтому не скачивает содержимое страницы.
4. 28 августа 2006 г. наша кэшированная версия страницы все еще показывает дату 12 апреля 2006 г. — дату последнего скачивания содержимого страницы, несмотря на то, что Googlebot посещал ее днем ранее.

Недавно мы изменили отображаемую дату для кэшированной страницы, чтобы она отражала время последнего
доступа Googlebot к ней (независимо от того, изменилась страница или нет). Это должно облегчить вам определение наиболее точной даты последнего посещения страницы роботом Googlebot. Например, в приведенном выше примере кэшированная версия страницы теперь будет выглядеть так: «Это кэш Google для https://www.example.com/ , полученный 27 августа 2006 г., 13:13:37 GMT».

Обратите внимание, что это изменение будет отражаться для отдельных страниц по мере их обновления в нашем индексе.