Мы кое-что исправили

13 февраля 2006 г.

Мы только что исправили несколько проблем, на которые обратили наше внимание участники
Google Group
.

Регистр символов в строках robots.txt

Наш инструмент анализа robots.txt некорректно интерпретировал строки, содержащие заглавные буквы. Это исправлено. Все результаты с URL-адресами, содержащими заглавные буквы, обрабатываются корректно. Обратите внимание, что в файле robots.txt регистр правил не имеет значения. Например, Disallow: и disallow: интерпретируются одинаково. Однако регистр символов в URL-адресах имеет значение. Таким образом, для следующего файла robots.txt:

https://www.example.com/Myfile.html блокируется. Но
https://www.example.com/myfile.html не блокируется.

User-agents Google, отличные от Googlebot

Наш инструмент анализа robots.txt некорректно обрабатывал файлы robots.txt для user-agents Google, отличных от Googlebot. Это исправлено. User-agents Google, для которых мы предоставляем аналитику:

• Googlebot-Mobile: сканирует страницы для нашего
  мобильного индекса
• Googlebot-Image: сканирует страницы для нашего
  индекса изображений
• Googlebot-MediaPartners: сканирует страницы для определения
  контента AdSense (используется только,
  если вы показываете рекламу AdSense на своем сайте)

Файлы robots.txt с дополнительными начальными символами

Некоторые файлы robots.txt содержат дополнительные символы перед началом первого правила. Некоторые текстовые редакторы добавляют эти символы в файл, но вы не можете увидеть их с помощью редактора. Когда инструмент обрабатывал эти символы, он сообщал о синтаксической ошибке. Теперь инструмент имитирует поведение Googlebot и игнорирует эти дополнительные символы.

Регистр символов в URL-адресах сайта

Когда вы добавляете сайт, мы теперь преобразуем все буквы в доменной части URL-адреса в нижний регистр, независимо от того, как вы ввели буквы. Например, если вы введете
https://www.Example.com/, мы преобразуем это в
https://www.example.com/ в вашем аккаунте. Это относится только к домену, поэтому, например, если вы добавите https://www.Example.com/MySite/, мы преобразуем его в
https://www.example.com/MySite/. Если вы добавляли сайты в свой аккаунт, используя заглавные буквы, вы заметите, что части домена были преобразовываны в нижний регистр. Мы внесли это небольшое изменение в рамках наших усилий по обеспечению того, чтобы вы видели всю доступную статистику для вашего сайта.

Опубликовано Vanessa Fox