Планируете перенести свой сайт на новый домен? Многим вебмастерам этот процесс кажется пугающим.

Сканирование через HTML-формы

Пятница, 11 апреля 2008 г.

Google постоянно тестирует новые идеи для улучшения нашего охвата сети. Мы уже выполняем довольно умные задачи, такие как сканирование JavaScript и Flash для поиска ссылок на новые веб-страницы, а сегодня хотели бы рассказать о другой новой технологии, с которой мы недавно начали экспериментировать. В последние несколько месяцев мы изучали некоторые HTML-формы, чтобы попытаться найти новые веб-страницы и URL-адреса, которые иначе не смогли бы обнаружить и проиндексировать для пользователей Google. В частности, когда мы встречаем <form>

элемент на высококачественном сайте, мы можем выполнить небольшое количество запросов с помощью этой формы. Для текстовых полей наши компьютеры автоматически выбирают слова с сайта, на котором размещена форма; для выпадающих меню, флажков и переключателей в форме мы выбираем значения из HTML. Выбрав значения для каждого поля, мы генерируем и пытаемся просканировать URL-адреса, соответствующие возможным запросам пользователей. Если мы убедимся, что страница, полученная в результате нашего запроса, является ценной, интересной и содержит контент, отсутствующий в нашем индексе, мы можем добавить ее в индекс точно так же, как любую другую веб-страницу.
Излишне говорить, что этот эксперимент следует лучшим принципам сетевой этики. Лишь небольшое число особенно полезных сайтов подвергается такой обработке, а наш сканирующий робот,всегда дружелюбный Googlebot , всегда соблюдает правила robots.txt,nofollow и noindex . Это означает, что если поисковая форма запрещена в robots.txt, мы не будем сканировать URL-адреса, которые она может сгенерировать. Аналогичным образом мы запрашиваем только формы GET

и избегаем форм, требующих каких-либо личных данных пользователя. Например, мы пропускаем формы, содержащие поле ввода пароля или использующие термины, обычно ассоциируемые с личной информацией (логины, идентификаторы пользователей, контакты и т. д.). Мы также помним о нагрузке, которую можем создать для сайтов, и ограничиваемся очень небольшим количеством запросов для каждого конкретного ресурса.

Веб-страницы, обнаруженные при расширенном сканировании, не вытесняют обычные страницы, которые уже участвуют в поиске, поэтому это изменение не снижает PageRank для других ваших страниц. Оно должно лишь повысить видимость вашего сайта в Google. Это изменение также существенно не влияет на сканирование, ранжирование или выбор других веб-страниц.
Этот эксперимент является частью масштабных усилий Google по расширению охвата интернета. Фактически, долгое время считалось, что HTML-формы — это шлюз к огромным объемам данных, выходящим за рамки обычных поисковых систем. Термины «глубокий веб», «скрытый веб» или
«невидимый веб»

использовались для обозначения такого контента, который до сих пор оставался недоступным для пользователей поисковых систем. Сканируя с помощью HTML-форм (и соблюдая robots.txt), мы можем направлять пользователей к документам, которые в противном случае было бы трудно найти через поиск, и предоставлять как вебмастерам, так и пользователям более качественный и полный опыт поиска.