Работа с дублирующимся контентом на собственном веб-сайте может оказаться серьезной задачей.
Использование RSS/Atom-лент для обнаружения новых URL-адресов
Прошло немало времени с тех пор, как мы опубликовали эту статью в блоге. Некоторая информация может быть устаревшей (например, некоторые изображения могут отсутствовать, а некоторые ссылки могут больше не работать).Пятница, 30 октября 2009 г.
Google использует многочисленные источники для поиска новых веб-страниц: от ссылок, которые мы находим в сети, до
отправленных URL-адресов
. Наша цель — быстро находить новые страницы, чтобы пользователи могли обнаружить свежий контент в результатах поиска Google вскоре после его публикации. Недавно мы запустили функцию, которая использует RSS- и Atom-ленты для обнаружения новых веб-страниц.
RSS/Atom-ленты завоевали большую популярность в последние годы как механизм публикации контента. Они позволяют читателям проверять наличие нового контента от издателей. Использование лент для обнаружения позволяет нам добавлять эти новые страницы в наш индекс быстрее, чем традиционные методы сканирования. Мы можем использовать множество потенциальных источников для получения обновлений из лент, включая Reader, службы уведомлений или прямое сканирование лент. В дальнейшем мы также можем изучить такие механизмы, как PubSubHubbub, для выявления обновленных материалов.
Чтобы мы могли использовать ваши RSS/Atom-ленты для обнаружения, важно, чтобы сканирование этих файлов не было запрещено вашим.
Как мы это применяем
We archive Search Central announcements because client questions often trace back to a change that was announced years ago. Reading the original is faster than reconstructing it from second-hand summaries.
Связанные услуги