Подробное руководство по работе Поиска Google

Поиск Google — это полностью автоматизированная поисковая система, которая использует программное обеспечение, известное как веб-краулеры (сканеры), которые регулярно исследуют сеть для поиска страниц для добавления в наш индекс. Фактически, подавляющее большинство страниц, перечисленных в наших результатах, не отправляются вручную для включения, а обнаруживаются и добавляются автоматически, когда наши веб-краулеры исследуют сеть. В этом документе описываются этапы работы Поиска в контексте вашего веб-сайта. Наличие этих базовых знаний может помочь вам устранить проблемы со сканированием, добиться индексации ваших страниц и узнать, как оптимизировать отображение вашего сайта в Поиске Google.

Несколько примечаний перед началом

Прежде чем мы перейдем к подробностям того, как работает Поиск, важно отметить, кто Google не принимает оплату за более частое сканирование сайта или его более высокое ранжирование. Если кто-то говорит вам обратное, они неправы.

Google не гарантирует, что он будет сканировать, индексировать или показывать вашу страницу, даже если ваша страница соответствует Рекомендациям по поиску Google.

Представляем три этапа Поиска Google

Поиск Google работает в три этапа, и не все страницы проходят каждый этап:

1. Сканирование: Google загружает текст, изображения и видео со страниц, найденных в интернете, с помощью автоматизированных программ, называемых краулерами.
2. Индексирование: Google анализирует текст, изображения и видеофайлы на странице и сохраняет информацию в индексе Google, который представляет собой большую базу данных.
3. Отображение результатов поиска: Когда пользователь выполняет поиск в Google, Google возвращает информацию, релевантную запросу пользователя.

Сканирование

Первый этап — выяснить, какие страницы существуют в сети. Центрального реестра всех веб-страниц не существует, поэтому Google должен постоянно искать новые и обновленные страницы и добавлять их в свой список известных страниц. Этот процесс называется «обнаружением URL». Некоторые страницы известны, потому что Google уже посещал их. Другие страницы обнаруживаются, когда Google извлекает ссылку с известной страницы на новую страницу: например, страница-концентратор, такая как страница категории, ссылается на новую публикацию в блоге. Другие страницы обнаруживаются, когда вы отправляете список страниц (
карту сайта), чтобы Google их просканировал.

Как только Google обнаруживает URL страницы, он может посетить (или «просканировать») страницу, чтобы узнать, что на ней находится. Мы используем огромный набор компьютеров для сканирования миллиардов страниц в сети. Программа, которая выполняет загрузку, называется Googlebot
(также известная как краулер, робот, бот или паук). Googlebot использует алгоритмический процесс для определения того, какие сайты сканировать, как часто и сколько страниц загружать с каждого сайта.
Краулеры Google
также запрограммированы таким образом, чтобы не сканировать сайт слишком быстро во избежание его перегрузки. Этот механизм основан на ответах сайта (например,
ошибки HTTP 500 означают «замедлить работу»).

). Однако Googlebot сканирует не все обнаруженные им страницы. Некоторые страницы могут быть
запрещены для сканирования владельцем сайта, другие страницы могут быть недоступны без входа на сайт.

Во время сканирования Google рендерит страницу и
выполняет любой обнаруженный JavaScript
используя недавнюю версию
Chrome, аналогично тому, как ваш браузер рендерит посещаемые вами страницы. Рендеринг важен, поскольку веб-сайты часто полагаются на JavaScript для вывода контента на страницу, и без рендеринга Google может не увидеть этот контент.

Сканирование зависит от того, могут ли краулеры Google получить доступ к сайту. Некоторые распространенные проблемы с доступом Googlebot к сайтам включают:

• Проблемы с сервером, обслуживающим сайт
• Проблемы с сетью
• Правила robots.txt, запрещающие доступ Googlebot к странице

Индексирование

После сканирования страницы Google пытается понять, о чем эта страница. Этот этап называется индексированием, и он включает в себя обработку и анализ текстового контента, а также ключевых тегов и атрибутов контента, таких как
<title> элементы
и альт-атрибуты,
изображения,
видео, и

многое другое.
В процессе индексирования Google определяет, является ли страницадубликатом другой страницы в интернете или канонической

. Каноническая страница — это страница, которая может отображаться в результатах поиска. Чтобы выбрать каноническую страницу, мы сначала группируем (также известное как кластеризация) найденные нами в интернете страницы с похожим контентом, а затем выбираем ту, которая наиболее репрезентативна для группы. Остальные страницы в группе являются альтернативными версиями, которые могут отображаться в разных контекстах, например, если пользователь ищет с мобильного устройства или ищет конкретную страницу из этого кластера.

Google также собирает сигналы о канонической странице и ее содержимом, которые могут быть использованы на следующем этапе, где мы показываем страницу в результатах поиска. Некоторые сигналы включают язык страницы, страну, для которой предназначен контент, и удобство использования страницы.

Собранная информация о канонической странице и ее кластере может храниться в индексе Google, большой базе данных, размещенной на тысячах компьютеров. Индексация не гарантируется; не каждая страница, обработанная Google, будет проиндексирована.

• Индексация также зависит от содержимого страницы и ее метаданных. Некоторые распространенные проблемы индексации могут включать:
• Качество контента на странице низкое Метатеги robots
• запрещают индексацию

Дизайн веб-сайта может затруднить индексацию

Узнайте больше о рекламе в Поиске Google

Когда пользователь вводит запрос, наши машины ищут в индексе соответствующие страницы и возвращают результаты, которые мы считаем наиболее качественными и релевантными запросу пользователя. Релевантность определяется сотнями факторов, которые могут включать такую информацию, как местоположение, язык и устройство пользователя (компьютер или телефон). Например, поиск «ремонт велосипедов» покажет пользователю в Париже другие результаты, чем пользователю в Гонконге. В зависимости от запроса пользователя поисковые функции, отображаемые на странице результатов поиска, также меняются. Например, поиск «ремонт велосипедов» скорее всего покажет локальные результаты и не покажетрезультаты изображений
, в то время как поиск «современный велосипед» с большей вероятностью покажет результаты изображений, но не локальные результаты. Вы можете изучить наиболее распространенные элементы пользовательского интерфейса веб-поиска Google в нашей.

Галерее визуальных элементов

• Search Console может сообщить вам, что страница проиндексирована, но вы не видите ее в результатах поиска. Это может быть связано с тем, что:
• Контент на странице не релевантен запросам пользователей
• Качество контента низкое Метатеги robots

препятствуют показу
Хотя в этом руководстве объясняется, как работает Поиск, мы постоянно работаем над улучшением наших алгоритмов. Вы можете следить за этими изменениями, подписавшись на.