Site indexingКак работает поиск Яндекса?
Яндекс описывает свой собственный пайплайн в четыре этапа, и понимание того, к какому этапу относится проблема, превращает смутную жалобу в…
Site indexing
Site indexingЯндекс описывает свой собственный пайплайн в четыре этапа, и понимание того, к…
Как добавить сайт в поиск? Страницы появляются в поиске после того, как их посетят роботы Яндекса. Задача добавления сайта в…
Какие файлы могут быть включены в результаты поиска?
Yandex индексирует HTML плюс определенный список форматов файлов, каждый размером до 10 МБ: PDF; Microsoft Office DOC, DOCX, XLS, XLSX,…
Site indexingСколько страниц сайта попадает в поиск?
У вопроса «Сколько наших страниц в Yandex?» есть два ответа, и они измеряют разные вещи. Быстрая внешняя проверка Откройте окно…
Site indexingКак проверить, доступен ли сайт для пользователей и индексирующих роботов?
Доступность — это предварительное условие для всего остального. Яндекс прямо указывает на последствия: если робот не может зайти на сайт…
Site indexingКак проверить, все ли важные страницы попали в поиск?
Два инструмента отвечают на вопрос, действительно ли важные страницы находятся в поиске, и разница между ними заключается в охвате: один…
Site indexingКак сообщить Яндексу об изменениях на сайте?
Рекомендация Яндекса по уведомлению о новых и обновленных страницах заключается не в выборе одного метода, а в том, чтобы объединить…
Как отслеживать индексацию и управлять ею?
Мониторинг индексации означает ответы на пять вопросов, и в консоли есть отчет для каждого из них: когда пришел робот и…
Site indexingКак страницы моего сайта выглядят для поисковых роботов и пользователей?
Эта страница отвечает на вопрос, который стоит задать напрямую: как страница выглядит для индексирующего бота и что с этим делать?…
Site indexingКак предотвратить индексацию страниц, которые не нужны в результатах поиска?
Большинство сайтов содержат страницы, которые никто не должен находить в поиске: служебные и административные страницы, контент, полезный только для авторизованных…
Site indexingПочему мне следует избегать дубликатов страниц?
Дубликаты — это страницы с почти или полностью идентичным текстом на одном и том же сайте по разным URL. Пример…
Site indexingПереезд сайта
Переезд сайта означает смену адреса, который индексирует Яндекс. Четыре ситуации считаются одной: Новое доменное имя — example.com на sample.com. Новая…
Robots.txtИспользование robots.txt
robots.txt устанавливает параметры обхода для поисковых роботов. Ограничение разделов снижает нагрузку на сервер и ускоряет работу сайта. Яндекс поддерживает протокол…
Robots.txtДиректива User-agent
Робот ищет записи, начинающиеся с User-agent: и сопоставляет либо подстроку Yandex (без учета регистра), либо *. Правила приоритета строги и…
Директивы Disallow и Allow
Disallow запрещает сканирование разделов или страниц; Allow разрешает их. Яндекс перечисляет, что находится за Disallow: страницы с конфиденциальными данными, результаты…
Robots.txtДиректива Sitemap
Директива Sitemap указывает, где располагается карта сайта. Их может быть несколько, по одной на строку: User-agent: Yandex Allow: / sitemap:…
Директива Crawl-delay
Crawl-delay игнорируется Яндексом с 22 февраля 2018 года. Любой сайт, на котором все еще прописана эта директива, содержит строку кода,…
Robots.txtДиректива Clean-param
Clean-param — это расширение Яндекса, не имеющее аналогов на других площадках: оно сообщает роботу, какие параметры URL не изменяют содержимое…
Robots.txtКак проверить, принадлежит ли робот Яндексу
Роботы могут выдавать себя за Яндекс, настраивая user agent. Проверка выполняется с помощью обратного поиска DNS, и эту процедуру стоит…
Robots.txtКак снизить нагрузку на сайт или сервер?
Робот планирует свои визиты и автоматически регулирует нагрузку. Запросы могут резко возрасти, когда он обнаруживает новый раздел, структурные изменения или…
Мета-теги
Мета-теги говорят роботу, как загружать, индексировать и отображать страницу. Яндекс учитывает определенный набор, и его обработка конфликтов достаточно необычна, чтобы…
О протоколе IndexNow
IndexNow позволяет сайту напрямую уведомлять Яндекс о страницах, которые были созданы, обновлены или удалены, не дожидаясь следующего обхода робота. Это…
IndexNowКлюч проверки
Ключ IndexNow подтверждает, что вы управляете сайтом. Вы генерируете его, размещаете на сайте файл, содержащий его, и Яндекс проверяет его…
Справочник запросов API IndexNow
API намеренно сделан компактным: один эндпоинт, два метода. Один URL — GET GET https://yandex.com/indexnow?url=<String>&key=<String>[&keyLocation=<String>] url и key обязательны; keyLocation только…
IndexNowПлагины CMS
IndexNow можно автоматизировать с помощью плагинов, написанных сторонними разработчиками. Яндекс приводит их список для популярных систем и добавляет дисклеймер, который…
Карта сайта
Карта сайта сообщает поисковым системам текущую структуру сайта. Yandex поддерживает XML (рекомендуется, так как содержит дополнительную информацию) и TXT (простой…
Как запретить индексацию сайта или страниц?
Три инструмента скрывают контент от индексации, и они работают на разных уровнях: весь сайт или раздел, отдельная страница или часть…
Как удалить страницы из поиска?
Удаление страницы из поиска — это двухэтапная операция, и пропуск первого делает второй неудачным. Сначала запретите индексацию, а затем попросите…
Site indexingСохраненная копия
Сохраненная копия показывает версию страницы, которую Яндекс проиндексировал в последний раз — полностью или только текст — вместе с датой…
Site indexingДубликаты страниц
Дубликаты — это страницы в рамках одного сайта, содержащие одинаковый контент по разным адресам. Yandex четко разграничивает: страницы на региональных…
Site indexingКанонические URL
Когда несколько URL имеют одинаковый или похожий контент, Яндекс группирует их и выбирает один для показа — каноническую страницу. rel="canonical"…
Site indexingОбработка редиректов
Яндекс распознает стандартные коды 3xx: 301 и 308 как постоянные, 302, 303 и 307 как временные, а также метатег refresh…
Site indexingИндексирование поддоменов
Яндекс считает каждый поддомен отдельным сайтом. Этот единственный факт определяет все остальное: каждый поддомен добавляется в панель вебмастеров отдельно, проверяется…
Site indexingИндексирование страниц с JavaScript β
Яндекс может выполнять JavaScript при обходе, и консоль позволяет вам решить, должен ли он это делать. Настройка находится в разделе…
Site indexingИндексация локализованных страниц
Яндекс читает hreflang альтернативные ссылки — и начинает с устаревшей функции, от которой стоит отказаться: файл sitemap больше не поддерживается…
Site indexingИндексирование сайтов AJAX
Яндекс теперь сканирует сайты AJAX, загружая оригинальные URL и выполняя на них JavaScript. Два устаревших механизма официально выведены из эксплуатации,…
Как улучшить позиции сайта в поиске?
Яндекс отвечает на вопрос «как занять более высокие позиции?» пятью индикаторами, над которыми стоит поработать, и, что еще полезнее, списком…
How do I improve the site's ranking in the search?Дополнительные сигналы ранжирования
Эта страница описывает нечто необычное: Яндекс ранжирует корпоративные сайты частично на основе сигналов о том, как бизнес ведет себя по…