Изменение структуры и дизайна вашего сайта

Изменение URL-адресов — это не то же самое, что создание страниц по новым адресам. Яндекс прямо говорит о сбое: создайте новую страницу, и робот проиндексирует обе, и они появятся в результатах как две отдельные страницы.

Изменение структуры — процедура

• 301 редирект со старого на новый. Робот индексирует целевую страницу и удаляет старую. Цепочки перенаправлений разрешены, и в индекс попадает именно конечный пункт назначения.
• Проверьте новый URL возвращает 200 OK с контентом, используя проверку ответа сервера, и что важные страницы не заблокированы в robots.txt.
• Для страниц, которые больше не существуют: если тема не изменилась и существует сопоставимая страница, перенаправьте на соответствующий раздел. Если структура и контент действительно изменились, старые страницы должны возвращать 404 чтобы они удалились после повторного сканирования. Блокировка их в robots.txt ускоряет удаление.
• Отправьте на переиндексацию — новые страницы появляются в течение двух недель, и старые страницы со ссылками перенаправления также можно отправить чтобы робот быстрее заметил редирект. Этот второй прием используется редко и существенно сокращает переходный период.
• Обновите файл sitemap и отправьте его заново или загрузите новый.
• Обновите навигационное меню, и используйте отчет о внешних ссылках, чтобы найти сторонние сайты, которые все еще ссылаются на старые URL-адреса, а затем попросите их обновить ссылки.

Изменение дизайна без изменения URL-адресов

У редизайна свои способы сбоев, и все они происходят беззвучно:

• Контент, генерируемый JavaScript, не индексируется. То, что должно ранжироваться, должно присутствовать в HTML, возвращаемом сразу по запросу.
• Убедитесь, что новые шаблоны не содержат robots noindex мета-тег или rel="canonical" указывающий на другую страницу — тег canonical, ведущий на главную страницу или в корень каталога, является стандартным для шаблонов по умолчанию и удаляет каждую новую страницу из поиска.
• Убедитесь, что каждый открывающийся noindex элемент закрыт.
• Убедитесь, что title и мета-теги правильно заполнены в новых шаблонах.

Закономерность

Структурные изменения терпят неудачу громко; редизайн терпит неудачу тихо. Редизайн, сохраняющий все URL-адреса, все равно может удалить сайт из поиска из-за одного унаследованного тега canonical, при этом визуально с сайтом все будет в порядке.