Есть ли жизнь после редизайна? Изменяем сайт без потери позиций в поисковых системах

Довольно часто возникает ситуация, когда сайт с хорошей поисковой историей, солидного возраста, с высоким трафиком, начинает постепенно терять посетителей и позиции в выдаче. Вы следите за снижением трафика, увеличивающимся процентом отказов и понимаете, что ваш ресурс начинают обгонять более современные конкуренты. После подробного анализа вам становится ясно, что сайт морально устарел, так что неудивительно, что начал проигрывать. Рынок изменился, как и потребности пользователей, а сайт остался прежним.

И вот, вы принимаете решение расширить функционал, внести изменения в структуру сайта, внедрить адаптивную верстку, и, возможно, поменять CMS.

Но тут возникает вопрос - как повлияет на позиции сайта редизайн? Что, если он индексируется поисковыми системами как новый, и потеряет даже имеющиеся позиции? Однако не всё так катастрофично - выход есть!

Рассмотрим, как при таких значительных изменениях сохранить позиции, которые продолжает удерживать в поисковой выдаче старый сайт.

Основные этапы успешного перехода на новую версию

• Продумать и определить направление и формат изменений, тщательно проработать структуру, дизайн сайта
• Создать новую версию, тестировать изменения, внести поправки по итогам тестов
• Обеспечить доступность контента для индексирующих роботов на новом варианте сайта
• Использовать 301 редирект для тех страниц, которые ближе всего по теме и семантике страницам прежнего сайта
• Ускорить обход поисковыми роботами страниц нового варианта сайта

Как сделать новый сайт лучше прежнего - тема для отдельного разговора. Сегодня мы хотим рассмотреть подробную инструкцию самого процесса переезда после создания новой версии.

Итак, после проработки новой структуры, анализа необходимого функционала, подбора CMS, разработки дизайна по всем правилам usability, у вас готов сайт. Вы, как положено, создали тестовый поддомен или каталог в структуре старого ресурса, тестировали на части аудитории и исправляли. Наконец,  убедились, что новую версию пора выпускать в свет. Что дальше?

От теории к практике: переезжаем!

Первый этап: подготовка

1. Необходимо проверить исходный код новой версии и убедиться, что:

• отсутствуют критические ошибки при проверке валидатором кода HTML W3C
• отсутствуют метатеги noindex на страницах, которые нужны для индексирования
• при наличии атрибутов canonical их значения верны
• страницы сайта, для которых контент загружается  с помощью AJAX-технологий, должны предавать индексирующему роботу html-версию (более подробную информацию об этом можно найти здесь:  Вебмастер — Яндекс. Помощь,  Cправка Search Console).  
• ссылки на нужные для индексирования страницы присутствуют в навигации.

2. Для нового варианта сайта:

• создаем sitemap
• обновляем и проверяем robots.txt

3. Если редизайн сайта происходит одновременно с переходом на другой домен или HTTPS протокол, решите, делать это поэтапно, разделив по времени, или одновременно.  Для роботов не имеет значения, проходят ли эти процессы одновременно или по очереди. Их лучше разделить, если вы хотите видеть статистику о том, как влияют изменения на сайте на индексирование.

Второй этап: обновление

1. Необходимо настроить перенаправление со старых страниц на новые:

• для страниц, контент которых переезжает на новые url-адреса, используем постоянный 301 редирект со старых страниц на новые, в этом случае посетители и роботы попадают на новые страницы, в выдаче окажутся новые страницы и показатели старых страниц будут максимально переданы новым
• для страниц, которые удалены при изменении структуры:

- если тема сохранилась, но контент распределен по-другому, то используем 301 редирект на близкие по смыслу страницы

- если страница удалена и на новом сайте нет подходящей темы, то настраиваем для нее 404 или 410 код ответа, либо устанавливаем в robots.txt запрет индексирования (это позволит быстрее удалить эти страницы из базы индексирующего робота, исключить эти страницы из поисковой выдачи).

При настройке перенаправлений нужно учесть, что лучше сохранить 301 редирект со старых страниц на новые как можно дольше, особенно, если есть внешние ссылки на старые страницы.

В случае, если вы меняете URL страниц неоднократно, учтите, что важно избегать цепочки редиректов. Необходимо оставить единственное перенаправление с исходной страницы старого сайта на окончательную страницу в структуре нового. Напомним, это касается тех исходных страниц, которые остаются в индексе или на них сохраняются внешние ссылки.

Заметим, что редирект необходим в случаях, когда не удается сохранить прежние URL для всех или для части страниц.

Если вы сохраняете контент, меняете только CMS, а ее настройки позволяют в точности сохранить URL всех страниц прежнего сайта, то для роботов структура сайта выглядит по-прежнему. В этом случае  проводим проверку сайта по п. 1. этапа подготовки, описанному выше.

2. Обеспечиваем быстрое индексирование сайта

• проверяем корректность sitemap, все страницы, которые должны попасть в индекс должны в нем присутствовать
• не используем Crawl-delay в robots.txt, в этом случае роботы смогут обходить сайт без ограничений по числу запросов, что позволит быстрее индексировать новые страницы
• проверяем наличие запрета в robots.txt для служебных страниц, так как это позволяет ускорить обход нужных страниц
• используем инструменты ускорения индексации, предусмотренные в Яндекс: Вебмастер – «Переобход страниц» или «Переобход Sitemap» (Блок «Индексирование»)

и Google Search Console: «Посмотреть, как Googlebot» - «Запросить индексирование» (Блок «Сканирование»)

• можно воспользоваться, пока еще доступным инструментом add url Google:  https://www.google.com/webmasters/tools/submit-url, Яндекс по ссылке https://webmaster.yandex.ru/addurl.xml перенаправит вас на тот же «Переобход страниц».

Есть еще много других способов и seo уловок для ускорения индексации, но они актуальны для новых сайтов. В нашем случае, для передачи параметров поисковых систем со старых страниц на новые, перечисленных действий вполне достаточно.

Можно ли дать стопроцентную гарантию того, что все вышеприведенные меры сохранят позиции страниц новой версии сайта? Да, но только в том случае, если это предвыборное обещание. Если говорить о реальном положении вещей, то количество факторов ранжирования на сегодняшний момент, по крайней мере, измеряется сотнями. У Яндекса, например, их насчитывается уже более 1000. Поэтому  какие-либо гарантии в сохранении позиций дать невозможно, а уменьшить риск проседания сайта в поиске точно получится.