Дубли страниц: как сайт сам крадёт у себя позиции и что такое canonical

Откройте карточку товара в своём магазине. Теперь уберите из адреса «www». Теперь добавьте в конец слэш. Теперь откройте её через раздел «Новинки», а не через каталог. Если каждый раз вы видите одну и ту же страницу по разным адресам — у вас дубли. И поисковик видит их точно так же: несколько одинаковых страниц, каждая из которых претендует на место в выдаче.

Почему это плохо

Поисковик не станет показывать пять копий. Он выберет одну, причём не обязательно ту, что вы продвигаете, а остальные исключит. При этом ссылки, которые ведут на разные версии, распределяются между копиями, и ни одна не набирает полного веса. Робот тратит лимит на обход одинаковых страниц вместо новых товаров. В итоге сайт с тысячей товаров индексируется медленно, ранжируется слабо, а в Вебмастере растёт список «дубли» и «недостаточно качественные».

Мы делали аудит магазину с 3 000 товаров, у которого в индексе висело 40 000 страниц. Тридцать семь тысяч из них были вариациями одних и тех же карточек с параметрами сортировки и фильтров. После чистки индекс сжался до реальных страниц, и за три месяца трафик из поиска вырос в полтора раза без единого нового текста.

Откуда берутся дубли

• Технические версии адреса: с www и без, http и https, со слэшем в конце и без, index.php и главная.
• Параметры в адресе: сортировка, номер страницы, метки рекламных кампаний, идентификаторы сессий. Каждый вариант — новый адрес с тем же содержимым.
• Один товар в нескольких категориях, и у каждого пути свой адрес.
• Фильтры каталога, генерирующие страницу под каждое сочетание. Три фильтра по пять значений — уже сотни адресов.
• Версия для печати, мобильная версия на поддомене, страницы в верхнем и нижнем регистре.
• Пагинация: первая страница раздела и раздел без номера — одно и то же.

Что такое canonical

Это тег в коде страницы, который говорит поисковику: «Основная версия этой страницы находится по такому-то адресу». Все копии указывают на одну каноническую, и поисковик собирает их сигналы в одну страницу, показывая в выдаче именно её. Посетитель при этом ничего не замечает — копии продолжают открываться.

Canonical — мягкий инструмент. Он подходит, когда дубли нужны людям: товар действительно должен открываться из двух категорий, а сортировка по цене — удобная функция. Когда дубль не нужен никому, лучше жёсткий способ — редирект.

Как закрыть дубли

1. Технические версии адреса — только редиректом. Выберите основной вариант (например, https без www со слэшем) и настройте 301-редирект на него со всех остальных. Это делается на уровне сервера один раз.
2. Параметры сортировки и меток — canonical на версию без параметров. Дополнительно можно указать в Вебмастере, какие параметры игнорировать.
3. Товар в нескольких категориях — единый адрес карточки без пути категории, либо canonical на основную категорию.
4. Фильтры — закрыть от индексации все сочетания, кроме тех, что имеют спрос. Полезные сочетания вроде «красные диваны» оформляются как отдельные посадочные страницы с уникальным заголовком и текстом.
5. Пагинация — первая страница должна быть редиректом или canonical на раздел; остальные страницы оставляют открытыми с указанием на самих себя.

Как найти дубли на своём сайте

Самый простой способ — раздел «Страницы в поиске» в Яндекс Вебмастере: там дубли помечены отдельным статусом. Второй — запрос site:вашсайт.ru в поиске: пролистайте выдачу и посмотрите, сколько адресов с параметрами и странных путей туда попало. Третий — краулер вроде Screaming Frog, который пройдёт по сайту и покажет страницы с одинаковыми заголовками.

Дубли — самая частая находка в наших SEO-аудитах и самая недооценённая: владельцу сайта они не видны, а на продвижение влияют сильнее многих текстов. Если сайт давно не растёт в поиске при нормальном контенте, начинать стоит именно отсюда — мы в CasperLab покажем, сколько копий видит поисковик и как их свернуть в рабочие страницы.