Дубли страниц: как сайт сам крадёт у себя позиции и что такое canonical

Дубли — это одна и та же страница, которая открывается по нескольким адресам. Поисковик не показывает все копии: он оставляет одну на свой выбор, остальные исключает, а ссылки и время робота размазываются между ними. Убирают дубли тремя способами: ненужные адреса закрывают 301-редиректом, копии, которые нужны посетителям, помечают тегом canonical, а служебные страницы закрывают от индексации. Ниже — откуда дубли берутся, как найти их на своём сайте и какой способ выбрать в каждом случае.

Что такое дубли страниц и как их увидеть

Откройте карточку товара в своём магазине. Теперь уберите из адреса «www». Теперь добавьте в конец слэш. Теперь откройте её через раздел «Новинки», а не через каталог. Если каждый раз вы видите одну и ту же страницу по разным адресам — у вас дубли. И поисковик видит их точно так же: несколько одинаковых страниц, каждая из которых претендует на место в выдаче.

Дубли бывают полными и частичными. Полные — когда содержимое совпадает целиком, а различается только адрес. Частичные — когда страницы отличаются мелочью: порядком товаров после сортировки, цветом одной и той же модели при общем описании, названием города в шаблонном тексте. Для поисковика и те и другие — повод оставить в выдаче только одну страницу.

Чем дубли вредят продвижению

Поисковик не станет показывать пять копий. Он выберет одну, причём не обязательно ту, что вы продвигаете, а остальные исключит. При этом ссылки, которые ведут на разные версии, распределяются между копиями, и ни одна не набирает полного веса. Робот тратит лимит на обход одинаковых страниц вместо новых товаров. В итоге сайт с тысячей товаров индексируется медленно, ранжируется слабо, а в Вебмастере растёт список исключённых страниц со статусами «дубль» и «малоценная страница».

Мы делали аудит магазину с 3 000 товаров, у которого в индексе висело 40 000 страниц. Тридцать семь тысяч из них были вариациями одних и тех же карточек с параметрами сортировки и фильтров. После чистки индекс сжался до реальных страниц, и за три месяца трафик из поиска вырос в полтора раза без единого нового текста.

Откуда берутся дубли

• Технические версии адреса: с www и без, http и https, со слэшем в конце и без, index.php и главная.
• Параметры в адресе: сортировка, номер страницы, метки рекламных кампаний, идентификаторы сессий. Каждый вариант — новый адрес с тем же содержимым.
• Один товар в нескольких категориях, и у каждого пути свой адрес.
• Фильтры каталога, генерирующие страницу под каждое сочетание. Три фильтра по пять значений — уже сотни адресов.
• Служебные версии: версия для печати, мобильная версия на поддомене, страницы в верхнем и нижнем регистре.
• Пагинация: первая страница раздела и раздел без номера — одно и то же.

Почти всё из этого списка создаёт не человек, а движок сайта. Поэтому владелец дублей не видит: в меню и каталоге ссылок на них нет, а в поиске они есть.

Что такое canonical и как он работает

Это тег в коде страницы, который говорит поисковику: «Основная версия этой страницы находится по такому-то адресу». Все копии указывают на одну каноническую, и поисковик собирает их сигналы в одну страницу, показывая в выдаче именно её. Посетитель при этом ничего не замечает — копии продолжают открываться.

Тег ставится в служебной части страницы, внутри блока head, и выглядит так: <link rel="canonical" href="https://site.ru/divany/">. На странице с сортировкой site.ru/divany/?sort=price в нём указан адрес раздела без параметров. На самой основной странице canonical тоже ставят — с её собственным адресом.

Canonical — мягкий инструмент. Он подходит, когда дубли нужны людям: товар действительно должен открываться из двух категорий, а сортировка по цене — удобная функция. Когда дубль не нужен никому, лучше жёсткий способ — редирект. И важная оговорка: для поисковиков этот тег — рекомендация, а не приказ. Если страницы заметно различаются по содержанию, указание могут не учесть.

Canonical, редирект или запрет: что выбрать

Способы не стоит смешивать на одной странице. Если адрес закрыт в robots.txt, робот на него не заходит и тег canonical не увидит. Как устроены правила обхода, мы разобрали в статье про robots.txt и sitemap.xml.

Как закрыть дубли каждого типа

1. Технические версии адреса — только редиректом. Выберите основной вариант (например, https без www со слэшем) и настройте 301-редирект на него со всех остальных. Это делается на уровне сервера один раз. Как работает такое перенаправление, описано в статье про 301-редирект.
2. Параметры сортировки и меток — canonical на версию без параметров. Для Яндекса такие параметры дополнительно перечисляют в директиве Clean-param, чтобы робот вообще не обходил лишние адреса.
3. Товар в нескольких категориях — единый адрес карточки без пути категории, либо canonical на основную категорию.
4. Фильтры — закрыть от индексации все сочетания, кроме тех, что имеют спрос. Полезные сочетания вроде «красные диваны» оформляются как отдельные посадочные страницы с уникальным заголовком и текстом. Подробнее об этом — в статье про фильтры в каталоге.
5. Пагинация — первая страница должна быть редиректом или canonical на раздел; остальные страницы оставляют открытыми с указанием на самих себя.
6. Версия для печати и прочие служебные копии — canonical на основную страницу или запрет индексации.

Как найти дубли на своём сайте: пошагово

1. Проверьте технические версии вручную. Откройте главную и одну внутреннюю страницу с www и без, по http и https, со слэшем и без, с index.php в конце. Все варианты должны приводить на один адрес. Код ответа и цепочку переходов покажет наша проверка редиректов.
2. Допишите к адресу любой параметр, например ?test=1. Страница откроется, и это нормально, — но в её коде должен быть canonical на адрес без параметра.
3. Откройте раздел «Страницы в поиске» в Яндекс Вебмастере: там дубли помечены отдельным статусом в списке исключённых страниц. Это самый простой способ.
4. Введите запрос site:вашсайт.ru в поиске: пролистайте выдачу и посмотрите, сколько адресов с параметрами и странных путей туда попало.
5. Загляните в отчёт об индексировании страниц в Google Search Console: копии там выделены в отдельные причины исключения.
6. Запустите краулер вроде Screaming Frog, который пройдёт по сайту и покажет страницы с одинаковыми заголовками.
7. Сравните число страниц в индексе с реальным числом страниц сайта. Разница в разы — верный признак дублей.

Вебмастер полезен не только для поиска дублей: какие ещё его отчёты стоит смотреть регулярно, мы рассказали в обзоре Яндекс Вебмастера.

Частые ошибки с canonical

• Canonical на всех страницах ведёт на главную. Типичная ошибка шаблона. Поисковик читает это как «все страницы — копии главной» и может убрать их из выдачи.
• Адрес указан неполностью или с http. В теге должен быть полный адрес с протоколом — тот самый, который вы считаете основным.
• Каноническая страница недоступна. Тег ссылается на адрес с редиректом, ошибкой 404 или запретом индексации, и объединять копии не с чем.
• На странице два тега canonical. Один вывел шаблон, второй — SEO-плагин. При противоречии поисковик может не учесть оба.
• В карту сайта попадают копии. В sitemap.xml должны быть только канонические адреса, иначе вы сами приглашаете робота на дубли.
• Внутренние ссылки ведут на копии. Меню, хлебные крошки и блоки «похожие товары» должны ссылаться на основные адреса — это часть грамотной внутренней перелинковки.
• Ждут результата на следующий день. Робот должен заново обойти все копии, а на большом сайте это занимает недели.

Чек-лист: сайт без дублей

• Сайт открывается только по одному варианту адреса: с https и с выбранным написанием www и слэша.
• Со всех остальных вариантов настроен 301-редирект.
• На каждой странице есть один тег canonical с полным адресом.
• Страницы с сортировкой и рекламными метками указывают canonical на адрес без параметров.
• У товара один адрес, в каких бы категориях он ни показывался.
• Сочетания фильтров без спроса закрыты от индексации.
• В sitemap.xml только канонические адреса.
• В Вебмастере число страниц в поиске близко к реальному числу страниц сайта.

Коротко

Дубли создаёт движок сайта: варианты адреса, параметры, фильтры, товар в нескольких разделах. Ненужные копии закрывают 301-редиректом, нужные людям — тегом canonical, служебные — запретом индексации. Найти дубли проще всего в отчёте «Страницы в поиске» Яндекс Вебмастера и запросом site: в поиске.

Дубли — самая частая находка в наших SEO-аудитах и самая недооценённая: владельцу сайта они не видны, а на продвижение влияют сильнее многих текстов. Если сайт давно не растёт в поиске при нормальном контенте, начинать стоит именно отсюда — в рамках SEO-аудита мы в CasperLab покажем, сколько копий видит поисковик и как их свернуть в рабочие страницы.