Дубли страниц: откуда берутся, чем вредят и как убрать без потерь

Что считается дублем и откуда он берётся на обычном сайте

Дубль — это когда одно и то же содержимое открывается по двум и более адресам. Для вас это одна страница, для поиска — две разные с одинаковым текстом. Системе приходится решать, какую из них показывать людям, и решает она не всегда в пользу той, которую вы продвигаете.

Дубли бывают полные и частичные. Полный — текст совпадает символ в символ, отличается только адрес. Частичный — совпадают заголовок, вводный абзац, блок преимуществ и подвал, а различаются две-три строки. Частичные вреднее: глазами их не отличить от нормальных страниц, владелец уверен, что у него сорок разных посадочных, а поиск видит одну, размноженную сорок раз.

Проверка на пять минут, для которой не нужны ни программы, ни подрядчик. Откройте главную по очереди в шести вариантах: с www и без www, по http и по https, со слэшем в конце адреса и без него, а потом допишите к адресу /index.php. Если открылся больше чем один вариант и вас никуда не перебросило — копии главной страницы уже существуют. В наших проектах на сайтах, которые два-три года не трогали технически, обычно открываются три-четыре варианта из шести.

Дальше — источники, из которых берётся основная масса дублей на обычном коммерческом сайте:

• Зеркала и хвосты адреса — www и без www, http и https, слэш в конце, /index.php, заглавные буквы в адресе. Самая частая группа и самая простая в лечении.
• Метки в ссылках — utm_source, from, yclid, gclid, идентификаторы коллтрекинга. Формально каждая метка создаёт новый адрес; когда такие ссылки попадают в индекс, одна страница множится десятками копий.
• Фильтры и сортировки в каталоге — параметры сортировки по цене, выбора цвета, размера, количества товаров на странице. Один раздел легко порождает сотни адресов с почти одинаковым набором карточек. Какие из них стоит открывать, а какие закрывать, разобрано в материале про индексацию страниц фильтров.
• Пагинация — вторая, третья и десятая страницы списка с тем же заголовком, тем же описанием раздела сверху и тем же текстом внизу.
• Товар в нескольких категориях — если адрес карточки собирается из пути раздела, один товар живёт по двум-трём адресам сразу. На больших каталогах это главный источник копий, пример разбора — в статье про индексацию каталога запчастей.
• Поиск по сайту — адреса с поисковым запросом внутри. Робот заходит по ним из ссылок и складывает в индекс пустые или почти пустые выдачи.
• Теги и метки в блоге — одна статья попадает в пять тегов, каждый тег становится страницей со списком тех же анонсов.
• Служебные версии — версия для печати, выгрузка в PDF, старая мобильная версия на отдельном поддомене, оставшиеся ускоренные версии страниц.
• Тестовая копия сайта — поддомен разработчика, забытый открытым. Периодически он попадает в поиск целиком, вместе с ценами двухлетней давности.
• Шаблонные страницы под города и районы — размноженный текст, в котором меняется только название населённого пункта и телефон.
• Модификации товара — цвет, размер и комплектация отдельными карточками с одинаковым описанием.
• Одинаковые заголовки title и описания description, сгенерированные по одному шаблону. Страницы разные, но для поиска они близнецы.

Важно понимать: большинство дублей появляется не по вине владельца, а из коробки. Движок по умолчанию отдаёт карточку по нескольким адресам, шаблон подставляет один и тот же заголовок, модуль фильтров плодит параметры. В наших проектах на каталоге из трёх-пяти тысяч товаров краулер обычно находит от двадцати до шестидесяти тысяч адресов, и полезных среди них меньше трети.

Чем дубли вредят на самом деле: шесть последствий

Владельцу дубли обычно не мешают жить: сайт открывается, телефон звонит. Вред виден в отчётах и складывается из шести вещей.

Поиск сам выбирает адрес и меняет решение. Из двух одинаковых страниц в выдачу попадает одна, и выбирает её алгоритм. Сегодня это ваш вылизанный раздел с ценами и формой, завтра — его копия с параметром сортировки, где нет ни описания, ни блока с телефоном. Со стороны это выглядит как «позиции скачут»: страница то на пятом месте, то на двадцать пятом, хотя вы ничего не меняли.

Свои страницы конкурируют между собой. Это называется каннибализацией — когда под один и тот же запрос у вас претендуют две-три собственные страницы, и ни одна не набирает достаточно сигналов, чтобы закрепиться. Классика: раздел каталога и страница фильтра с почти тем же набором товаров, обе про одно и то же.

Робот тратит обход на мусор. У поискового робота есть лимит на количество скачиваемых страниц за визит — краулинговый бюджет. Если из тысячи адресов девятьсот — копии, новые товары робот увидит нескоро. В наших проектах на захламлённых каталогах доля мусорных адресов в отчёте «Статистика обхода» обычно 40–70%, а свежая карточка попадает в поиск через три-шесть недель вместо нескольких дней.

Сигналы размазываются. Часть ссылок с других сайтов ведёт на один вариант адреса, часть — на другой, поведение людей тоже делится между копиями. Вместо одной сильной страницы получается несколько слабых.

Аналитика врёт. В Метрике отчёт «Страницы входа» разбивает один раздел на пять-десять строк: с меткой, без метки, со слэшем, без слэша. Владелец смотрит на верхнюю строку, видит тридцать визитов вместо трёхсот и делает вывод, что направление не работает. Мы регулярно встречаем ситуацию, когда «мёртвый» раздел на деле входил в тройку по трафику — просто он был размазан по десятку адресов.

Реклама дорожает. Объявления из разных групп ведут на разные копии одной посадочной, статистика делится, автостратегии учатся медленнее, потому что каждая копия набирает конверсии отдельно. Плюс перегруз: два объявления фактически конкурируют за одного и того же человека.

Отдельная ситуация — когда трафик уже просел и непонятно, дубли ли виноваты. Тогда сначала имеет смысл пройти общий сценарий из разбора что делать, если трафик упал, и только потом лезть в склейку: падение из-за дублей обычно выглядит как плавное сползание за два-три месяца, а не как обрыв за одну неделю.

И сразу оговорка про масштаб. Пять копий главной на сайте-визитке из десяти страниц — это неприятно, но не смертельно. Пятнадцать тысяч копий на каталоге — это уже причина, по которой половина товаров годами не появляется в поиске. Прежде чем вкладываться в чистку, посмотрите на порядок цифр: он определяет, стоит ли это двух дней работы или двух месяцев.

Как найти все дубли за один вечер: куда нажимать

Порядок такой: сначала списки, которые поисковые системы отдают сами, потом собственный обход сайта, потом Метрика и Директ для оценки ущерба. Всё вместе занимает вечер, из которого больше половины уходит на ожидание краулера.

Шаг 1. Яндекс Вебмастер, раздел «Индексирование» → «Страницы в поиске». Переключитесь на вкладку «Исключённые страницы» и в фильтре статуса выберите «Дубль». Внизу списка есть кнопка выгрузки таблицы — скачайте её целиком, в файле будут адрес и статус. Это самый честный список: не ваши предположения, а то, что поиск уже посчитал копиями. В наших проектах на среднем каталоге тут обычно от нескольких сотен до нескольких десятков тысяч строк.

Шаг 2. Там же, «Диагностика» → «Диагностика сайта». Ищите уведомление о найденных страницах-дублях с GET-параметрами: система прямо называет параметры, которые стоит склеить. Дальше «Индексирование» → «Статистика обхода»: здесь видно, что робот скачивал последние дни. Отфильтруйте по коду ответа 200 и посмотрите, какая доля обходов уходит на адреса со знаком вопроса. Что ещё полезно смотреть в панели каждую неделю — в материале про отчёты Вебмастера для владельца.

Шаг 3. Search Console. Раздел «Индексирование» → «Страницы», блок непроиндексированных. Нужны две причины: страница признана копией без выбранной канонической и «Google выбрал канонической другую страницу». Вторая особенно полезна — система прямо показывает, какой адрес она считает главным. Если это не тот адрес, который вы продвигаете, вы нашли проблему.

Шаг 4. Обход сайта краулером. Подойдёт любая настольная программа-обходчик. Сравните три числа: сколько адресов нашёл краулер, сколько у вас реально товаров и услуг, сколько страниц в поиске по данным Вебмастера. Расхождение в разы и есть объём работы. Отдельно отсортируйте выгрузку по столбцу с заголовком title — одинаковые заголовки встанут подряд, и частичные дубли будут видны без всякого анализа текстов. Как встроить эту проверку в регулярную процедуру, описано в порядке технического аудита сайта.

Шаг 5. Метрика. «Отчёты» → «Содержание» → «Страницы входа», период три месяца. В фильтре задайте условие, что адрес страницы содержит знак вопроса, — увидите, сколько живых визитов приходит на адреса с параметрами. Потом снимите фильтр и поищите глазами повторяющиеся названия разделов: одинаковые страницы почти всегда стоят рядом.

Шаг 6. Директ. В Мастере отчётов сгруппируйте данные по посадочной странице. Если одна и та же посадочная встречается в нескольких вариантах написания, вы платите за трафик, который потом разъезжается по копиям.

Чем склеивать: пять инструментов и когда какой применять

Инструментов немного, и путать их дорого. Разберём по одному, а потом сведём в таблицу.

301-й редирект — постоянная переадресация. Робот и человек, зайдя на старый адрес, попадают на новый; старый со временем выпадает из поиска, а его накопленные сигналы переходят на новый. Это самый надёжный вариант, когда старый адрес больше никому не нужен: зеркала, слэши, index.php, переехавшие разделы. Минус один: страницу физически нельзя открыть, поэтому для фильтров и сортировок редирект не годится — человек должен видеть отфильтрованный список.

Атрибут canonical — строка в коде страницы вида . Она говорит поиску: показывать нужно вот этот адрес. Страница при этом остаётся доступной. Идеально для фильтров, сортировок, меток и карточек, которые открываются из разных разделов. Важно: это рекомендация, а не приказ. Если содержимое страниц заметно различается, поиск вправе её проигнорировать. В наших проектах canonical срабатывает как задумано примерно в 8 случаях из 10, остальные требуют других мер.

Директива Clean-param в robots.txt — способ сказать Яндексу, что определённые параметры в адресе не меняют содержимое и их можно не учитывать. Работает точнее canonical для меток и сортировок, но понимает её только Яндекс, поэтому canonical всё равно нужен.

Метатег noindex — строка в коде. Страница доступна людям, но не попадает в поиск. Подходит для страниц поиска по сайту, корзины, личного кабинета, служебных версий.

Запрет в robots.txt — не инструмент склейки, а инструмент экономии обхода. Он запрещает роботу скачивать адрес, но не удаляет уже проиндексированное. Более того, закрытую страницу робот не скачает и не увидит ни canonical, ни noindex, ни редирект. Поэтому запрет ставят только на то, чего в индексе нет и не должно быть.

Отдельный случай — когда дублируется весь сайт целиком: старый домен, поддомен с мобильной версией, тестовая копия. Тут работает не точечная склейка, а полноценный переезд с постраничными редиректами и настройкой в Вебмастере; порядок действий разобран в кейсе про переезд сайта без потери трафика.

Порядок работ: что делать первым, вторым и десятым

Дубли чистят сверху вниз: от того, что множит весь сайт целиком, к тому, что портит отдельные страницы. Если начать с конца, вы будете переделывать одно и то же по три раза.

1. Определите главный адрес. Один вариант: с www или без, по https, со слэшем или без. Запишите решение и дальше не отступайте от него нигде — ни в меню, ни в карте сайта, ни в рекламе.
2. Настройте зеркала. Постоянный редирект со всех остальных вариантов на главный: с http на https, с www на без www (или наоборот), с /index.php на корень. Проверьте потом руками все шесть вариантов из первого раздела — каждый должен приводить на один адрес.
3. Приведите слэши к одному виду. На большинстве движков это одна настройка. Ошибка здесь безобидна на вид, но удваивает вообще все страницы сайта.
4. Закройте метки. Добавьте Clean-param для рекламных и служебных параметров и убедитесь, что на каждой странице стоит canonical на чистый адрес без хвостов. Заодно наведите порядок в самих ссылках — как это устроено, показано в разборе системы UTM-меток.
5. Разберитесь с фильтрами. Решите, какие комбинации нужны людям в поиске: обычно это фильтры по одному признаку, который люди действительно ищут, — цвет, размер, бренд-нейтральные характеристики. Такие страницы получают собственные заголовки, описание и canonical сами на себя. Остальные — canonical на раздел.
6. Настройте пагинацию. Каждая страница списка ссылается canonical сама на себя, но у второй и последующих должен различаться заголовок, а описательный текст раздела показывается только на первой.
7. Сделайте один адрес карточке товара. Товар живёт по одному адресу, независимо от того, из какого раздела в него зашли. Со старых путей — постоянный редирект.
8. Уберите служебное. Поиск по сайту, корзина, сравнение, версии для печати — метатег noindex. Тестовые копии сайта закрыть паролем на уровне сервера, а не запретом в robots.txt.
9. Почистите частичные дубли. Возьмите выгрузку с одинаковыми заголовками и переписывайте по приоритету: сначала страницы, на которые идёт реклама, потом самые посещаемые. Правило простое — на каждой странице должно быть минимум по одному факту, которого нет на соседней: свои цены, свои сроки, свой список работ.
10. Обновите карту сайта и внутренние ссылки. В карте sitemap остаются только канонические адреса. Меню, хлебные крошки и ссылки в текстах ведут на тот же вариант написания. Мы регулярно видим, как редиректы настроены правильно, а половина внутренних ссылок продолжает вести на старые адреса.

Два рабочих правила. Первое: одно изменение за раз, с записью даты в общий файл. Если после массовой правки трафик просядет, вы должны знать, какое именно действие это вызвало. Второе: после каждого крупного шага отправляйте несколько адресов на переобход в Вебмастере — раздел «Индексирование» → «Переобход страниц». В наших проектах массовые склейки обычно проявляются в отчётах через две-шесть недель, точечные — быстрее.

Сколько это занимает: на визитке до полусотни страниц — обычно один-два дня, на каталоге из нескольких тысяч товаров — от двух недель до полутора месяцев, причём основное время уходит не на настройку, а на согласование того, какие страницы фильтров вам действительно нужны.

Пять ошибок, которые владелец обычно делает сам

Дубли — редкая тема, где владелец лезет чинить сам: советов в интернете много, выглядят они просто. Вот что мы разбираем чаще всего.

Ошибка первая: закрыть всё в robots.txt. Самый популярный и самый дорогой ход. Логика понятная: «страниц-мусора много, запрещу роботу их смотреть». Проблема в том, что запрет не удаляет уже проиндексированное, а вдобавок закрывает роботу доступ к самой странице — он больше не увидит ни canonical, ни редирект, ни noindex, которые вы там поставили. В итоге копии висят в поиске годами. Отдельный сюжет — когда в файл случайно попадает лишняя строка и под запрет уходит рабочий раздел; чем это заканчивается, показано в кейсе про обвал трафика из-за robots.txt.

Ошибка вторая: canonical со всех страниц на главную. Совет «поставьте канониклы» понимают буквально и прописывают один адрес на весь сайт. Формально дубли исчезают, фактически из поиска пропадает весь каталог: вы сами сообщили, что настоящая страница только одна. Признак беды — в Вебмастере растёт число исключённых страниц со статусом про неканонический адрес, а трафик падает по всем разделам сразу.

Ошибка третья: удалить копии и отдать 404. Владелец находит список дублей и просит программиста «убрать эти страницы». Часть адресов при этом была не мусором, а рабочими страницами с трафиком и ссылками. Правило: если у адреса были визиты или внешние ссылки — постоянный редирект на живой аналог, и только полностью пустые технические адреса можно отдавать как несуществующие.

Ошибка четвёртая: размножить страницы под города копипастой. Берётся один текст, в нём меняется название населённого пункта, получается тридцать «посадочных». Поиск склеивает их между собой, в выдаче остаётся одна-две, а остальные висят мёртвым грузом. Такая страница живёт, только если на ней есть что-то своё: адрес пункта выдачи или зона выезда, местные сроки, стоимость доставки именно туда, работы, выполненные в этом городе.

Ошибка пятая: цепочки редиректов и правки «на всякий случай». Адрес ведёт на второй, тот на третий, третий на четвёртый. Каждое звено — потеря скорости и части сигналов, а иногда цепочка закольцовывается, и страница не открывается вовсе. Проверяется это в отчёте краулера по столбцу с количеством переадресаций: длина цепочки должна быть равна единице.

Общий знаменатель всех пяти — массовое действие без проверки на маленькой группе. Разумный порядок: сделать на десяти адресах, подождать две недели, посмотреть в Вебмастере, что с ними стало, и только потом раскатывать на весь сайт. Это дольше на две недели и дешевле на несколько месяцев восстановления.

2026 год: новые источники дублей и как держать оборону

Сама механика склейки за годы не изменилась, а вот источники дублей заметно обновились.

Тексты, сгенерированные пачками. Сейчас ничего не стоит выпустить сто страниц под сто запросов за вечер. Проблема в том, что при одинаковом задании модель выдаёт одинаковую структуру и одинаковые формулировки — получаются частичные дубли в промышленных объёмах. Рабочее правило: на каждую такую страницу — минимум один факт, которого нет нигде больше на сайте: своя цена, свой срок, свой набор работ, свой пример. Как писать под ответы нейропоиска, чтобы страница вообще имела шанс попасть в цитирование, разобрано в материале про тексты под нейропоиск.

Нейропоисковые ответы усилили цену ошибки. Когда система собирает короткий ответ и ссылается на источник, она берёт один адрес. Если победил обрезанный вариант вашей страницы — без цен, без условий доставки, без формы, — вы получаете упоминание, которое не приводит клиента. Проверить просто: задайте свой типовой вопрос в поиске и посмотрите, какой именно адрес вашего сайта приведён в ответе.

Мобильный трафик преобладает. Старые отдельные мобильные поддомены — это дубль всего сайта разом, и в 2026 году держать такую схему смысла нет. Если у вас остался такой поддомен, его содержимое либо переносится в адаптивный шаблон, либо склеивается редиректами. Заодно стоит пройти чек-лист мобильной версии: часто выясняется, что склеивать особо нечего — мобильная копия давно отстала по ассортименту.

Автостратегии в рекламе. Когда объявления ведут на разные копии одной посадочной, конверсии распределяются между адресами, и обучение идёт медленнее. Перед запуском кампании имеет смысл прогнать все посадочные ссылки через проверку: открывается ли адрес напрямую, без переадресации, и совпадает ли он с каноническим.

Дальше — контроль. После чистки план проверок такой:

• Через 2 недели. Вебмастер, «Статистика обхода»: доля адресов с параметрами должна пойти вниз. В Метрике смотрим, не просели ли входы на ключевые разделы.
• Через 6 недель. «Страницы в поиске»: общее число страниц обычно падает — иногда в разы, и это нормальный результат чистки. Смотреть нужно не на количество, а на трафик и заявки.
• Через 3 месяца. Проверяем скорость индексации: добавьте новый товар и засеките, через сколько дней он появится в поиске. В наших проектах после нормальной чистки этот срок обычно сокращается с трёх-шести недель до нескольких дней.

И регулярная гигиена: раз в квартал прогонять сайт краулером и сверять число адресов с числом страниц в поиске. Дубли — не разовая болезнь, а следствие того, что сайт живёт: добавляется модуль, меняется шаблон, маркетолог выкладывает ссылку с новой меткой. Проверка занимает час в квартал и, как правило, обходится дешевле, чем разбор последствий через год.