Фильтры каталога и индексация: как не создать тысячи дублей

Откуда в каталоге взялись тысячи страниц, которых я не делал

Каталог редко разрастается руками. Вы завели пять фильтров — цвет, материал, размер, цена, наличие — и в каждом по шесть-восемь значений. Дальше арифметика делает всё сама: любая пара значений даёт новый адрес, тройка — ещё один, а сортировки и пагинация умножают результат ещё в несколько раз. Роботу поисковика всё равно, что вы задумывали двадцать разделов: он видит ссылки в вёрстке и идёт по ним. В итоге каталог на триста карточек честно отдаёт поиску десятки тысяч адресов, и почти все они — практически одинаковые списки одних и тех же товаров.

Дальше начинается то, что владелец замечает уже в деньгах, а не в отчётах. Робот приходит на сайт с ограниченным запасом обращений: сколько адресов он готов обойти за сутки, столько и обойдёт. Если основная часть этого запаса уходит на комбинации фильтров, новые карточки и обновлённые цены он замечает с задержкой в недели. Сезонную позицию, которую вы завели в понедельник, вполне может ждать индексация до конца месяца — просто потому, что впереди в очереди стоят тысячи бессмысленных списков.

В панели вебмастера это выглядит буднично: растёт число исключённых страниц со статусами вроде «дубль» и «малоценная или маловостребованная страница». Многие на это машут рукой — исключил и исключил, значит поиск сам разобрался. Но поиск делает из этого вывод о сайте целиком: большая часть того, что вы отдаёте, ему не нужна. В наших проектах чаще всего именно здесь и лежит причина, почему нормальный каталог с живым ассортиментом годами не может выбраться из второй-третьей десятки по среднечастотным запросам.

Отдельная неприятность — внутренние ссылки. Каждая страница фильтра забирает на себя часть веса, который вы могли бы передать разделам и карточкам. Сайт как будто аккуратно перелинкован, но вес размазан по адресам, которые никто не искал и искать не будет. Поэтому задача звучит не как «закрыть фильтры», а как «решить, какие из этих адресов заслуживают быть страницами сайта, а какие должны остаться служебным инструментом внутри интерфейса».

<offer id="123" available="true">
  <url>https://example.ru/catalog/item-123/</url>
  <price>45900</price>
  <currencyId>RUR</currencyId>
  <categoryId>12</categoryId>
  <name>Название товара и ключевой параметр</name>
</offer>

Чем страница фильтра отличается от посадочной

Технически — ничем. И та и другая отдаётся сервером, показывает список товаров и открывается по адресу. Разница целиком в двух вещах: есть ли под эту страницу сформулированный спрос и есть ли на ней что-то, чего нет на родительском разделе. Если люди действительно набирают в строке поиска сочетание категории и признака, а вы можете показать по нему хотя бы полтора-два десятка товаров — перед вами посадочная страница, которая просто технически собирается фильтром. Если нет — перед вами кнопка, которой зачем-то выдали адрес.

Для сравнения условий полезен материал Грузовой автосервис: как разделить страницы по машинам и работам для владельцев парка.

Посадочная страница отличается тем, что её не стыдно показать как отдельный результат поиска. У неё свой заголовок и title, в котором признак фильтра стоит в человеческой формулировке, а не как «Каталог — цвет: белый». У неё осмысленное описание сверху или снизу списка: чем этот подтип отличается, кому подходит, на что смотреть при выборе. У неё собственные хлебные крошки и ссылки с соседних страниц. И у неё есть человек, который отвечает за то, чтобы товары в ней не кончились.

Простой рабочий тест, который я предлагаю владельцу: произнесите вслух то, что даёт фильтр. «Диваны угловые с ящиком для белья» — так говорят и так ищут, это страница. «Диваны угловые с ящиком для белья, бежевые, от 40 до 60 тысяч, в наличии, сортировка по цене» — так не говорит никто, это состояние интерфейса. Между этими двумя формулировками и проходит граница, которую нужно закрепить в настройках сайта.

Есть и обратная ошибка, которую видно реже. Иногда под спрос уже есть отличная страница фильтра — с товарами, с трафиком, — но она закрыта от индексации «на всякий случай», потому что подрядчик когда-то закрыл вообще все адреса с параметрами. Тогда сайт теряет не на дублях, а на упущенном: запросы с уточнениями обычно короче по пути до заявки, потому что человек уже определился с признаком.

Какие комбинации открывать, а какие закрывать

Рабочее правило простое: по умолчанию закрыто всё, вручную открыто немногое. Не наоборот. Список открытых страниц — это белый список, который вы ведёте осознанно, а не результат того, что программист не успел дописать условие. В большинстве каталогов такой список получается на двадцать-пятьдесят адресов, и это нормально: столько реально существующих запросов с уточнениями в средней товарной нише и набирается.

• Есть спрос: сочетание встречается в статистике запросов, а не придумано вами.
• Есть ассортимент: хотя бы полтора-два десятка товаров, и он не исчезнет через месяц.
• Есть что написать: минимум абзац текста, который отличается от родительского раздела.
• Признак один, максимум два: «категория + материал», «категория + размер».
• Адрес человекочитаемый и постоянный, а не гирлянда параметров после вопросительного знака.

Закрывать по умолчанию стоит всё остальное, и особенно четыре группы. Первая — диапазоны цен: спрос на них почти всегда размытый, а комбинаций бесконечно много. Вторая — наличие, новинки, акции и прочие временные состояния: сегодня товар есть, завтра нет, страница пустеет и превращается в мусор. Третья — множественный выбор внутри одного фильтра: три цвета сразу дают адрес, который не соответствует ни одному запросу. Четвёртая — любые сочетания из трёх и более признаков, за редчайшими исключениями вроде устойчивых профессиональных формулировок.

Проверять спрос лучше не на глаз. Выгрузите частотность по формуле «категория + значение фильтра» для всех значений разом, отсортируйте и отрежьте хвост. Дальше сверьтесь с двумя вещами: сколько товаров реально попадает под каждое значение и не дублирует ли оно уже существующий раздел каталога. Половина кандидатов отсеивается на этом шаге, и это хороший знак — значит, вы не будете плодить страницы, которые нечем наполнить.

Канонический адрес и сортировки: где ломается чаще всего

С каноническим адресом связано главное недоразумение в этой теме. Тег canonical — это подсказка поиску, какой из похожих адресов считать основным, а не запрет на обход. Робот всё равно придёт на страницу, всё равно потратит на неё обращение и может при желании подсказку проигнорировать, если содержимое покажется ему заметно другим. Поэтому строить всю защиту от бесконтрольных комбинаций на одном canonical — не работает: он снижает риск склейки не тех страниц, но не решает проблему раздутого объёма.

Если хочется сравнить этот сценарий с соседним, загляните в Диваны: почему спрос делится по назначению, а карточка решает больше каталога.

Сортировки и параметры отображения — отдельная история и самый частый источник мусора. Порядок «по цене», «по популярности», количество товаров на странице, переключатель «плитка/список» не должны порождать индексируемых адресов вообще. Правильно, когда это состояние живёт в интерфейсе и не меняет адрес, а если меняет — адрес обязан указывать каноническим на базовый вариант и не иметь ни одной обычной ссылки в вёрстке. Проверяется это за пять минут: откройте раздел, перещёлкайте все сортировки и посмотрите, что происходит в адресной строке.

Пагинация требует более аккуратного обращения, чем ей обычно достаётся. Схлопывать все страницы списка на первую каноническим адресом — плохая идея: товары со второй и дальше просто выпадают из зоны видимости робота. Здоровый вариант — каждая страница пагинации канонична сама себе, у неё в заголовке есть указание на номер, чтобы не выглядеть дублем, а текстовое описание раздела показывается только на первой. Так список остаётся проходимым, но не создаёт ощущения серии одинаковых страниц.

И последнее по порядку, но не по важности — стабильность адреса. Если выбор двух признаков в разной последовательности даёт два разных адреса, вы удвоили всё, что до этого построили. Порядок параметров должен фиксироваться логикой сайта, лишние и пустые параметры — отбрасываться, а сессионные метки и разметка рекламных переходов — не влиять на то, что видит робот. Это работа разработчика на несколько дней, но без неё остальные правила держатся на честном слове.

Как навести порядок, не переписывая сайт заново

Начинать стоит не с правок, а с инвентаризации. Нужно понять, сколько адресов сайт вообще отдаёт: выгрузите список известных поиску страниц из панели вебмастера, прогоните сайт краулером и, если есть доступ, посмотрите логи сервера — они честнее всего показывают, куда робот тратит обращения. Обычно картина неприятная и очень отрезвляющая: доля адресов с параметрами фильтров переваливает за девять десятых от всего, что обходится.

Дальше собирается белый список — те самые двадцать-пятьдесят комбинаций, которые вы готовы вести как отдельные страницы. Это решение не техническое, а коммерческое, и принимать его должен человек, который знает ассортимент и маржинальность. Всё, что в список не попало, закрывается от индексации на уровне логики сайта, а не единичными правилами в файле для роботов: правило должно применяться к любой новой комбинации автоматически, иначе через полгода вы вернётесь к исходной точке.

Выкатывать лучше поэтапно и с замером. Сначала сортировки и параметры отображения — это самая быстрая и самая безопасная часть. Потом закрытие лишних комбинаций. И только затем — наполнение открытых страниц текстами и перелинковкой, потому что это самая дорогая часть работы и её обидно делать на страницах, которые потом решат закрыть. Эффект по обходу обычно виден в течение месяца-полутора, изменения в видимости — заметно позже, ближе к третьему-четвёртому месяцу.

И самое главное — регламент на будущее. Когда контент-менеджер заводит новое значение фильтра, оно по умолчанию закрыто, а открывается только после того, как кто-то проверил спрос и наполнение. В наших проектах чаще всего именно отсутствие такого простого правила и возвращает каталог к тысячам дублей через год после аккуратной чистки: технически всё было сделано верно, но новую ветку ассортимента подключили по старой схеме.