Короткий ответ
Зависит от того, что вы продаёте. Если контент — вспомогательный инструмент продаж (каталог мебели, окна, ремонт, автоуслуги, B2B-поставки), закрывать целиком обычно невыгодно: вместе с обучающими роботами вы выключаете тех, кто приводит людей из ответов. Если контент и есть продукт — расчётные методики, платные базы, обучающие материалы, — эту часть логично закрыть адресно, а коммерческие страницы оставить открытыми. Универсального ответа нет, считайте по своему сегменту переходов в системе аналитики.
Кто обходит сайт кроме привычных поисковых роботов
Разделение внутри ИИ-роботов и есть суть всего решения. Обучающий краулер забирает текст и не возвращает ничего измеримого. Робот сервиса ответов и заход по запросу пользователя работают иначе: они читают страницу, чтобы собрать из неё ответ и поставить ссылку. Строчка в robots.txt вида «запретить всем нейросетям» бьёт по всем трём сразу, а фраза «мы просто запретили обучение» — обычно самообман: имена агентов в файле выписаны наугад из чужого совета, а не из ваших логов. Как устроено попадание в такие ответы и что для него нужно на стороне сайта, мы разбирали в материале про продвижение в ответах нейросетей .
Отдельно про систему аналитики: искать там ботов не нужно. Счётчик — это скрипт, который выполняется в браузере, а большинство краулеров скрипты не исполняют, поэтому в отчётах их просто нет. В счётчике есть «Фильтрация роботов» (Настройка счётчика → вкладка «Фильтры») и отчёт Отчёты → Стандартные отчёты → Мониторинг → Роботы, но там видна только та малая часть, которая скрипт всё-таки выполнила. Источник правды по обходу — логи сервера, всё остальное производно. Проверить обратную сторону — цитируют ли вас в ответах и приходят ли люди — можно отдельной процедурой, мы описали её в материале о том, как проверить, цитирует ли вас нейропоиск .
Контекст из материала «ИИ-краулеры на сайте: как посмотреть логи и выбрать позицию по доступу». Полный порядок действий — в исходном разборе.
Три позиции: открыть всё, закрыть всё, разделить по разделам
Закрыть только для ИИ-краулеров. Материалы, где ваша уникальная методика: подробные расчёты, инженерные таблицы подбора, замерные инструкции, обучающие материалы для дилеров. Их логично держать в поиске (люди по ним приходят), но не отдавать целиком в чужой пересказ.
Как выбрать позицию быстро. Задайте себе два вопроса. Первый: если завтра ваш сайт исчезнет из всех текстовых ответов, вы это заметите по деньгам? Для интернет-магазина мебели, оконной компании или отделочника ответ обычно «да, заметим не сразу, но заметим». Для B2B с длинным циклом сделки — «заметим по числу обращений от новых компаний». Второй: есть ли у вас на сайте материал, который сам по себе является товаром и который клиент покупает? Если да, эту часть закрываем адресно, остальное оставляем открытым.
Контекст из материала «ИИ-краулеры на сайте: как посмотреть логи и выбрать позицию по доступу». Полный порядок действий — в исходном разборе.
Чек-лист перед изменениями
Начните с конкретного сценария: что человек хочет выбрать или уточнить и какая информация ему мешает. Запишите исходную ситуацию, действие и способ проверки, чтобы не подменять решение общими улучшениями.
Отметки нужны только для самопроверки. Они не отправляются и не сохраняются после перезагрузки.
