Короткий ответ
Зависит от того, что вы продаёте. Если контент — вспомогательный инструмент продаж (каталог мебели, окна, ремонт, автоуслуги, B2B-поставки), закрывать целиком обычно невыгодно: вместе с обучающими роботами вы выключаете тех, кто приводит людей из ответов. Если контент и есть продукт — расчётные методики, платные базы, обучающие материалы, — эту часть логично закрыть адресно, а коммерческие страницы оставить открытыми. Универсального ответа нет, считайте по своему сегменту переходов в Метрике.
Что проверить на практике
- Сначала логи, потом robots.txt. В наших проектах роботы дают 30-60% всех запросов, но ИИ-краулеры среди них обычно только 3-15% — а грузят сервер чаще комбинации фильтров и парсеры цен.
- Роботы делятся на тех, кто собирает тексты для обучения, и тех, кто приходит собрать ответ со ссылкой на вас. Первых можно закрыть почти без потерь, вторых закрывать — значит добровольно пропасть из ответов.
- robots.txt — просьба, а не защита. Парсеры и сканеры её не читают вовсе; ограничение частоты и блокировки делаются на уровне сервера.
