ИИ-краулеры на сайте: как посмотреть логи и выбрать позицию по доступу

Кто обходит сайт кроме привычных поисковых роботов

Откройте лог сервера за любые сутки — живых посетителей в нём окажется меньшинство. В наших проектах доля запросов от роботов обычно составляет 30-60% всего потока, а у каталогов с фильтрами доходит до 70-80%. ИИ-краулеры — лишь часть этой массы, и принимать решение по ним, не разобрав остальных, бессмысленно: закроете не то, что на самом деле грузит сервер.

Шесть групп, которые встречаются почти в любом проекте:

• Поисковые роботы Яндекса и Google. Ходят регулярно, приносят органический трафик. Их не закрывают нигде, кроме служебных разделов.
• Обучающие ИИ-краулеры. Скачивают тексты в корпус, на котором учат языковые модели. Прямых переходов не дают ни завтра, ни через год.
• Индексирующие роботы сервисов ответов. Строят собственный индекс страниц, из которого потом собирается ответ пользователю со ссылкой на источник. Именно они приносят упоминания.
• Заходы по запросу пользователя. Робот приходит в тот момент, когда живой человек задал вопрос или вставил ссылку: одна-две страницы, без обхода вглубь. Такой заход чаще всего заканчивается цитатой или переходом.
• SEO- и аналитические сервисы. Снимают структуру и ссылки для отчётов — ваших и чужих. Нагрузку создают, пользы не приносят, если вы этими сервисами не пользуетесь.
• Парсеры конкурентов и сканеры уязвимостей. Первые снимают цены и остатки по каталогу, вторые перебирают адреса админки и служебных файлов. Ни те, ни другие robots.txt не читают в принципе.

Разделение внутри ИИ-роботов и есть суть всего решения. Обучающий краулер забирает текст и не возвращает ничего измеримого. Робот сервиса ответов и заход по запросу пользователя работают иначе: они читают страницу, чтобы собрать из неё ответ и поставить ссылку. Строчка в robots.txt вида «запретить всем нейросетям» бьёт по всем трём сразу, а фраза «мы просто запретили обучение» — обычно самообман: имена агентов в файле выписаны наугад из чужого совета, а не из ваших логов. Как устроено попадание в такие ответы и что для него нужно на стороне сайта, мы разбирали в материале про продвижение в ответах нейросетей.

Отдельно про Метрику: искать там ботов не нужно. Счётчик — это скрипт, который выполняется в браузере, а большинство краулеров скрипты не исполняют, поэтому в отчётах их просто нет. В счётчике есть «Фильтрация роботов» (Настройка счётчика → вкладка «Фильтры») и отчёт Отчёты → Стандартные отчёты → Мониторинг → Роботы, но там видна только та малая часть, которая скрипт всё-таки выполнила. Источник правды по обходу — логи сервера, всё остальное производно. Проверить обратную сторону — цитируют ли вас в ответах и приходят ли люди — можно отдельной процедурой, мы описали её в материале о том, как проверить, цитирует ли вас нейропоиск.

Как посмотреть логи сервера и понять, кто приходил

Лог доступа — текстовый файл, куда сервер пишет каждый запрос: с какого адреса пришли, когда, за какой страницей, что получили в ответ и сколько байт скачали. В самом конце строки стоит user-agent — то, как робот сам себя представил. Это самый достоверный источник данных по обходу.

Где искать файл:

• Обычный хостинг: панель управления → раздел «Логи» или «Журналы». Файлы вида site-access.log, ротация чаще всего раз в сутки, хранение 7-30 дней. Если раздел пуст, ведение логов включается там же галочкой — включите и вернитесь через сутки.
• Сервер с nginx: /var/log/nginx/access.log, рядом лежат сжатые архивы прошлых дней.
• Сервер с Apache: /var/log/apache2/access.log или /var/log/httpd/access_log.
• Если перед сайтом стоит CDN или защитный прокси, часть запросов до вашего сервера не доходит вовсе — тогда картину по ботам смотрите ещё и в панели этого сервиса, иначе половина обхода останется невидимой.

Пять команд, которые дают полную картину примерно за десять минут. Подставьте имя своего файла и фрагмент имени агента из первого списка:

1. Кто приходил и сколько раз: awk -F'"' '{print $6}' access.log | sort | uniq -c | sort -rn | head -30. Слева — число запросов, справа — представление робота. Начинайте разбор именно отсюда.
2. Сколько запросов сделал конкретный робот: grep -c 'фрагмент-имени' access.log.
3. Сколько трафика он скачал: grep 'фрагмент-имени' access.log | awk '{s+=$10} END {print s/1024/1024, "МБ"}'. Полезно, когда тариф считает исходящий трафик.
4. Какие коды ответа он получал: grep 'фрагмент-имени' access.log | awk '{print $9}' | sort | uniq -c | sort -rn. Много 404 и 5xx — робот ходит по мусорным адресам и роняет сервер вместо того, чтобы читать товар.
5. Куда именно он ходил: grep 'фрагмент-имени' access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -40. Здесь обычно и вскрывается, что весь обход ушёл в комбинации фильтров и внутренний поиск.

Без консоли тоже можно: скачайте лог за сутки, откройте в табличном редакторе с разделителем «пробел», отсортируйте по последнему столбцу и посчитайте строки по каждому агенту. Медленнее, но результат тот же. Ориентир по объёму: суточный лог каталожного сайта — это обычно от 50 до 300 тысяч строк и 20-80 МБ, редактор такое открывает, хотя и не мгновенно.

Важная деталь: user-agent подделывается в одну строку. Любой парсер может представиться поисковым роботом, чтобы его не блокировали. Проверка — обратный DNS: берём IP из лога, смотрим имя хоста, потом это имя разрешаем обратно в IP и сверяем. Настоящие роботы Яндекса резолвятся в домены yandex.ru, yandex.net и yandex.com, робот Google — в googlebot.com и google.com. Если имя не сходится, перед вами не поисковик, и правила robots.txt на такого гостя не действуют по определению.

Типовая ошибка владельца — посмотреть один час одного дня. Роботы ходят волнами: обход раздела может занимать три часа раз в неделю, и по случайному часу вы либо не увидите его вовсе, либо решите, что вас атакуют. Берите минимум семь суток подряд и сравнивайте с той же неделей месяц назад. Заодно вы увидите то, что обычно всплывает при техническом аудите сайта: дубли адресов, вечные редиректы и разделы, отдающие 500-е коды.

И про данные. В логе лежат IP-адреса посетителей, адреса страниц и иногда параметры запросов. Не выгружайте сырой лог целиком в чат-помощника, чтобы он «сам всё разобрал»: обезличивайте, убирая столбец с адресами, или считайте на своей стороне командами выше. Правовую квалификацию таких данных и порядок их хранения уточните у юриста — здесь лучше спросить заранее, чем разбираться потом.

Что даёт запрет и что он одновременно отнимает

Теперь самое важное: что вы реально покупаете строчкой запрета и чем за неё платите. Начнём с того, чего запрет не делает, потому что здесь у большинства владельцев главная иллюзия.

robots.txt — это просьба, а не замок. Файл лежит в открытом доступе, любой может его прочитать, и соблюдают его добросовестные роботы: поисковики, крупные ИИ-краулеры, известные сервисы. Парсер цен конкурента и сканер уязвимостей его игнорируют — более того, для них список запрещённых каталогов работает как подсказка, куда идти. Поэтому защита контента от парсинга и правила обхода — две разные задачи: первая решается на уровне сервера ограничением частоты, ответами 429 и блокировками, вторая — текстовым файлом в корне.

Что запрет действительно даёт:

• Ваши тексты не попадают в новые обучающие выборки тех сервисов, которые правила соблюдают. Оговорка существенная: то, что уже собрано раньше, из чужих корпусов не исчезнет.
• Немного падает нагрузка. Обычно ИИ-краулеры — это 3-15% запросов, у контентных проектов с большим блогом до 20-25%. Это заметно в счётчике ресурсов, но редко решает проблему медленного сайта.
• Меньше готового материала для чужих компиляций. Частично: описания товаров и цены всё равно доступны через каталоги, площадки объявлений и карточки в Яндекс Бизнесе.

Что запрет отнимает:

• Упоминания в ответах. Если робот не может прочитать страницу, компания не появится в ответе — а конкурент, который остался открытым, появится. Это самая недооценённая потеря: она не видна ни в одном отчёте, потому что пропавшего показа никто не считает.
• Переходы. В наших проектах трафик с сервисов, отвечающих текстом, обычно составляет 0,5-4% визитов. Цифра скромная, но люди приходят прочитавшими ответ и с готовым вопросом, и заявок с такого визита обычно больше среднего по сайту.
• Актуальность. Когда доступа к сайту нет, ответ соберут из старых копий и чужих пересказов. Для мебели, окон и авто это означает, что в ответе окажутся прошлогодние цены, снятые с производства модели и сроки поставки, которых у вас давно нет.

Дальше считаем. Откройте Метрику: Отчёты → Стандартные отчёты → Источники → Источники, сводка, разверните «Переходы по ссылкам с сайтов» и выпишите домены сервисов, которые отвечают текстом. Сохраните их отдельным сегментом кнопкой «Сегмент» → «Сохранить», задайте условие «Источники» → «Сайт» → «содержит» и посмотрите за последние 3-6 месяцев: сколько визитов, сколько достижений цели, какой процент отказов. Вот это и есть цена вопроса в цифрах, а не в ощущениях. Если из этого сегмента приходит десяток заявок в месяц, закрывать доступ целиком — дорогое удовольствие.

Типовая ошибка владельца здесь такая: закрыть всё и ждать, что упоминания исчезнут. Через месяц он обнаруживает, что его товары по-прежнему пересказываются в ответах — только теперь по данным с площадок объявлений, из отзывов и по описаниям дилеров, где цены выше, а комплектация не ваша. Управлять этим уже нельзя: вы отключили себе право голоса, но не отключили разговор. Если задача — чтобы про вас говорили правильно, работает противоположный подход: открытые страницы с конкретикой, ценами и условиями, написанные так, чтобы их было удобно цитировать. Как готовить такие тексты, мы разбирали в материале про текст под нейропоиск.

Три позиции: открыть всё, закрыть всё, разделить по разделам

Крайних решений два, рабочих — три. Ниже сравнение, после него — как выбрать своё за пять минут.

Третья позиция в наших проектах выбирается чаще двух других, и вот как она собирается на практике. Разделите сайт на четыре корзины:

1. Открыть уверенно. Каталог, карточки товаров и услуг, страницы цен и условий, доставка и оплата, гарантия, контакты, портфолио и выполненные объекты, блог. Это то, чем вы хотите, чтобы вас представляли. Сюда же — страницы, отвечающие на вопросы «сколько стоит», «какие сроки», «что входит в монтаж».
2. Закрыть в любом случае, для всех роботов. Корзина, оформление заказа, личный кабинет, страницы результатов внутреннего поиска, сравнение, служебные каталоги движка, тестовые копии и поддомены разработки, файлы выгрузок для маркетплейсов.
3. Закрыть только для ИИ-краулеров. Материалы, где ваша уникальная методика: подробные расчёты, инженерные таблицы подбора, замерные инструкции, обучающие материалы для дилеров. Их логично держать в поиске (люди по ним приходят), но не отдавать целиком в чужой пересказ.
4. Разбираться отдельно. Страницы с параметрами фильтров и сортировки. Это отдельная большая тема, и решать её строчкой в robots.txt наугад — путь к потере трафика с фильтров; мы разбирали её в материале про фильтры каталога и индексацию.

Как выбрать позицию быстро. Задайте себе два вопроса. Первый: если завтра ваш сайт исчезнет из всех текстовых ответов, вы это заметите по деньгам? Для интернет-магазина мебели, оконной компании или отделочника ответ обычно «да, заметим не сразу, но заметим». Для B2B с длинным циклом сделки — «заметим по числу обращений от новых компаний». Второй: есть ли у вас на сайте материал, который сам по себе является товаром и который клиент покупает? Если да, эту часть закрываем адресно, остальное оставляем открытым.

Что не нужно закрывать ни в одной из позиций — цены и условия. Регулярно встречается логика «уберём цены от роботов, чтобы конкуренты не видели»: конкурент увидит их за две минуты руками, а вот из ответов вы выпадете — на вопрос «сколько стоит» ответят те, у кого цифра доступна. Это тот же выбор, который разбирается в материале о том, показывать цены на сайте или нет, только теперь ставка выше: закрытая цена означает отсутствие в ответе целиком, а не просто менее удобный сайт.

И ещё: закрытая часть за авторизацией — дилерские прайсы, личный кабинет клиента, база документов — роботам недоступна и без robots.txt. Если что-то из этого всё-таки нашлось в логах обхода, проблема не в файле, а в правах доступа, и чинить надо её.

Синтаксис robots.txt без ошибок, которые стоят трафика

Файл простой, но у него есть несколько правил, нарушение которых стоит трафика. Разберём их по порядку — с примерами того, как это ломается в реальности.

• User-agent: имя-агента — начало группы правил ровно для одного робота. Имя берите из своих логов, а не из чужого списка в интернете: агенты появляются и переименовываются, и половина популярных подборок к 2026 году уже устарела.
• Disallow: /cart/ — запрет на адреса, начинающиеся с этого пути. Disallow: / — запрет на весь сайт. Disallow: без значения — наоборот, разрешение всего.
• Allow: /catalog/ — исключение из запрета. При конфликте выигрывает более длинное и точное правило, а не то, что написано ниже.
• Спецсимволы: звёздочка заменяет любую последовательность, знак доллара в конце означает точное окончание адреса. Правило «Disallow: /*sort=» закроет все адреса с этим параметром в любом месте строки.
• Sitemap: полный адрес карты сайта — пишется отдельной строкой и действует для всех роботов независимо от групп.
• Clean-param — директива Яндекса, помогает объединить адреса, отличающиеся только служебным параметром. Другие роботы её не читают.

Теперь ошибки, которые встречаются чаще всего.

Отдельная группа отменяет общие правила. Это самая дорогая ошибка и её почти невозможно заметить глазами. Робот выполняет ровно одну группу — ту, где указано его имя, — и правила из группы «User-agent: *» к нему уже не применяются. Владелец добавляет в конец файла три строки для ИИ-краулера с одним запретом, радуется — и получает робота, который теперь свободно ходит в корзину, во внутренний поиск и в бесконечные комбинации фильтров, потому что общий блок запретов для него перестал существовать. Правильно так: в персональную группу копируются все запреты из общей плюс добавляются новые.

Пустая строка внутри группы её разрывает. Всё, что после пустой строки, считается новой группой без указания агента и может быть проигнорировано. Внутри блока пустых строк быть не должно, между блоками — одна.

Файл лежит только в корне. Один домен — один файл по адресу вида example.ru/robots.txt. Для поддомена нужен свой файл; правила основного сайта на него не распространяются. Про тестовые поддомены забывают чаще всего — и в поиск попадает копия сайта разработчика.

Регистр важен, кириллица требует кодирования. Путь /Catalog/ и /catalog/ — разные адреса. Русские буквы в адресе записываются в закодированном виде, иначе строка не сработает.

Файл отдаёт не тот код. Если robots.txt возвращает 500-ю ошибку, часть роботов трактует это как запрет всего сайта. Проверьте, что открывается с кодом 200 и типом text/plain. И убедитесь, что вы правите настоящий файл: некоторые движки отдают виртуальный robots.txt, когда физического в корне нет, и ваш загруженный по FTP файл просто не показывается. У сайтов на WordPress это классическая ловушка — правки делаются либо в плагине, либо созданием реального файла в корне, иначе они не применяются.

Закрытие в robots.txt не убирает страницу из выдачи. Если адрес уже проиндексирован, запрет обхода означает лишь то, что робот перестанет туда заходить, — страница может остаться в поиске без описания. Для удаления нужен мета-тег noindex на самой странице (и доступ к ней открыт, чтобы робот этот тег увидел) или удаление адреса через инструменты Вебмастера.

Проверка занимает две минуты и делает её Вебмастер: Инструменты → Анализ robots.txt. Вставьте содержимое файла, ниже добавьте 10-15 адресов — главную, категорию, карточку, страницу фильтра, корзину, служебный адрес — и нажмите «Проверить». Напротив каждого появится «разрешён» или строка правила, которое его запретило. Прогоняйте этот список после каждой правки. Что ещё смотреть в кабинете и как читать остальные отчёты — в материале про Яндекс Вебмастер.

Нагрузка на сервер: когда пора ограничивать частоту обхода

Вторая причина, по которой владельцы закрывают роботов, — сайт стал медленным. Тут важно не перепутать причину со следствием: в наших проектах ИИ-краулеры оказываются виновником замедления реже, чем на них думают. Сначала измеряем, потом ограничиваем.

Как понять, что нагрузку создают именно боты:

1. Откройте в панели хостинга статистику потребления ресурсов — процессорное время, память, число процессов. Посмотрите график за 30 дней и найдите пики.
2. Сопоставьте пики с логом по часам: cut -d'[' -f2 access.log | cut -d':' -f2 | sort | uniq -c. Получите распределение запросов по часам суток. Если пик приходится на ночь, живые люди тут ни при чём.
3. В пиковый час посмотрите топ агентов той же командой, что в разделе про логи. Обычно на этом месте выясняется, что 40% запросов сделал один робот.
4. Проверьте, куда он ходил. Ориентир: если больше половины его запросов — это адреса с параметрами фильтров, сортировки, страниц пагинации и внутреннего поиска, проблема не в роботе, а в структуре адресов.

Пороговые ориентиры из практики: устойчивые 1-2 запроса в секунду от одного агента на обычном хостинге уже заметны, 5-10 запросов в секунду кладут генерацию страниц на средних тарифах. Если боты съедают больше 30% лимита процессорного времени тарифа — пора действовать. Отдельный сигнал тревоги — рост доли ответов 5xx в логе: сервер уже не справляется, и следом просядет обход поисковыми роботами.

Порядок действий такой. Сначала уберите бесконечность: закройте от обхода адреса с параметрами сортировки, страницы внутреннего поиска, календари и комбинации фильтров глубже двух-трёх значений. В наших проектах одно это снижает бот-нагрузку на 20-50% — и заодно чинит раздутый индекс. Вторым шагом включите кэширование страниц каталога. Третьим — задайте скорость обхода в Вебмастере: Индексирование → Скорость обхода, переключатель с «Доверить Яндексу» на ручное значение. И только четвёртым, если не помогло, ограничивайте частоту на сервере адресно.

Ошибка владельца на этом шаге почти всегда одинаковая: включить в панели хостинга или у CDN общую «защиту от ботов» одним тумблером. Формально нагрузка падает. Фактически через две-три недели просядет обход поисковыми роботами, а вместе с ним и позиции. Проверить это можно сразу: Вебмастер → Инструменты → Проверка ответа сервера, выберите робота в списке user-agent, вставьте адрес главной и карточки товара, нажмите «Проверить» — должен вернуться код 200. Если 403 или 429, защита режет своих.

И держите в голове, что скорость сайта для живого человека и нагрузка от ботов — связанные, но разные истории: боты грузят сервер, а конверсию убивают тяжёлые картинки и скрипты. Как одно влияет на другое, мы разбирали в материале про скорость сайта и конверсию.

Чек-лист проверки после любых изменений в доступе

Правки в доступе опасны тем, что последствия видны не сразу: файл вы поменяли сегодня, а трафик просядет через две-три недели, и связать одно с другим будет уже сложно. Поэтому проверка делается в два захода — сразу после правки и через две недели.

В день правки, по порядку:

1. Откройте адрес вашсайт.ру/robots.txt в браузере в режиме инкогнито. Файл должен открыться как обычный текст, без ошибок и без оформления страницы. Если открылась 404-я или дизайн сайта — вы правили не тот файл.
2. Вебмастер → Инструменты → Анализ robots.txt. Вставьте содержимое, добавьте список из 10-15 адресов (главная, раздел каталога, две карточки, страница услуги, статья блога, контакты, корзина, служебный адрес, страница фильтра) и проверьте. Главная и коммерческие страницы — «разрешён», служебные — «запрещён».
3. Вебмастер → Инструменты → Проверка ответа сервера. Прогоните 3-5 адресов с выбором робота в списке user-agent: везде должен быть код 200.
4. Запишите в отдельный файл дату, что именно поменяли и зачем. Через полгода это сэкономит вечер разбирательств, а при смене подрядчика — неделю.

Через 7-14 дней:

1. Вебмастер → Индексирование → Статистика обхода. Смотрите динамику числа обойдённых страниц и распределение кодов ответа. Провал обхода вдвое — сигнал, что правило задело поисковых роботов.
2. Вебмастер → Индексирование → Страницы в поиске → вкладка «Исключённые». Отфильтруйте по статусу, связанному с запретом в robots.txt, и убедитесь, что там только те адреса, которые вы закрывали намеренно.
3. Search Console → Настройки → Статистика сканирования. То же самое со стороны Google: число запросов, средняя скорость ответа, доля ошибок.
4. Метрика → сохранённый ранее сегмент с переходами с сервисов ответов. Сравните две недели до и две после: если переходы обнулились, а вы этого не планировали, ищите лишний запрет.
5. Снова снимите топ агентов из логов и сравните с первым замером. Так вы увидите, кто действительно перестал ходить, а кто правила проигнорировал.

Ориентиры по срокам: robots.txt роботы перечитывают обычно раз в сутки, поэтому эффект на обходе виден в течение 1-3 дней. Изменения в индексе — 1-3 недели, иногда дольше на больших каталогах. Не делайте выводов на второй день и, что важнее, не меняйте файл каждые три дня: вы потеряете возможность понять, какая именно правка сработала.

Отдельно — про откат. Держите копию предыдущей версии файла рядом, с датой в имени. Если через две недели обход упал, а причина неочевидна, вернуть старую версию и посмотреть, восстановится ли картина, быстрее, чем искать ошибку в логике правил. Это стандартная процедура разбора, когда показатели поехали вниз, — мы описали её целиком в материале о том, что делать, если трафик упал: сначала список изменений с датами, потом сопоставление с графиком, и только потом гипотезы.

И последнее. Пересматривайте решение раз в квартал, а не один раз навсегда. Роботы появляются новые, имена агентов меняются, а вместе с ними меняется и цена вопроса: сегодня переходы из ответов дают полпроцента визитов, через полгода — четыре. Двадцать минут раз в три месяца на просмотр логов и сверку списка агентов — нормальная плата за то, чтобы не обнаружить однажды, что вас нет там, где клиенты уже задают вопросы.