Чек-лист: правки доступа роботов без потери трафика
===================================================

Пройдите пункты по порядку — до правки, в день правки и через две недели после неё.

[ ] Выгрузите лог за 7 суток и сведите топ агентов по числу запросов
[ ] Проверьте, куда именно ходят роботы: каталог или комбинации фильтров и внутренний поиск
[ ] Сверьте спорных роботов обратным DNS — user-agent подделывается
[ ] Соберите в Метрике сегмент переходов с сервисов, отвечающих текстом, и посмотрите цели
[ ] Разложите разделы на четыре корзины: открыть, закрыть для всех, закрыть для ИИ-роботов, разбираться отдельно
[ ] Скопируйте в каждую персональную группу User-agent все запреты из общей группы
[ ] Уберите пустые строки внутри групп и проверьте, что файл лежит в корне домена
[ ] Сохраните копию прежней версии robots.txt с датой в имени
[ ] Проверьте 10-15 адресов в Вебмастере через «Анализ robots.txt»
[ ] Прогоните главную и карточку через «Проверку ответа сервера» с выбором поискового робота
[ ] Через 7-14 дней сверьте статистику обхода и вкладку «Исключённые» в Страницах в поиске
[ ] Запишите дату и суть правки в журнал изменений и вернитесь к вопросу через квартал

---
Материал: ИИ-краулеры на сайте: как посмотреть логи и выбрать позицию по доступу
https://media-monster.ru/blog/ii-kraulery-kogo-puskat-na-sayt/
Автор: Игорь Волков, Руководитель отдела разработки Media Monster
Media Monster — media-monster.ru