SEO
robots.txt
Также говорят: правила для поисковых роботов
robots.txt — текстовый файл в корне сайта, в котором указано, какие разделы поисковым роботам можно обходить, а какие нет. Он помогает не тратить ресурсы робота на служебные страницы, но не является способом скрыть страницу из поиска.
Основные директивы
| Директива | Что делает |
|---|---|
| User-agent | Для какого робота правила: все или конкретный |
| Disallow | Запрещает обход указанного раздела или адресов |
| Allow | Разрешает обход внутри запрещённого раздела |
| Sitemap | Указывает адрес карты сайта |
Некоторые поисковые системы поддерживают дополнительные директивы, например для указания параметров, которые не меняют содержимое страницы.
Что обычно закрывают
- Административную панель и служебные разделы.
- Корзину, оформление заказа, личный кабинет.
- Результаты поиска по сайту.
- Адреса с параметрами сортировки и служебными метками, если они не нужны в поиске.
- Технические файлы и папки.
Что закрывать нельзя
- Файлы стилей и скриптов, которые нужны для отображения страницы: без них робот видит страницу не так, как пользователь.
- Изображения товаров, если вы хотите получать трафик из поиска по картинкам.
- Страницы, которые должны быть в поиске.
robots.txt и noindex
Запрет в robots.txt не удаляет страницу из поиска: если на неё ведут ссылки, она может попасть в индекс без описания. Чтобы надёжно убрать страницу из выдачи, нужен метатег noindex. Но робот увидит noindex, только если ему разрешено зайти на страницу. Поэтому одновременно закрывать страницу в robots.txt и ставить noindex бессмысленно.
Частые ошибки
- Случайно закрыт весь сайт — например, после переноса с тестовой площадки.
- Закрыты стили и скрипты.
- Опечатки в путях: правило не работает или закрывает лишнее.
- Файл не обновили после изменения структуры сайта.
Как проверить
Откройте файл по адресу вашсайт/robots.txt и прочитайте правила. В панели для вебмастеров есть инструмент проверки: можно ввести адрес страницы и узнать, разрешён ли её обход. Проверяйте файл после каждого крупного изменения на сайте.
Пример простого файла
Для небольшого сайта часто достаточно нескольких строк: правило для всех роботов, запрет на служебную папку, корзину и поиск по сайту и указание адреса карты сайта. Не усложняйте файл без необходимости: каждое лишнее правило — возможность ошибиться.
Когда обновлять
Проверяйте robots.txt после переезда, редизайна, смены системы управления, появления новых разделов и фильтров. Каждое из этих событий может потребовать новых правил или сделать старые ошибочными.
Храните копию файла перед каждым изменением: если что-то пойдёт не так, можно быстро вернуть прежнюю версию.
Где термин используется на практике
Ниже — материалы, где понятие участвует в расчёте, настройке или принятии решения, а не просто упоминается.
