SEO
Краулинговый бюджет
Также говорят: бюджет обхода, лимит обхода
Краулинговый бюджет — количество страниц сайта, которые поисковый робот готов обойти за определённое время. Если на сайте много лишних страниц — дублей, фильтров, служебных адресов, — робот тратит время на них, а новые и важные страницы индексируются медленнее.
Кому это важно
Небольшим сайтам на несколько сотен страниц краулинговый бюджет почти никогда не мешает: робот обходит их целиком. Проблема возникает у крупных сайтов — интернет-магазинов с тысячами товаров и фильтров, сайтов с большим архивом, агрегаторов, — а также у сайтов, где из-за ошибок генерируется огромное число лишних адресов.
От чего зависит бюджет
- Скорость и стабильность сервера. Если сайт отвечает медленно или с ошибками, робот снижает частоту обхода.
- Популярность и качество страниц. Страницы, которые важны пользователям, робот обходит чаще.
- Частота обновлений. Если сайт часто меняется, робот заходит чаще.
На что тратится бюджет впустую
- Страницы фильтров и сортировок с параметрами в адресе.
- Дубли: версии с слэшем и без, с метками, с разным регистром.
- Бесконечные календари и пагинация.
- Страницы с ошибками и цепочки переадресаций.
- Служебные страницы: корзина, личный кабинет, поиск по сайту.
Как направить робота на нужные страницы
- Закройте служебные и технические страницы от обхода в файле robots.txt.
- Укажите канонические адреса для дублей.
- Держите карту сайта актуальной: только нужные страницы, с датой изменения.
- Исправьте битые ссылки и цепочки переадресаций.
- Ставьте внутренние ссылки на важные страницы с часто посещаемых разделов.
- Ускорьте ответ сервера.
Как понять, что есть проблема
- Новые страницы долго не появляются в индексе.
- В статистике обхода панели для вебмастеров робот больше ходит по параметрам и служебным адресам, чем по каталогу.
- Число известных поисковой системе страниц во много раз больше, чем реальных страниц на сайте.
Что не помогает
Массовая отправка всех страниц на переобход не увеличивает бюджет: робот всё равно будет обходить сайт в своём темпе. Эффективнее убрать лишнее, чтобы бюджет тратился на нужные страницы.
Пример
В интернет-магазине 3 000 товаров, но из-за фильтров, которые создают отдельный адрес на каждое сочетание параметров, поисковой системе известно больше ста тысяч адресов. Робот тратит время на страницы вроде «диваны, серые, велюр, от 30 000, сортировка по цене», а новые товары попадают в индекс через недели. Закрытие ненужных сочетаний фильтров от обхода решает проблему.
Для большинства небольших сайтов достаточно держать в порядке карту сайта и не создавать лишних адресов.
Где термин используется на практике
Ниже — материалы, где понятие участвует в расчёте, настройке или принятии решения, а не просто упоминается.
