SEO
Поисковый робот
Также говорят: краулер
Поисковый робот — программа поисковой системы, которая обходит сайты: загружает страницы, переходит по ссылкам и передаёт содержимое для добавления в индекс. От того, насколько легко роботу найти и прочитать страницы, зависит, попадут ли они в поиск.
Как робот находит страницы
- По ссылкам с уже известных страниц — вашего и других сайтов.
- Из карты сайта.
- Из уведомлений о новых страницах через панель для вебмастеров и протоколы мгновенного оповещения.
Что делает робот на странице
- Запрашивает страницу и получает код ответа сервера.
- Загружает содержимое, а при необходимости — стили и скрипты, чтобы увидеть страницу как пользователь.
- Находит ссылки и добавляет новые адреса в очередь обхода.
- Передаёт содержимое на анализ для индекса.
Что мешает роботу
| Проблема | Что происходит |
|---|---|
| Запрет в robots.txt | Робот не заходит на страницу |
| Нет ссылок на страницу | Робот о ней не знает |
| Содержимое подгружается только скриптами | Робот может увидеть пустую страницу |
| Медленный или нестабильный сервер | Робот обходит сайт реже |
| Тысячи лишних адресов | Робот тратит время на мусор вместо нужных страниц |
Как проверить, что видит робот
- Инструмент проверки адреса в панели для вебмастеров покажет, как робот видит страницу.
- Статистика обхода покажет, какие страницы робот посещает и как часто.
- Логи сервера покажут реальные визиты роботов.
Как помочь роботу
- Держите карту сайта актуальной.
- Ставьте ссылки на новые страницы с популярных разделов.
- Закрывайте служебные и технические страницы от обхода.
- Следите за скоростью ответа сервера.
- Отдавайте основное содержимое в исходном коде страницы.
Разные роботы
У каждой поисковой системы свои роботы, а у крупных — несколько: для страниц, картинок, мобильной версии. В robots.txt можно задать правила для конкретного робота, но чаще достаточно общих правил для всех.
Частые ошибки
- Случайно закрыть весь сайт от роботов после переноса.
- Закрыть стили и скрипты, без которых робот не может понять страницу.
- Не следить за ошибками сервера, из-за которых робот уходит ни с чем.
Как ускорить обход новых страниц
Отправьте важные новые страницы на переобход через панель для вебмастеров, поставьте на них ссылки с главной или популярных разделов и обновите карту сайта. Для крупных сайтов полезен протокол мгновенного уведомления о новых и изменённых страницах, если его поддерживает поисковая система.
Следите за статистикой обхода после крупных изменений на сайте.
Вопросы по теме
Где термин используется на практике
Ниже — материалы, где понятие участвует в расчёте, настройке или принятии решения, а не просто упоминается.
