SEO
Поисковый робот
Также говорят: краулер
Поисковый робот — программа поисковой системы, которая открывает страницы по ссылкам, читает их содержимое и передаёт данные для индексации.
Робот видит сайт не совсем так, как человек: ему важны доступность адреса, код ответа сервера, ссылки, заголовки и содержимое HTML. Кнопка, работающая только после сложного сценария в браузере, может остаться для него невидимой.
Управлять обходом помогают внутренние ссылки, Sitemap и robots.txt. Но разрешение обхода ещё не означает, что страницу обязательно добавят в поиск.
Где термин используется на практике
Ниже — материалы, где понятие участвует в расчёте, настройке или принятии решения, а не просто упоминается.
ИИ-краулеры на сайте: как посмотреть логи и выбрать позицию по доступуРазработка · 15 мин · читать →Технический аудит сайта: 30 проверок, которые делаются до любых работSEO · 6 мин · читать →Товарный фид: ошибки, которые ломают автогенерацию объявленийДирект · 11 мин · читать →SEO-оптимизация карточки товара: что должно быть на странице кроме текстаSEO · 11 мин · читать →Кейс: переезд магазина на новую платформу — что делали, чтобы не потерять трафикРазработка · 7 мин · читать →Фильтры каталога и индексация: как не создать тысячи дублейSEO · 8 мин · читать →
