Задачи → ориентир по цене

Стоимость услуг

5 вопросов. План и диапазон — сразу, без контакта.

Бесплатный аудитАудит

SEO

Поисковый робот

Также говорят: краулер

Поисковый робот — программа поисковой системы, которая обходит сайты: загружает страницы, переходит по ссылкам и передаёт содержимое для добавления в индекс. От того, насколько легко роботу найти и прочитать страницы, зависит, попадут ли они в поиск.

Как робот находит страницы

  • По ссылкам с уже известных страниц — вашего и других сайтов.
  • Из карты сайта.
  • Из уведомлений о новых страницах через панель для вебмастеров и протоколы мгновенного оповещения.

Что делает робот на странице

  1. Запрашивает страницу и получает код ответа сервера.
  2. Загружает содержимое, а при необходимости — стили и скрипты, чтобы увидеть страницу как пользователь.
  3. Находит ссылки и добавляет новые адреса в очередь обхода.
  4. Передаёт содержимое на анализ для индекса.

Что мешает роботу

ПроблемаЧто происходит
Запрет в Робот не заходит на страницу
Нет ссылок на страницуРобот о ней не знает
Содержимое подгружается только скриптамиРобот может увидеть пустую страницу
Медленный или нестабильный серверРобот обходит сайт реже
Тысячи лишних адресовРобот тратит время на мусор вместо нужных страниц

Как проверить, что видит робот

  • Инструмент проверки адреса в панели для вебмастеров покажет, как робот видит страницу.
  • Статистика обхода покажет, какие страницы робот посещает и как часто.
  • Логи сервера покажут реальные визиты роботов.

Как помочь роботу

  1. Держите карту сайта актуальной.
  2. Ставьте ссылки на новые страницы с популярных разделов.
  3. Закрывайте служебные и технические страницы от обхода.
  4. Следите за скоростью ответа сервера.
  5. Отдавайте основное содержимое в исходном коде страницы.

Разные роботы

У каждой поисковой системы свои роботы, а у крупных — несколько: для страниц, картинок, мобильной версии. В robots.txt можно задать правила для конкретного робота, но чаще достаточно общих правил для всех.

Частые ошибки

  • Случайно закрыть весь сайт от роботов после переноса.
  • Закрыть стили и скрипты, без которых робот не может понять страницу.
  • Не следить за ошибками сервера, из-за которых робот уходит ни с чем.

Как ускорить обход новых страниц

Отправьте важные новые страницы на переобход через панель для вебмастеров, поставьте на них ссылки с главной или популярных разделов и обновите карту сайта. Для крупных сайтов полезен протокол мгновенного уведомления о новых и изменённых страницах, если его поддерживает поисковая система.

Следите за статистикой обхода после крупных изменений на сайте.

Вопросы по теме

Где термин используется на практике

Ниже — материалы, где понятие участвует в расчёте, настройке или принятии решения, а не просто упоминается.

Смежные термины

← Все термины словаря

Хотите понять, где именно у вас теряется трафик?
Бесплатно посмотрим структуру и техническую часть — пришлём задачи по приоритету, без общих слов.
Разобрать мой сайт

SEO-продвижение сайтов

Продвижение оптовой компании: каталог, условия и путь от запроса до заказа Стратегия продвижения интернет-магазина: категории, наличие, сезонность и бюджет Продвижение гостиницы: как получать прямые бронирования на сайте, а не только через посредников Продвижение базы отдыха и глэмпинга: как заполнить будни и межсезонье, а не только выходные Продвижение клининговой компании в поиске и на картах: районы выезда, страницы услуг и отзывы Все статьи рубрики (164) →

Контент-маркетинг для сложного бизнеса

Контент-маркетинг в сложной нише: стратегия тем, страниц и измерения результата Ревизия блога: какие статьи теряют трафик первыми и что с ними делать B2B: контент для тех, кто принимает решение Открыть рубрику →

Контекстная реклама

Реклама автомойки: как заполнить пустые часы, продавать комплексы и превращать разовых водителей в постоянных Реклама ювелирного магазина: как продавать украшения к поводам, помогать с выбором подарка и снимать сомнения покупателя Реклама напольных покрытий: как магазину ламината, паркета и линолеума продавать пол под конкретную комнату, а не «квадратные метры» Реклама мастера на час: как получать заказы на мелкий ремонт, объяснять цену выезда и собирать несколько задач в один визит Реклама салона штор: как продавать шторы на заказ через выезд с образцами, понятную смету и снимки готовых интерьеров Все статьи рубрики (131) →

SMM и таргетированная реклама

Репутация в поиске: что видит клиент, когда набирает название вашей компании Продвижение в социальных сетях: кому подходит, а кому не стоит тратить время Реклама дизайнера интерьера: как превратить портфолио в запрос на проект Реклама парикмахерской: локальный спрос, запись и повторные визиты Нейросеть для креативов: где выигрыш, а где риск отказа модерации Все статьи рубрики (11) →

Разработка сайтов

Аудит юзабилити сайта: как проверить путь посетителя и составить список доработок Сайт компании по строительству бань: каталог проектов, калькулятор комплектации и заявки Сайт ландшафтной компании: как показать портфолио и цену, чтобы заявки приходили со схемой территории Сайт цветочного магазина: как устроить каталог и оформление заказа, чтобы букет покупали с телефона за пару минут Сайт турагентства: как показать экспертизу менеджеров и получать заявки на подбор тура Все статьи рубрики (116) →

Веб-аналитика и сквозная аналитика

Как использовать ИИ для нормализации характеристик каталога Как найти с помощью ИИ противоречия между вариантами товара ИИ для разбора запросов с нулевыми результатами поиска по сайту Как разобрать причины возвратов с помощью ИИ Как подготовить бриф из обезличенной заявки с помощью ИИ Все статьи рубрики (89) →

Кейсы с цифрами

Карточка модульного дивана: как показать размеры, модули и выбранную комплектацию Карточка матраса: как показать размер, жёсткость и различия моделей Обезличенный кейс: входные двери по составу комплектации и замеру — как нашли разрыв и перестроили маршрут Обезличенный кейс: серии межкомнатных дверей для нескольких помещений — как нашли разрыв и перестроили маршрут Обезличенный кейс: оптовый каталог по наличию и матрице запроса — как нашли разрыв и перестроили маршрут Все статьи рубрики (58) →

ИИ и нейросети в маркетинге

ИИ в продажах: какие задачи отдела продаж можно отдать нейросети, а какие нет Внедрение ИИ в бизнес: как выбрать процессы, провести пилот и масштабировать ИИ для интернет-магазина: какие задачи он закрывает, а какие только портит ИИ для строительной компании: где он помогает в работе с заявками, сметами и объектами ИИ-агенты для бизнеса: чем отличаются от чат-ботов и где реально экономят время Все статьи рубрики (29) →

Подтемы

Семантическое ядро Система аналитики Автостратегии рекламного кабинета Регионы и гео Интернет-магазины Техническое SEO Контент в соцсетях Стоимость заявки и окупаемость Контент-маркетинг Все подтемы (9) →

Словарь терминов

ДРР — что это CPL — что это CAC — что это Когортный анализ — что это UTM-метки — что это Цель — что это Коллтрекинг — что это Показатель отказов — что это Семантическое ядро — что это Все термины (104) →

Ниши и категории

Мебельный маркетинг 9 Дверной бизнес 7 B2B-сектор 9 Недвижимость 9 E-commerce 7 Автобизнес 8 Салоны красоты 4 Окна и остекление 7 Ремонт и отделка 8 Строительство домов и отделка 9 Все направления (23) →

Новые статьи

Реклама автомойки: как заполнить пустые часы, продавать комплексы и превращать разовых водителей в постоянных Реклама ювелирного магазина: как продавать украшения к поводам, помогать с выбором подарка и снимать сомнения покупателя Реклама напольных покрытий: как магазину ламината, паркета и линолеума продавать пол под конкретную комнату, а не «квадратные метры» Реклама мастера на час: как получать заказы на мелкий ремонт, объяснять цену выезда и собирать несколько задач в один визит Реклама салона штор: как продавать шторы на заказ через выезд с образцами, понятную смету и снимки готовых интерьеров Карта блога — все статьи

Блог Media Monster

О блоге Вопрос эксперту Бесплатный аудит сайта и рекламы Экспертиза и авторы Как мы готовим материалы Условия использования Политика конфиденциальности Согласие на обработку данных RSS-лента блога Карта сайта для нейросетей (llms.txt) Фирменное видео Автор: Максим Орлов Автор: Анна Соколова Автор: Дарья Лебедева Автор: Игорь Волков