SEO
robots.txt
Также говорят: файл robots
robots.txt — текстовый файл в корне сайта, который сообщает поисковым роботам, какие разделы можно обходить, а какие нет.
Файл носит рекомендательный характер и защитой не является: закрытый в нём раздел остаётся доступен любому, кто знает адрес. Для реального ограничения доступа нужны пароль или настройки сервера.
Самая дорогая ошибка, связанная с этим файлом, — строка, запрещающая обход всего сайта. Она правильна на тестовой площадке и катастрофична на боевой, куда попадает вместе с остальными файлами при выкладке.
Проверяется за минуту: откройте адрес своего сайта с добавлением /robots.txt и убедитесь, что там нет запрета на весь сайт. Этот пункт стоит в чек-листе проверки после каждой выкладки.
Разбираем подробно в статьях
- Кейс: трафик упал на 38% — разбор инцидента по часам
- Приёмка сайта у подрядчика: чек-лист, который защитит от типовых проблем