SEO
robots.txt
Также говорят: правила для поисковых роботов
robots.txt — текстовый файл в корне сайта, который сообщает поисковым роботам, какие разделы можно обходить, а какие нет.
Файл носит рекомендательный характер и защитой не является: закрытый в нём раздел остаётся доступен любому, кто знает адрес. Для реального ограничения доступа нужны пароль или настройки сервера.
Самая дорогая ошибка, связанная с этим файлом, — строка, запрещающая обход всего сайта. Она правильна на тестовой площадке и катастрофична на боевой, куда попадает вместе с остальными файлами при выкладке.
Проверяется за минуту: откройте адрес своего сайта с добавлением /robots.txt и убедитесь, что там нет запрета на весь сайт. Этот пункт стоит в чек-листе проверки после каждой выкладки.
Где термин используется на практике
Ниже — материалы, где понятие участвует в расчёте, настройке или принятии решения, а не просто упоминается.
