robots.txt для сайта услуг: что закрывать, а что оставить

Файл robots.txt лежит в корне сайта и задаёт правила обхода URL. Он не удаляет страницы из поиска и не защищает их паролем. Одна лишняя строка Disallow может закрыть весь раздел услуг, а ошибка в синтаксисе, наоборот, оставить служебные пути доступными роботу.

Сначала откройте свой файл в браузере. Затем сравните его с коротким шаблоном и проверьте важные URL в Яндекс Вебмастере.

Что проверить в первую очередь

• Файл должен открываться по адресу https://ваш-домен/robots.txt без авторизации.
• Не закрывайте в Disallow страницы услуг, блог и другие URL, которые должны быть в поиске.
• Корзину, личный кабинет, поиск по сайту, мусорные фильтры с параметрами и CMS-админку обычно закрывают от обхода.
• Чтобы убрать URL из поиска, robots.txt недостаточно: смотрите noindex, авторизацию, удаление, инструменты Вебмастера.
• Укажите Sitemap одной строкой с полным HTTPS-адресом карты.

1. Откройте текущий файл

Откройте https://example.ru/robots.txt. Ответ 404 означает, что файла нет и обход по умолчанию разрешён, если его не ограничивает что-то ещё. Страница входа в CMS означает, что робот тоже не получит файл. HTML-заглушка вместо обычного текста указывает на неверный ответ сервера.

Проверка владельцем:
1) Браузер: /robots.txt → читаемый текст
2) Нет пароля и редиректа на главную-заглушку
3) Кодировка: обычный текст, не «кракозябры»
4) В Вебмастере: инструмент проверки robots (если доступен) + статус страниц

2. Шаблон для сайта услуг

Замените домен и удалите правила для путей, которых у вас нет. Чужой список Disallow не стоит переносить целиком: даже у двух сайтов на одной CMS структура может отличаться.

User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /lk/
Disallow: /search
Disallow: /*?
# ponytail: широкий /*? только если параметры реально мусорные;
# если услуги живут на ?city=  -  сузьте правило или уберите его

Allow: /assets/

Sitemap: https://example.ru/sitemap.xml

Строка User-agent: * действует для роботов без отдельного блока. Свой блок для Яндекса нужен только при конкретном отличии в правилах. Синтаксис лучше сверять со справкой Яндекс Вебмастера из источников ниже.

3. Что обычно закрывают

• Админка и служебные API.
• Корзина, оформление, личные кабинеты.
• Внутренний поиск и страницы «результат не найден» с мусорными query.
• Дубли фильтров и сортировок, если они плодят тысячи URL.
• Тестовые разделы /test/, /staging/ на боевом домене (лучше вынести на другой хост).

4. Что нельзя закрывать «на всякий случай»

• Страницы услуг, цен, кейсов, городов (если они должны быть в поиске).
• CSS и JS, без которых робот и человек видят «пустую» вёрстку (уточняйте по справке и факту отображения).
• Картинку логотипа и ключевые изображения, если они нужны в поиске картинок и сниппетах.
• Весь сайт Disallow: / на проде после переноса «чтобы не видели» и забыли открыть.
• Sitemap-путь, если хотите, чтобы карта читалась (карта указывается отдельно и должна быть доступна).

5. Частая ошибка: Disallow вместо noindex

Disallow просит робота не обходить путь. Если URL уже попал в индекс, робот может не увидеть новый meta robots из-за этого запрета. Выбор зависит от задачи: для закрытых данных нужна авторизация, для удалённой страницы подходит удаление, а для доступной страницы вне поиска обычно используют noindex. Статус конкретного URL проверьте в Вебмастере.

6. Чеклист после правки

[ ] Файл открывается по HTTPS в корне
[ ] Нет Disallow на /uslugi/ и важные посадки
[ ] Админка и кабинет закрыты
[ ] Sitemap: указан абсолютный URL и открывается
[ ] Синтаксис: один директивный смысл на строку, без «умных» кавычек из Word
[ ] В Вебмастере перечитали статус 2-3 ключевых URL
[ ] Записали дату правки и автора в заметку команды

Заполненный пример: кровельный сайт

Было:
User-agent: *
Disallow: /
(осталось после демо-контура)

Симптом: услуги не в поиске, Вебмастер ругается на запрет

Стало:
User-agent: *
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /search
Sitemap: https://krovlya.example/sitemap.xml

Проверка через сутки: /robots.txt открыт, /remont-krovli/ без Disallow,
запрошен переобход главной услуги

Частые вопросы