Почему сайт не индексируется в Яндексе: проверка одного URL

Если сайта нет в Яндексе, не начинайте с отправки всей карты сайта заново. Возьмите один важный URL и пройдите его путь целиком: обнаружение, обход, включение в индекс, появление по нужному запросу. На каждом этапе свои причины сбоя. Такой разбор обычно быстрее, чем список из двадцати общих советов.

Данные Wordstat через Yandex Search API v2, собранные 12 августа 2026 года для России и всех устройств, показывают широкое значение 26 для почему сайт не индексируется, 5 для почему сайт не индексируется в яндексе и 14 для отдельной диагностической формулировки как проверить индексацию сайта в яндексе. Это статистика широких запросов в выбранных настройках, а не число людей и не прогноз переходов. Небольшая частотность здесь не отменяет ценность задачи: у владельца уже есть конкретная проблема с конкретной страницей.

Сначала определите, на каком этапе пропал URL

• Обнаружение. Яндекс ещё не знает адрес. На URL нет внутренних ссылок, его нет в Sitemap, либо он появился недавно.
• Обход. Робот знает адрес, но не может получить нормальную страницу из-за запрета, ошибки сервера, авторизации, долгого ответа или цепочки редиректов.
• Индексирование. Страница получена, но не включена в поиск. Причиной может быть noindex, другой canonical, дубль, недостаточная ценность или иное решение поисковой системы.
• Видимость в поиске. URL уже находится в индексе, но не показывается по выбранной фразе или находится слишком низко. Это уже вопрос соответствия запросу, качества и конкуренции, а не доступа робота.

Поиск точного адреса и оператор site: дают быструю подсказку, но не окончательный диагноз. Основной источник статуса для владельца сайта: разделы про страницы в поиске и исключённые страницы в Яндекс Вебмастере. Проверяйте точный URL с протоколом, доменом, путём, регистром и завершающим слешем. Похожий адрес может иметь другой ответ и другой canonical.

1. Проверьте точный URL и ответ сервера

Сделайте это без терминала. Откройте страницу в приватном окне, без входа в CMS. Она не должна просить пароль, показывать пустой шаблон или зависеть от cookie администратора. В Яндекс Вебмастере откройте нужный URL в разделе про страницы в поиске / исключенные страницы и посмотрите статус. Для живой основной страницы ожидается нормальный ответ сервера. Редирект допустим, если старый адрес одним шагом ведет на правильный новый. Ошибки 404, 410, 5xx, петля редиректов и «мягкая» страница-заглушка ломают путь в индекс.

Запишите: исходный URL, куда вас перекинуло, совпадает ли конечный адрес с тем, что в меню и в canonical, дату проверки. Если HTTP уходит на HTTPS, а www на версию без www, конечная версия должна быть одна на всем сайте.

Для тех, кому удобен терминал (необязательно):
curl -I https://example.ru/page
curl -L -I --max-redirs 10 https://example.ru/page
# если HEAD отвечает странно, сравните с GET:
curl -sS -D - -o /dev/null https://example.ru/page

2. Разберите robots.txt и запреты индексации

Откройте в браузере https://ваш-сайт.ru/robots.txt и найдите правила для пути проблемной страницы. Частая ошибка: широкий Disallow, который закрыл весь раздел, а не один служебный фильтр. Не используйте robots.txt, чтобы «убрать» уже известную страницу из поиска: запрет обхода мешает роботу прочитать и содержимое, и метатеги.

В Вебмастере посмотрите, не помечена ли страница как исключенная из-за запрета. В коде страницы (ПКМ → «просмотр кода») найдите meta robots. В инструментах разработчика браузера на вкладке сети проверьте заголовок X-Robots-Tag: его не видно в HTML, и его легко пропустить. Проверьте и исходный URL, и конечный после редиректа. Если страницу нужно индексировать, снимите запрет, опубликуйте правку и только потом просите переобход.

Для тех, кому удобен терминал (необязательно):
curl -sS https://example.ru/robots.txt
curl -sS -D - -o /dev/null https://example.ru/page | grep -iE '^(HTTP/|x-robots-tag:|location:)'
curl -sS https://example.ru/page | grep -iE 'robots|canonical'

3. Сверьте canonical и редиректы

Тег rel=canonical говорит, какой адрес считать основным среди похожих. На индексируемой странице обычно один абсолютный canonical на нее саму. Если страница услуги указывает canonical на главную, старый домен, тестовый стенд или URL без важного параметра, Яндекс может считать основной другую страницу. Canonical это рекомендация роботу, не гарантия.

• В исходном HTML есть только один rel=canonical.
• Адрес абсолютный, открывается и отвечает 200 OK.
• Canonical не закрыт в robots.txt и не содержит noindex.
• Внутренние ссылки и Sitemap используют тот же основной URL.
• Старые и альтернативные версии не образуют цепочку и не возвращаются к исходному адресу.

В браузере: просмотр исходного кода (не только DOM после скриптов). Если canonical появляется только после JavaScript, меняется при загрузке или в исходнике и в DOM разные адреса, перенесите его в стабильный HTML с сервера. Владельцу достаточно Вебмастера и «просмотра кода»; терминал здесь не обязателен.

4. Убедитесь, что страницу можно обнаружить

Важный URL должен быть доступен по обычной HTML-ссылке с уже известной страницы сайта. Ссылка из меню, категории, связанной услуги или статьи надёжнее, чем адрес, который появляется только после ввода фильтра или нажатия кнопки в скрипте. Посчитайте путь от главной и проверьте, что ссылки ведут сразу на основной URL, а не через редирект.

Добавьте канонический URL в Sitemap, если страница должна участвовать в поиске. Затем проверьте, что файл открывается, указан в Вебмастере и не содержит редиректы, ошибки и закрытые страницы. Sitemap помогает Яндексу узнать об адресе, но не гарантирует обход, индексирование или позицию. IndexNow тоже лишь сообщает об изменении URL и не заменяет исправление причины.

5. Проверьте, что основной текст виден без хрупкого JavaScript

Сравните исходный HTML и страницу после выполнения JavaScript. Если в исходнике есть только контейнер загрузки, а название услуги, цена, описание и ссылки появляются после запроса к API, обход становится зависимым от рендеринга и доступности этого API. Ошибка скрипта, блокировка ресурса или долгий ответ могут оставить роботу пустую страницу. Для важных посадочных безопаснее отдавать основной текст и ссылки в серверном HTML, а JavaScript использовать для интерактивных деталей.

• Отключите JavaScript в браузере и проверьте, остаётся ли смысл страницы.
• Посмотрите исходный HTML, а не только вкладку Elements.
• Проверьте ошибки загрузки скриптов и API в Network и Console.
• Сравните заголовок, текст, ссылки, canonical и robots в исходной и отрисованной версии.
• Проверьте представление страницы и статус обхода в Яндекс Вебмастере.

6. Оцените дубль, полноту и пользу страницы

Технически доступный URL не обязан попасть в индекс. Сравните его с уже существующими страницами сайта. Если различаются только город в заголовке, порядок товаров или несколько фраз, поиску может не понадобиться ещё одна копия. Пустая карточка, страница без цены и условий, автоматически собранный список или статья, которая пересказывает общие советы, тоже дают мало причин хранить отдельный документ.

Не лечите такую страницу добавлением текста ради объёма. Решите, нужна ли она вообще. Полезная посадочная отвечает на отдельную задачу, содержит факты о товаре или услуге, объясняет условия, показывает доступный следующий шаг и не противоречит остальному сайту. Дубли лучше объединить, перенаправить или явно развести по намерению пользователя.

Что записать во время проверки

Без журнала легко исправить один адрес и через неделю забыть, что именно изменилось. Одна строка на URL уже даёт полезную историю.

• Дата и точный URL (как в адресной строке).
• Конечный URL и код ответа / статус в Вебмастере.
• robots.txt: открыт или закрыт путь.
• noindex / X-Robots-Tag: есть или нет.
• canonical: какой и совпадает ли с основным URL.
• Есть ли обычная внутренняя ссылка и запись в Sitemap.
• Текст в исходном HTML или только после JS.
• Что исправили, когда запросили переобход, какой результат.

Приложите снимок или экспорт статуса из Вебмастера, заголовки ответа и фрагмент исходного HTML. После исправления повторите те же проверки. Так можно отделить факт внедрения от внешнего результата: изменение кода подтверждает только изменение кода, а включение URL в поиск подтверждается данными Яндекса после нового обхода и обработки.

Когда отправлять на переобход

Запрашивайте переобход после существенной исправленной причины: снят случайный noindex, открыт раздел в robots.txt, исправлен ответ сервера, canonical, редирект или пустой HTML, добавлено самостоятельное полезное содержание. До отправки проверьте опубликованную версию без входа в CMS. Для нового URL сначала обеспечьте внутреннюю ссылку и корректный Sitemap.

Не отправляйте неизменную страницу каждый день. Запрос означает просьбу посетить URL снова, но не обещание включить его в индекс. После повторного обхода откройте статус страницы в Вебмастере, запишите дату и указанную причину. Если причина изменилась, продолжайте с нового факта, а не повторяйте прежнюю правку.

Когда нужен SEO-аудит

• Из поиска выпал не один URL, а шаблон, раздел или большая доля сайта.
• Проблема появилась после смены домена, CMS, протокола или структуры адресов.
• У сайта много фильтров, параметров, пагинации и почти одинаковых страниц.
• Основное содержание зависит от JavaScript, API или персонализации.
• Вебмастер показывает разные причины исключения, а исправления одной страницы не масштабируются.
• URL находится в индексе, но показы и целевые переходы падают. Здесь надо проверять не только индексацию, но и спрос, конкурирующие страницы, качество содержания и изменения сайта.