Поисковой системе требуется время, чтобы обнаружить и обработать новый URL. Если прошло достаточно времени, стоит проверить доступность страницы для робота, robots.txt, noindex, canonical, sitemap.xml и внутренние ссылки.
Почему сайт не индексируется в Яндекс и Google
Содержание:
Сайт может быть опубликован, нормально открываться в браузере и при этом почти не появляться в поиске. Иногда не индексируется весь проект, а иногда поисковая система игнорирует только отдельные страницы, категории или новые материалы.
Причина не всегда одна. Проблема может находиться в технических настройках, структуре сайта, дублирующихся URL, внутренней перелинковке или самом содержании страниц.
Разберём основные причины, почему сайт не индексируется в Яндекс и Google, и что имеет смысл проверить в первую очередь.
Что значит «страница не индексируется»
Индексация — это попадание страницы в базу поисковой системы. Если URL существует, но поисковик не добавил его в индекс, страница обычно не сможет полноценно участвовать в поисковой выдаче.
При этом важно различать две ситуации: поисковый робот ещё не обнаружил страницу и робот уже знает о ней, но решил не включать её в индекс. Причины у этих ситуаций могут быть разными.
1. Страница закрыта в robots.txt
Одна из первых вещей, которую стоит проверить, — не запрещено ли сканирование нужного раздела правилами файла robots.txt.
После изменений структуры сайта, переноса проекта или работы разработчика в robots.txt иногда остаются временные ограничения, которые случайно закрывают важные страницы.
2. На странице установлен запрет на индексацию
Кроме robots.txt, индексирование может ограничиваться через директивы noindex или HTTP-заголовки.
Такое часто бывает на тестовых версиях сайтов: перед запуском страницы специально закрывают от поисковиков, а после публикации ограничение забывают убрать.
3. Неверно настроен canonical
Canonical сообщает поисковой системе, какую страницу считать основной среди похожих URL.
Если canonical по ошибке ведёт на другую страницу, поисковик может решить, что текущий URL не нужно индексировать самостоятельно.
Особенно внимательно canonical стоит проверять у каталогов, фильтров, пагинации и страниц с параметрами в адресе.
4. На сайте много дублей
Один и тот же контент иногда доступен по нескольким адресам: с параметрами, слешем и без, через разные варианты фильтра, с техническими или служебными URL.
Если поисковая система видит большое количество похожих страниц, она может самостоятельно выбрать только часть из них для индексации.
5. Страница не связана с остальным сайтом
Поисковику проще находить страницы, когда на них ведут обычные внутренние ссылки.
Если новый материал существует, но на него невозможно перейти из меню, разделов, каталога или других страниц, робот может обнаружить его значительно позже.
Поэтому внутренняя перелинковка важна не только для пользователей, но и для обхода сайта поисковыми роботами.
6. Страницы нет в sitemap.xml
Карта сайта не гарантирует индексацию, но помогает поисковым системам обнаруживать нужные URL.
Стоит проверить, добавляются ли новые страницы в sitemap.xml, не попадают ли туда удалённые URL и совпадают ли адреса с реальной структурой сайта.
7. Сервер отвечает ошибкой или неправильным кодом
Страница может визуально выглядеть нормально, но отдавать поисковому роботу неправильный HTTP-статус.
Например:
- 404 — страница не найдена;
- 500 — ошибка сервера;
- 503 — сервис временно недоступен;
- цепочка лишних редиректов;
- перенаправление на другой URL.
Такие проблемы особенно часто появляются после переноса сайта или массового изменения адресов.
8. Страница почти не отличается от других
Поисковая система не обязана индексировать каждый URL сайта. Если десятки страниц отличаются только названием города, товара или одной строкой текста, часть из них может считаться малополезной или дублирующей.
Для таких страниц важно, чтобы они действительно решали отдельную пользовательскую задачу, а не существовали только ради дополнительного ключевого запроса.
9. На странице мало полезной информации
Формального наличия Title, H1 и нескольких предложений недостаточно, чтобы страница автоматически получила ценность в поиске.
Коммерческая страница должна давать пользователю понятную информацию об услуге или товаре, а информационный материал — действительно отвечать на вопрос.
Если страница практически пустая, поисковая система может долго не включать её в индекс или позже исключить.
10. Сайт недавно создан или страницы только опубликованы
Новая страница не обязана появляться в поиске сразу после публикации. Сначала робот должен обнаружить URL, загрузить страницу, обработать содержимое и принять решение об индексации.
Поэтому для нового материала небольшая задержка сама по себе ещё не означает проблему.
Как проверить, почему сайт не индексируется
Удобнее идти не по случайному списку советов, а последовательно проверить:
- доступна ли страница поисковому роботу;
- какой HTTP-код она отдаёт;
- нет ли noindex;
- правильно ли указан canonical;
- есть ли URL в sitemap.xml;
- есть ли внутренние ссылки на страницу;
- нет ли дублей;
- достаточно ли уникального и полезного содержимого;
- видит ли страницу Google Search Console или Яндекс Вебмастер.
Когда проблема уже требует SEO-аудита
Если не индексируется одна новая страница, причину часто можно найти достаточно быстро.
Но если из поиска выпадают целые разделы, индексируются технические URL, появляются тысячи дублей или структура сайта стала непонятной, лучше проверить проект системно.
Для этого можно провести SEO-аудит сайта: проверить индексирование, структуру URL, robots.txt, sitemap.xml, canonical, дубли и другие факторы.
Что делать после исправления ошибок
После технических изменений важно не только ждать переобхода, но и посмотреть на структуру сайта целиком.
Иногда проблемы индексации являются лишь следствием: неудачной архитектуры, большого количества ненужных страниц или отсутствия нормальной семантической структуры.
Если требуется дальнейшее развитие поисковой видимости, можно подключить SEO-продвижение сайта.
Если проблема требует изменений шаблонов, редиректов, фильтров, sitemap, canonical или другой технической части, такие задачи можно выполнить в рамках доработки сайта.
Когда нужен технический анализ сайта
Иногда проблема находится глубже: в генерации URL, логике шаблонов, сниппетах, серверной части или старом коде проекта.
Для сайтов на MODX в такой ситуации может потребоваться анализ кода и технический аудит.
Если сайт не индексируется, не стоит начинать с массовой переписки текстов или полной переделки проекта.
Сначала нужно понять, может ли поисковая система нормально обнаружить страницу, разрешено ли её индексировать, какой URL считается основным и достаточно ли страница отличается от других материалов сайта.
После такой диагностики становится понятно, достаточно ли одной технической правки или проблема требует полноценного SEO-аудита и дальнейшей работы со структурой.
Вопрос? Ответ
Robots.txt управляет обходом сайта поисковыми роботами. Ошибочные правила могут помешать нормальному сканированию важных разделов, поэтому файл стоит проверять после переноса или изменения структуры сайта.
Причины могут быть разными: дубли, слабое содержимое, неверный canonical, большое количество похожих URL или решение поисковой системы не включать конкретную страницу в индекс.
Sitemap.xml помогает поисковым системам обнаруживать URL, но не гарантирует их попадание в индекс. Страница всё равно должна быть доступной, корректной и достаточно полезной.
В этом случае лучше искать системную причину: изменения robots.txt или canonical, ошибки сервера, редиректы, дубли, перестройку структуры или качество самих страниц. Для большого количества URL удобнее провести SEO-аудит.
Можно сообщить поисковой системе о странице через инструменты для вебмастеров, но это не гарантирует индексацию. Если у URL есть техническая или содержательная проблема, сначала нужно устранить её.