Для успешного сайта важно, чтобы все его страницы были проиндексированы — в этом случае он чаще будет выводиться по поисковым запросам. Индексация прямым образом отражается на ранжировании, ведь если проиндексирована лишь часть страниц, то остальные никто никогда не увидит.

Причин того, что страницы сайта не индексируются, достаточно много, а наиболее распространённая — неправильно составленный файл robots.txt. Из-за этого даже при качественном контенте и грамотной SEO оптимизации поисковая система может не индексировать страницы.

Почему же страницы сайта не индексируются и как это проверить — попробуем разобраться.

Поисковые роботы проводят проверку страниц частями и медленно — иногда до четырёх месяцев, поэтому здесь важна регулярная проверка количества проиндексированных страниц. Тем более, что это занимает несколько минут.

Анализ страниц в индексе нужно проводить в следующих случаях:

  • сайт создан недавно;
  • отсутствие показов по части поисковых запросов;
  • внесение изменений в контент;
  • добавление новых страниц.

Проверять индексацию страниц нужно систематически — в этом случае вы всегда будете в курсе происходящего.

Как проверить индексацию сайта в Google

Почему Google не индексирует страницы

Поисковые системы могут не индексировать страницы по самым разным причинам, но начать необходимо с базового понимания самого термина индексация.

Что такое индексация сайта в поисковых системах

Индексация страниц представляет собой процесс сбора данных о них специальными поисковыми ботами. Они обходят сайт и с учётом определённых алгоритмов и директив файла robots.txt.

При этом само сканирование обычно выполняться быстро, а вот на попадание в поисковый индекс может занять много времени — недели и даже месяцы.

Имея данные о страницах сайта (объёме и качестве контента), поисковая система ранжирует их по поисковым запросам и выводит на странице выдачи. Непроиндексированные страницы никогда не окажутся в выдаче.

15 причин, почему страницы не индексируются

Перед вами список наиболее явных причин отказа Google индексировать страницы, между тем их намного больше:

  1. Ошибки в файле robots.txt: неправильные директивы для поисковых ботов.
  2. Отсутствие файла sitemap.xml.
  3. Ошибки в файле sitemap.xml: неполный список страниц.
  4. Блокировка в файле .htaccess.
  5. Стоит запрет на сканирование сайта Googlebot (забыли снять).
  6. Установлен директивы Noindex, Nofollow.
  7. Наличие «мусорных» страниц с некачественным контентом.
  8. Санкции из-за нарушений правил Google.
  9. Сайт не оптимизирован под мобильные устройства.
  10. Долгий ответ сервера (слишком медленная скорость загрузки).
  11. Проблема с редиректами, перенаправлениями.
  12. Используется JavaScript для отображения контента.
  13. Проблемы с дублированием контента.
  14. Проблемы с AJAX/JavaScript.
  15. Ошибки сканирования (сбои CMS).

Если же говорить о недавно созданном сайте, именно его новизна часто и становится той причиной, почему его страницы не индексируются.

Как проверить количество проиндексированных страниц

Это можно сделать самыми разными способами — платными и бесплатными, которые дают лишь минимальное количество информации.

Через операторы поиска

Узнать, сколько страниц проиндексировано, можно через введение в строку поиска браузера документарной команды «site:». Выглядит это следующим образом:

Как проверить индексацию сайта в Google

Все проиндексированные страницы отобразится в результате. К сожалению, Google перестал показывать количество, поэтому придётся считать вручную.

С помощью Google Search Console

Базовый способ проверки, который предполагает наличия подключённой к сайту Google Search Console. Здесь есть два полезных раздела: «Страницы» и «Файлы Sitemap».

В Страницах представлена общая информация и количество проиндексированных страниц с отображением времени, а в Sitemap — количество обработанных страниц со статусом «Успех».

Как проверить индексацию сайта

Увидеть список неиндексируемых страниц и ошибки индексации можно всё в том же разделе «Страницы», чуть ниже.

Как проверить индексацию сайта в Google

После исправления всех ошибок можно запросить переиндексацию.

Sitechecker

Данный сервис отслеживает видимость страниц, изменения позиций, выдаёт рекомендации для улучшения. Подходит для мобильных гаджетов, высылает на почту отчёты с изменениями позиций, сортирует ключи и т.д.

Netpeak сhecker

Подходит SEO специалистов при проведении аудита, для сравнения URL, анализа способов продвижения у конкурентов. Можно интегрировать с другими сервисами.

При сканировании выдаёт перечень страниц и параметры, влияющие на индексацию: mеtа robots, robots.txt, X-robots-tag и др. В Netpeak Checker можно загрузить список страниц и проверить, есть ли они в выдаче.

Ahrefs

Ещё один профессиональный сервис, который помогает отслеживать показатели продвижения сайта и индексацию страниц. Многофункциональный и понятный интерфейс, есть возможность облачных вычислений, автосохранение параметров сканирования, обновление.

Букмарклеты

Автоматизированная проверка с помощью javascript-программ. Для запуска нужно перетащить ссылку из «Проверки индексации» к панели закладок, открыть сайт/страницу и нажать на закладку. Появится вкладка с запросом «site:» и покажет индексацию.

Google indexing API

Индексатор от Google, который позволит получить данные о последних запросах по URL-адресу, отправить запрос переиндексации страниц и запросить удаление страниц из индекса.

Преимущество данного сервиса – пакетные запросы индексирования до 100 шт.

Существует огромное множество других программ, сервисов и расширений браузера для проверки индексирования страниц в поисковых системах — Screaming Frog SEO Spider, xseo, Topvisor, SimilarWeb, MozBar, RDS bar, SEO-reports, Rush Analytics, FastTrust, Index Checking, SE Ranking, SEO-Tools, SEO-magic. каждый из них интересен по-своему и обладает уникальным функционалом.

Как улучшить индексацию сайта

Чтобы количество проиндексированных страниц стабильно увеличивалось, важно подойти к развитию своего сайта комплексно:

  • оптимизировать и правильно настроить sitemap.xml и robots.txt;
  • ускорить скорость загрузки сайта;
  • поработать над перелинковкой и качеством контента;
  • убрать страницы-дубликаты.

Индексация сайта — один из важнейших факторов его продвижении. Если поисковики не видят его и не индексируют его страницы, необходимо как можно скорее найти причину происходящего и устранить её. А потому регулярно отслеживайте количество проиндексированных страниц и изучайте отчёты об ошибках.

Проверьте все возможные причины, которые влияют на индексацию сайта — даже самые незначительные. Иногда проблема кроектся именно в них.

Главное здесь — убедиться, что Google может обнаруживать и беспрепятственно индексировать страницы, важные для вашего бизнеса.

© SEO студия Ямбус

Заказать бесплатную консультацию
Поможем быстро вывести сайт в топ-3