Для успішного сайту важливо, щоб усі його сторінки були проіндексовані – у цьому разі він частіше виводитиметься за пошуковими запитами. Індексація прямим чином позначається на ранжируванні, адже якщо проіндексована лише частина сторінок, то решту ніхто ніколи не побачить.

Причин того, що сторінки сайту не індексуються, досить багато, а найпоширеніша – неправильно складений файл robots.txt. Через це навіть за якісного контенту і грамотної SEO оптимізації пошукова система може не індексувати сторінки.

Чому ж сторінки сайту не індексуються і як це перевірити – спробуємо розібратися.

Пошукові роботи проводять перевірку сторінок частинами і повільно – іноді до чотирьох місяців, тому тут важлива регулярна перевірка кількості проіндексованих сторінок. Тим паче, що це займає лише кілька хвилин.

Аналіз сторінок в індексі потрібно проводити у таких випадках:

  • сайт створено нещодавно;
  • відсутність показів за частиною пошукових запитів;
  • внесення змін до контенту;
  • додавання нових сторінок.

Перевіряти індексацію сторінок потрібно систематично – у цьому разі ви завжди будете в курсі того, що відбувається.

Як перевірити індексацію сайту в Google

Чому Google не індексує сторінки

Пошукові системи можуть не індексувати сторінки з найрізноманітніших причин, але почати необхідно з базового розуміння самого терміна індексація.

Що таке індексація сайту в пошукових системах

Індексація сторінок являє собою процес збору даних про них спеціальними пошуковими ботами. Вони обходять сайт з урахуванням певних алгоритмів і директив файлу robots.txt.

При цьому саме сканування зазвичай виконується швидко, а ось на потрапляння до пошукового індексу може знадобитися багато часу – тижні і навіть місяці.

Маючи дані про сторінки сайту (тематика, обсяг і якість контенту), пошукова система ранжує їх за пошуковими запитами і виводить на сторінці видачі. Непроіндексовані сторінки ніколи не опиняться у видачі.

15 причин, чому сторінки не індексуються

Перед вами список найбільш явних причин відмови Google індексувати сторінки, між тим їх набагато більше:

  1. Помилки у файлі robots.txt: неправильні директиви для пошукових ботів.
  2. Відсутність файлу sitemap.xml.
  3. Помилки у файлі sitemap.xml: неповний список сторінок.
  4. Блокування у файлі .htaccess.
  5. Стоїть заборона на сканування сайту Googlebot (забули зняти).
  6. Встановлено директиви Noindex, Nofollow.
  7. Наявність “сміттєвих” сторінок із неякісним контентом.
  8. Санкції через порушення правил Google.
  9. Сайт не оптимізований під мобільні пристрої.
  10. Довга відповідь сервера (занадто повільна швидкість завантаження).
  11. Проблема з редиректами, перенаправленнями.
  12. Використовується JavaScript для відображення контенту.
  13. Проблеми з дублюванням контенту.
  14. Проблеми з AJAX/JavaScript.
  15. Помилки сканування (збої CMS).

Якщо ж говорити про нещодавно створений сайт, саме його новизна часто і стає тією причиною, чому його сторінки не індексуються.

Як перевірити кількість проіндексованих сторінок

Це можна зробити найрізноманітнішими способами – платними і безкоштовними, які дають лише мінімальну кількість інформації.

Через оператори пошуку

Дізнатися, скільки сторінок проіндексовано, можна через введення в рядок пошуку браузера документарної команди “site:”. Виглядає це так:

Як перевірити індексацію сайту

Усі проіндексовані сторінки відобразяться в результаті. На жаль, Google перестав показувати їх кількість, тому доведеться рахувати вручну.

За допомогою Google Search Console

Базовий спосіб перевірки, який передбачає наявність підключеної до сайту Google Search Console. Тут є два корисних розділи: “Сторінки” та “Файли Sitemap”.

У “Сторінках” представлена загальна інформація та кількість проіндексованих сторінок із відображенням часу, а в “Sitemap” – кількість оброблених сторінок зі статусом “Успіх”.

перевірити індексацію сайту

Побачити список неіндексованих сторінок і помилки індексації можна все в тому ж розділі “Сторінки”, трохи нижче.

індексування сторінок у пошукових системах

Після виправлення всіх помилок можна запросити переіндексацію.

Sitechecker

Цей сервіс відстежує видимість сторінок, зміни позицій, видає рекомендації для поліпшення. Підходить для мобільних гаджетів, висилає на пошту звіти зі змінами позицій, сортує ключі тощо.

Netpeak schecker

Підходить SEO фахівцям під час проведення аудиту, для порівняння URL, аналізу способів просування у конкурентів. Можна інтегрувати з іншими сервісами.

Під час сканування видає перелік сторінок і параметри, що впливають на індексацію: mеtа robots, robots.txt, X-robots-tag тощо. У Netpeak Checker можна завантажити список сторінок і перевірити, чи є вони у видачі.

Ahrefs

Ще один професійний сервіс, який допомагає відстежувати показники просування сайту та індексацію сторінок. Багатофункціональний і зрозумілий інтерфейс, є можливість хмарних обчислень, автозбереження параметрів сканування, оновлення.

Букмарклети

Автоматизована перевірка за допомогою javascript-програм. Для запуску потрібно перетягнути посилання з “Перевірки індексації” до панелі закладок, відкрити сайт/сторінку і натиснути на закладку. З’явиться вкладка із запитом “site:” і покаже індексацію.

Google indexing API

Індексатор від Google, який дасть змогу отримати дані про останні запити за URL-адресою, надіслати запит на переіндексацію сторінок і запросити видалення сторінок з індексу.

Перевага цього сервісу – пакетні запити індексування до 100 шт.

Існує величезна безліч інших програм, сервісів і розширень браузера для перевірки індексування сторінок у пошукових системах – Screaming Frog SEO Spider, Xseo, Topvisor, SimilarWeb, MozBar, RDS bar, SEO-reports, Rush Analytics, FastTrust, Index Checking, SE Ranking, SEO-Tools, SEO-magic, кожна з них цікава по-своєму та має унікальний функціонал.

Як поліпшити індексацію сайту

Щоб кількість проіндексованих сторінок стабільно збільшувалася, важливо підійти до розвитку свого сайту комплексно:

  • оптимізувати і правильно налаштувати sitemap.xml і robots.txt;
  • прискорити швидкість завантаження сайту;
  • попрацювати над перелінковкою і якістю контенту;
  • прибрати сторінки-дублікати.

Індексація сайту – один із найважливіших чинників його просування. Якщо пошуковики не бачать його і не індексують його сторінки, необхідно якомога швидше знайти причину того, що відбувається, і усунути її. А тому регулярно відстежуйте кількість проіндексованих сторінок і вивчайте звіти про помилки.

Перевірте всі можливі причини, які впливають на індексацію сайту – навіть найнезначніші. Іноді проблема криється саме в них.

Головне тут – переконатися, що Google може виявляти і безперешкодно індексувати сторінки, важливі для вашого бізнесу.

© SEO студія Ямбус

Замовити безкоштовну консультацію
Допоможемо швидко вивести сайт в топ-3