Як правильно закрити сторінку від індексації в Google: покроковий гайд

• SEO
• Гайди & How-to

• 
  Редакторка блогу Webpromo
  Анастасія Чернушенко

Більшість сайтів містить сторінки, необхідні для технічної роботи ресурсу або зручності користувачів, але самостійної цінності з погляду органічного трафіку вони не мають. Якщо такі сторінки безконтрольно потрапляють до пошукового індексу, це ускладнює структуру сайту, призводить до дублювання контенту та зниження ефективності сканування важливих розділів.

Контроль індексації допомагає зосередити увагу пошукових роботів на сторінках, які мають найбільшу цінність для бізнесу та користувачів. У статті розповідаємо, які сторінки варто закривати, які інструменти для цього використовувати та як перевірити правильність налаштувань.

Зміст:

1. Які сторінки варто закрити від індексації?
2. Як закрити сторінку від індексації через директиву noindex?
3. Як керувати доступом до вмісту сайту через robots.txt?
4. Інші інструменти для управління індексацією та доступом до вмісту на сайті
5. Як перевірити, чи закрита сторінка від індексації?
6. Поширені помилки, яких варто уникати

Які сторінки варто закрити від індексації?

Не всі сторінки сайту мають SEO-цінність. Технічні, службові та дубльовані URL можуть збільшувати кількість сторінок, які сканують пошукові роботи, створювати зайві дублікати та потрапляти до пошукової видачі без користі для користувача. Обмеження індексації robots.txt допомагає ефективніше використовувати краулінговий бюджет, підтримувати зрозумілу структуру сайту та не допускати появи в пошуку сторінок, які не призначені для залучення органічного трафіку.

Найчастіше до категорії сторінок, які не варто індексувати, належать:

Важливо зазначити, що не всі технічні сторінки потребують обмеження індексації — рішення варто приймати з урахуванням їхньої функції та користі для пошуку. Якщо URL має унікальний корисний контент і відповідає пошуковому попиту, його варто оцінювати окремо. Наприклад, сторінка категорії з популярним фільтром може бути повноцінною посадковою сторінкою, а не технічним дублем. Так само не варто автоматично закривати всі сторінки пагінації: вони можуть бути важливими для навігації та доступу до товарів.

Як закрити сторінку від індексації через директиву noindex?

Для більшості сторінок, які мають залишатися доступними користувачам, але не повинні з’являтися в Google, основним інструментом є директива noindex.

Її можна додати через метатег у head сторінки:

Директива працює лише тоді, коли пошуковий робот може отримати доступ до сторінки та прочитати її вміст. Якщо URL заблокований у robots.txt, Google не зможе побачити метатег noindex. У такому разі сторінка все ще може потрапити до пошукової видачі, наприклад, якщо на неї посилаються інші сторінки. Якщо потрібно саме заборонити індексацію, а не сканування, сторінка має залишатися доступною для пошукового робота. 

Поширені метатеги для керування індексацією

Залежно від завдання, можна використовувати різні метатеги для керування індексацією:

• Заборонити індексацію сторінки в Google Пошуку та Google Новинах:

• Заборонити індексацію сторінки всіма пошуковими роботами:

• Заборонити Google News індексувати певні матеріали:

• Заборонити індексацію зображень на сторінці:

Окремо можна використовувати директиву unavailable_after, яка повідомляє Google, що сторінку потрібно припинити показувати в пошуку після визначеного часу. Цей варіант підходить для контенту з обмеженим строком актуальності, наприклад новин або тимчасових пропозицій.

Як додати noindex через CMS?

Якщо сайт працює на CMS, редагувати HTML-код вручну необов’язково. Зазвичай потрібно знайти налаштування на кшталт «Дозволити пошуковим системам індексувати сторінку», «Видимість у пошуку» або «Robots meta» та встановити значення noindex. Конкретні кроки залежать від CMS, її версії та встановлених SEO-плагінів.

Для цього перевірте актуальну документацію CMS або SEO-плагіна, який використовується на сайті. Для ручного додавання метатегу потрібно мати доступ до редагування секції <head> відповідної сторінки.

Як керувати доступом до вмісту сайту через robots.txt?

Файл robots.txt використовують для керування доступом пошукових роботів до певних URL або розділів сайту. Щоб заборонити всім пошуковим роботам сканувати певні розділи, у файлі robots.txt можна вказати:

У цьому прикладі:

• User-agent: * — правило поширюється на всіх пошукових роботів.
• Disallow: /cart/ — забороняє сканування URL, що починаються з /cart/.
• Disallow: /checkout/ — обмежує доступ до розділу оформлення замовлення.
• Disallow: /search/ — забороняє сканування сторінок внутрішнього пошуку.

Правило Disallow не гарантує видалення сторінки з індексу. Якщо Google уже знає про URL з інших джерел, він може зберігати його в індексі навіть без сканування. Якщо сторінка вже індексується, а її потрібно прибрати з пошуку, зазвичай використовують директиву noindex або інші інструменти.

Інші інструменти для управління індексацією та доступом до вмісту на сайті

Окрім robots.txt і noindex, для керування індексацією та доступом до контенту можна використовувати:

• Атрибут rel=”canonical”. Вказує пріоритетну версію URL серед кількох схожих або дубльованих сторінок. Це допомагає пошуковим системам зрозуміти, яку версію варто вважати основною, але такий спосіб не є прямою забороною індексації.

• Файл конфігурації .htaccess можна використовувати для налаштування доступу до окремих розділів сайту. Наприклад, за допомогою HTTP-авторизації можна обмежити доступ до staging-версії або службових сторінок.
• Заголовок X-Robots-Tag. Дозволяє керувати індексацією не-HTML-файлів (PDF, документів тощо). Його можна використовувати, коли потрібно заборонити індексацію файлу, але немає можливості додати метатег у HTML-код.
• Код відповіді сервера 301. Використовується, коли сторінку остаточно перенесено на іншу адресу. Редирект направляє користувачів і пошукових роботів на новий URL та передає сигнали старої сторінки новій.
• Коди відповіді 404 Not Found і 410 Gone. Застосовуються для сторінок, які більше не існують і не мають релевантної заміни. Після повторного сканування пошукові системи можуть видалити такі URL з індексу.

• XML-карта сайту не забороняє індексацію, але допомагає керувати пріоритетом сканування. До sitemap.xml варто включати актуальні канонічні сторінки, а технічні та закриті від індексації URL не додавати.
• Інструмент видалення сторінок у GSC. Якщо URL уже потрапив до пошукової видачі, його можна тимчасово прибрати/ Для цього вкажіть потрібний URL та подайте запит на видалення. Цей спосіб не замінює постійне налаштування обмежень індексації: якщо сторінка має залишатися недоступною для пошуку, потрібно також правильно налаштувати noindex, редирект або інший відповідний механізм.

Як перевірити, чи закрита сторінка від індексації?

Після налаштування обмежень важливо перевірити, чи пошукові системи правильно їх розпізнають. Для цього найзручніше використовувати Google Search Console.

Відкрийте Google Search Console та оберіть потрібний ресурс. У розділі «Сторінки» введіть повну URL-адресу сторінки, для якої налаштовано обмеження, і натисніть «Перевірити опубліковану URL-адресу».

Результат перевірки залежить від обраного способу обмеження. Наприклад, для сторінки з noindex важливо переконатися, що Google бачить відповідну директиву, а для URL, закритого в robots.txt, — що сканування справді заборонене.

Search Console не гарантує миттєвого оновлення індексу. Якщо сторінка вже була проіндексована, після внесення змін може знадобитися повторне сканування. Тому варто перевіряти не лише налаштування, а й фактичний статус URL у пошуку.

Поширені помилки під час закриття сторінок від індексації

Навіть незначні помилки в налаштуваннях можуть призвести до появи технічних сторінок у пошуку, зниження видимості важливих розділів та інших негативних наслідків. Серед поширених проблем, які можуть виникнути:

1. Одночасне закриття сторінки в robots.txt та додавання noindex. Якщо URL заблокований у robots.txt, Googlebot може не отримати доступу до HTML-коду й не побачити метатег noindex. Водночас URL може залишатися відомим Google через внутрішні або зовнішні посилання та відображатися в пошуку без повного опису сторінки. Для вже проіндексованих URL спочатку потрібно забезпечити доступ до сторінки, щоб Google міг прочитати noindex, а за потреби — скористатися інструментом тимчасового видалення в Search Console.
2. Залишення заборони індексації після редизайну або релізу сайту. У такому випадку Google не може коректно сканувати важливі сторінки, а їхня видимість у пошуку може знизитися. Щоб уникнути цього, додайте перевірку індексації до чекліста кожного технічного релізу. 
3. Використання noindex замість 301-редиректу або відповіді 404/410. Для видалених товарів чи застарілих статей варто використовувати відповідний код відповіді сервера — 404 Not Found або 410 Gone. Якщо сторінку перенесено на нову адресу, зазвичай налаштовують 301 редирект, щоб користувачі та пошукові системи переходили на актуальний URL.
4. Блокування CSS і JavaScript у robots.txt. Спроба обмежити сканування системних папок, наприклад /assets/, /css/ або /js/, може завадити Googlebot повноцінно завантажити та відрендерити сторінку. Не блокуйте CSS і JavaScript без конкретної потреби — пошуковий робот має отримувати доступ до ресурсів, необхідних для коректного відображення сторінки та оцінки її якості.
5. Закриття сторінок із важливими зворотними посиланнями. Якщо на сторінку ведуть якісні зовнішні посилання, перед її закриттям варто оцінити, чи не втратить сайт частину SEO-користі. 

Технічні помилки, дублікати сторінок і неефективне використання краулінгового бюджету можуть негативно впливати на видимість сайту, органічний трафік і, зрештою, кількість конверсій. Самостійне налаштування директив без розуміння принципів роботи пошукових систем може призвести до небажаного блокування важливих сторінок і втрати їхньої видимості в пошуку.

Звертайтеся до Webpromo, щоб отримати професійний супровід технічної оптимізації та побудувати SEO-стратегію, орієнтовану на стабільне зростання органічного трафіку й конверсій.