Як швидко знайти дублі сторінок на сайті? 10 простих способів
16.02.2021
Дублі — це сторінки, які повністю або частково повторюють контент зі сторінки “батька”. З точки зору SEO, наявність дублікатів робить сайт вразливим і впливає на його рейтинг у пошуковій видачі. Уникнути цієї проблеми дасть змогу періодична перевірка сайту на дублі сторінок. У цій статті ми покажемо, який вигляд мають дублі сторінок і як їх швидко знайти.
Чому дублі сторінок погано впливають на сайт?
- Втрачається вага сторінки, що призводить до зниження позицій сайту в пошуковій видачі.
- Знижується унікальність контенту.
- Підвищується час на індексацію сайту.
- Релевантність сайту падає, внаслідок чого втрачається можливий трафік користувачів.
- Дублі можуть формувати додатковий індекс (supplemental results). Якщо на сайті є сторінки, що потрапили під такий фільтр, наприкінці списку сайтів з основних результатів видачі відображається повідомлення: «Ми приховали деякі результати, які дуже схожі на попередні».
- У гіршому випадку дублі сторінок можуть призвести до накладення санкцій пошуковими системами на ваш сайт або взагалі до бану.
З усього сказаного вище можна зробити висновок, що потрібно перевіряти сайт на дублі й одразу видаляти їх. Робити це необхідно швидко і безпомилково, щоб мінімізувати кількість проблем і підвищити працездатність сайту.
Який вигляд мають дублікати сторінок?
Почнемо з того, що дублі бувають зовнішні та внутрішні:
- Зовнішні або міждоменні дублікати — це, коли два або більше різних доменів мають одну й ту саму копію сторінки, проіндексовану пошуковими системами.
- Внутрішні дублі з’являються на одному і тому ж веб-сайті через різні URL.
Залежно від кількості дубльованого контенту, дублі сторінок бувають також повні та часткові:
- Повні дублі — містять ідентичний контент і знаходяться на іншому url.
- Часткові дублі — дублюють лише певний фрагмент вмісту сторінки, тому їх складніше виявити.
Найпоширеніші типи дублів сторінок на сайті:
1. Два сайти з різними доменними іменами, один з яких починається на www, а інший — ні. В інтернет-маркетингу такі сайти-копії ще називаються “дзеркалами”.
Приклад: www.mysite.ua і mysite.ua
2. Дублі сторінок із протоколами http і https.
Приклад: https://mysite.ua і http://mysite.ua
3. Два різні файли з HTML розміткою. У папці сайту можна виявити два файли з однаковими назвами, але з різними розширеннями .php, .html і .htm (найімовірніше, файли мають назву index або home).
Приклад: https://mysite.ua/home/ і https://mysite.ua/home/index.html
4. Сторінки зі зворотним слешем і без.
Приклад: mysite.ua/contacts і mysite.ua/contacts/.
5. Дублікати з множинними слешами в середині або в кінці URL-адреси.
Приклад: https://mysite.ua///, https://mysite.ua///home/
6. Дублі у верхньому і нижньому регістрі. Це однакові сторінки з малими та великими літерами в URL.
Приклад: https://mysite.ua/example і https://mysite.ua/EXAMPLE
7. Сторінки з довільними символами, літерами або цифрами в URL. Вони можуть розташовуватися в середині або наприкінці адреси, на різних рівнях вкладеності або на одному й тому самому.
Приклад: https://mysite.ua/home і https://mysite.ua/home/qufs2341qw
8. Дублі із заміною дефіса на нижнє підкреслення в URL і навпаки.
Приклад: https://mysite.ua/home-page і https://mysite.ua/home_page
9. Сторінки з некоректно вказаною ієрархією розділів.
Приклад: https://mysite.ua/menu/example і https://mysite.ua/example/menu
10. Дублі без зазначення рівня вкладеності.
Приклад: https://mysite.ua/menu/category-1 і https://mysite.ua/category-1
11. Сторінки друку і PDF для завантаження, які повністю копіюють вміст вихідного коду.
Приклад: https://mysite.ua/price і https://mysite.ua/price.pdf
12. Копії, створені сторінками фільтрів, сортувань і пагінації.
Приклад: https://mysite.ua/category/tovar-1 і https://mysite.ua/category/tovar-1/brand=name/
13. Блоки коментарів і відгуків, які створюють додатковий параметр в адресі.
Приклад: https://mysite.ua/category/tovar-1 і https://mysite.ua/category/tovar-1/otzyvy
14. Дублі, які створюються реферальним посиланням.
Приклад: https://mysite.ua/register/ і https://mysite.ua/register/?refid=11111 або https://mysite.ua/index.php?cf=reg-newr&ref=Partner1
15. Сторінки з доп. параметрами і UTM-мітками.
Приклад: https://mysite.ua/blog і https://mysite.ua/blog/?utm_source=social&utm_campaign=cpc&utm_term=promo
Як знайти дублі сторінок на сайті?
На сьогодні існує безліч способів перевірки сайту на дублі сторінок на внутрішніх і зовнішніх URL.
Спосіб 1. Вручну на сайті.
Найдавніший спосіб знайти дублі на сайті — перевірка сайту на дублі вручну, потім у код вносять зміни або видаляють дублікат. Це довше, ніж при використанні спеціальних сервісів, але надійно й ефективно. При цьому відразу видно, доступна сторінка чи ні.
Спосіб 2. Провести пошук дублів на сайті вручну, використовуючи видачу пошуковика.
Відкрийте браузер і введіть туди назву вашого сайту відповідно до шаблону “Site: yoursite.ua” або “Site: www.yoursite.ua”. Такий запит покаже всі сторінки сайту, що беруть участь в індексації. Переглядаємо очима всі посилання, звертаючи увагу на заголовки, описи, а також URL посилання (*). Серед цього різноманіття шукаємо сайти зі схожими критеріями (*). Це трудомісткий процес, що займає багато часу, але він може принести дуже хороший результат.
Спосіб 3. За допомогою сервісу Google Search Console.
У Google Search Console відкриваємо розділ «Покриття» і дивимося на пункт, пов’язаний з виключеннями з індексу сторінок.
Корисно знати! Аналогічну перевірку можна зробити в Яндекс.Вебмастер. Для цього заходимо в розділ «Індексування», далі — «Сторінки в пошуку». Там можна побачити поточну індексацію сайту і шукані дублі сторінок.
Спосіб 4. Онлайн-сервіс ApollonGuru.
Перевірка сайту на дублі сторінок онлайн передбачає використання одного з багатьох сервісів. ApollonGuru — безкоштовний ресурс, за допомогою якого можна перевірити за один раз до п’яти URL-адрес. Щоб запустити перевірку, потрібно ввести посилання на сторінки, які потребують аналізу. Після деякого очікування програма видасть інформацію щодо дублів для зазначених сторінок.
Спосіб 5. Програма Screaming Frog Seo Spider.
Як ще перевірити сайт на дублі сторінок? Ця утиліта з розряду умовно безкоштовних дає можливість перевірити 500 посилань, після чого потрібно буде придбати повну версію з додатковим функціоналом. Принцип роботи програми простий: аналізатор сайтів допоможе виявити SEO-дублі сторінок, дублікати заголовків і meta-описів.
Спосіб 6. Xenu — цілком безкоштовна утиліта.
Основні мінуси софта — повільна швидкість і низька ефективність. Пошук дублів у ній здійснюється завдяки тим самим факторам, що і в програмах, представлених вище.
Спосіб 7. За допомогою Serpstat.
Для цього потрібно увійти у свій кабінет і виконати «Аудит сайту» або «Аудит сторінки».
Потім у зведенні помилок необхідно перейти в розділ «Мета-теги» і знайти пункт «Дубльований Title». Якщо біля нього чекбокс буде забарвлений у сірий колір, отже, на вашому сайті знайдено такі вади.
Також побічно можна знайти дублі за допомогою пункту «Description, що дублюється» Дотримуйтесь рекомендацій і постарайтеся усунути помилку якомога швидше.
Спосіб 8. За допомогою сервісу Copyscape.
Ще один зручний безкоштовний онлайн-інструмент для пошуку дубльованого контенту. У рядок введення на головній сторінці сайту сервісу вводимо URL-адресу сторінки, яку хочемо перевірити. Щоб одночасно перевірити до 10 тис. сторінок, необхідно купити платний пакет.
Спосіб 9. Сканування через Siteliner.
Щоб перевірити сайт на дублі онлайн, на головній сторінці потрібно ввести в рядок URL-адресу і дочекатися результатів.
Після завершення роботи утиліти вам буде доступний розділ із дубльованим контентом.
У звіті ви знайдете список посилань, що містять дубльований контент. Там же — кількість дублів для кожної сторінки і кількість контенту, що збігається між ними, у відсотках. Обов’язково проведіть видалення дублів сторінок, щоб сайт працював коректно і не конфліктував з пошуковими роботами.
Спосіб 10. Аудит сайту за допомогою Ahrefs.
Сервіс проаналізує всі HTML-теги сайту і виділить ті збіги, які погано впливають на його ранжування. На скріншоті нижче можна побачити, що жовтим у результат аналізу виділено збіги за тегами Title, Description, H1 і контентом на сторінках.
Висновки
Дублікати сторінок — це серйозна проблема, вирішення якої не варто відкладати. Так, близько 24% сайтів має повтори в тегах H1, що заважає їм серед іншого потрапити на першу сторінку видачі Google. Тому ми рекомендуємо спробувати один із 10 способів пошуку дублів сторінок на сайті.
Після успішної процедури виявлення часткових або повних дублікатів слід усунути їх. Для цього ви можете залишити у нас заявку на SEO-просування або самостійно провести всі технічні роботи. Про те, які існують методи усунення дублів сторінок на сайтах, ми розповімо в наступній статті.
Також читайте інші статті в блозі Webpromo:
- Підвищуємо продажу з Hotline на свята: інструкція від Ашан і Webpromo;
- Як підвищити ефективність реклами в Facebook для B2B;
- Просування мобільного додатка «UKRSIB Online». Зниження ціни за установку для IOS в 3 рази за допомогою нового джерела. Кейс Ukrsibbank BNP Paribas Group.
І підписуйтесь Telegram-канал про маркетинг.