Главная » Блог » SEO | Органическое продвижение сайта » Как быстро найти дубли страниц на сайте? 10 простых способов

Как быстро найти дубли страниц на сайте? 10 простых способов

16.02.2021

Ольга Коцофанэ


Дубли — это страницы, которые полностью или частично повторяют контент со страницы «родителя». С точки зрения SEO наличие дубликатов делает сайт уязвимым и влияет на его рейтинг в поисковой выдаче. Поэтому в этой статье мы покажем, как выглядят дубли страниц и как их быстро найти. 

Как быстро найти дубли страниц на сайте? 9 простых способов

 

Почему дубли страниц плохо влияют на сайт? 

  • Теряется вес страницы, что приводит к понижению позиций сайта в поисковой выдаче.
  • Снижается уникальность контента.
  • Повышается время на индексацию сайта.
  • Релевантность сайта падает, в результате чего теряется возможный трафик пользователей.
  • Также дубли могут формировать дополнительный индекс (supplemental results). Если на сайте есть страницы, попавшие под такой фильтр, в конце списка сайтов из основных результатов выдачи отображается сообщение: «Мы скрыли некоторые результаты, которые очень похожи на предыдущие».
  • В худшем случае дубли страниц могут привести к наложению санкций поисковыми системами на ваш сайт или вообще к бану.

Из всего сказанного выше можно сделать вывод, что с дублями страниц нужно бороться. Делать это необходимо быстро и безошибочно, чтобы минимизировать количество проблем и улучшить работоспособность сайта.

 

Как выглядят дубликаты страниц?

Начнем с того, что дубли бывают внешние и внутренние.

  • Внешние или междоменные дубликаты ― это, когда два или более разных домена имеют одну и ту же копию страницы, проиндексированную поисковыми системами.
  • Внутренние дубли появляются на одном и том же веб-сайте через разные URL.

В зависимости от количества дублированного контента дубли страниц бывают также полные и частичные.

  • Полные дубли ― содержат идентичный контент и находятся на другом url.
  • Частичные дубли ― дублируют лишь определенный фрагмент содержимого страницы, поэтому их сложнее обнаружить.

Самые распространенные типы дублей страниц на сайте:

  1. Два сайта с разными доменными именами, один из которых начинается на www, а другой нет. В интернет-маркетинге такие сайты-копии еще называются «зеркалами».

Пример: www.mysite.ua и mysite.ua

  1. Дубли страниц с протоколами http и https.

Пример: https://mysite.ua и http://mysite.ua

  1. Два разных файла с HTML разметкой. В папке сайта можно обнаружить два файла с одинаковыми названиями, но с разными расширениями .php, .html и .htm (скорее всего файлы имеют название index или home).

Пример: https://mysite.ua/home/ и https://mysite.ua/home/index.html

  1. Страницы с обратным слешем и без. 

Пример: mysite.ua/contacts и mysite.ua/contacts/.

  1. Дубликаты с множественными слешами в середине либо в конце URL-адреса.

Пример: https://mysite.ua///, https://mysite.ua///home/

  1. Дубли в верхнем и нижнем регистре. Это одинаковые страницы со строчными и прописными буквами в URL.

Пример: https://mysite.ua/example и https://mysite.ua/EXAMPLE

  1. Страницы с произвольными символами, буквами или цифрами в URL. Они могут находиться в середине или в конце адреса, на различных уровнях вложенности или на одном и том же.

Пример: https://mysite.ua/home и https://mysite.ua/home/qufs2341qw

  1. Дубли с заменой дефиса на нижнее подчеркивание в URL и наоборот.

Пример: https://mysite.ua/home-page и https://mysite.ua/home_page

  1. Страницы с некорректно указанной иерархией разделов.

Пример: https://mysite.ua/menu/example и https://mysite.ua/example/menu

  1. Дубли без указания уровня вложенности.

Пример: https://mysite.ua/menu/category-1 и https://mysite.ua/category-1

  1. Страницы печати и PDF для загрузки, которые полностью копируют содержимое исходника.

Пример: https://mysite.ua/price и https://mysite.ua/price.pdf

  1. Копии, созданные страницами фильтров, сортировок и пагинации.

Пример: https://mysite.ua/category/tovar-1 и https://mysite.ua/category/tovar-1/brand=name/

  1. Блоки комментариев и отзывов, которые создают дополнительный параметр в адресе.

Пример: https://mysite.ua/category/tovar-1 и https://mysite.ua/category/tovar-1/otzyvy

  1. Дубли, которые создаются реферальной ссылкой.

Пример: https://mysite.ua/register/ и https://mysite.ua/register/?refid=11111 или https://mysite.ua/index.php?cf=reg-newr&ref=Partner1

  1. Страницы с доп. параметрами и UTM-метками.

Пример: https://mysite.ua/blog и https://mysite.ua/blog/?utm_source=social&utm_campaign=cpc&utm_term=promo

 

Как найти дубли страниц на сайте?

На сегодняшний день существует множество способов обнаружения дублированного контента на внутренних и внешних URL.

Способ 1. Вручную на сайте.

Самый древний способ найти дубли на сайте — осуществить проверку вручную, а затем внести изменения в код или удалить дубликат. Это дольше, чем при использовании специальных сервисов, но надежно и эффективно. При этом сразу видно, доступна страница или нет.

Способ 2. Произвести поиск дублей вручную, используя выдачу поисковика.

Откройте браузер и введите туда название вашего сайта в соответствии с шаблоном “Site: yoursite.ua” или “Site: www.yoursite.ua”. Такой запрос покажет все страницы сайта, участвующие в индексации. Просматриваем глазами все ссылки, обращая внимание на заголовки, описания, а также URL ссылки (*). Среди этого многообразия ищем сайты со схожими критериями (*). Это трудоемкий процесс занимающий много времени, но он может принести очень хороший результат.

Способ 3. С помощью сервиса Google Search Console.

В Google Search Console открываем раздел “Покрытие” и смотрим на пункт связанный с исключениями из индекса страниц.

Как выявить дубли страниц с помощью Google Search Console

Полезно знать! Аналогичную проверку можно произвести в Яндекс.Вебмастер. Для этого заходим в раздел «Индексирование», далее — «Страницы в поиске». Там можно увидеть текущую индексацию сайта и искомые дубли страниц.

Способ 4. Онлайн-сервис ApollonGuru.

Это бесплатный сервис, с помощью которого можно проверить за один раз до пяти URL-адресов. Чтобы запустить проверку, нужно ввести ссылки на страницы, которые требуют анализа. После некоторого ожидания программа выдаст информацию по дублям для указанных страниц.

Сервисы для поиска дублей страниц на сайту

Способ 5. Программа под названием «Screaming Frog Seo Spider».

Данная утилита из разряда условно-бесплатных дает возможность проверить 500 ссылок, после чего нужно будет приобрести полную версию, которая имеет дополнительный функционал. Принцип работы программы прост. Данный анализатор сайтов поможет обнаружить: SEO-дубли страниц, дубликаты заголовков и meta описаний.

Способ 6. «Xenu» — полностью бесплатная утилита.

Основными минусами софта является медленная скорость и низкая эффективность. Поиск дублей в ней осуществляется за счёт тех же факторов, что и в программах представленных выше.

Способ 7. С помощью Serpstat.

Для этого нужно войти в свой кабинет и выполнить «Аудит сайта» или «Аудит страницы».

Как найти дубли страниц на сайте через Serpstat

Затем в сводке по ошибкам необходимо перейти в раздел «Метатеги» и найти пункт «Дублирующийся Title». Если возле него чек-бокс будет окрашен в серый цвет, значит на вашем сайте найдены такие неполадки.

Как найти дубли страниц на сайте через Serpstat

Источник: Serpstat

Также косвенно можно найти дубли с помощью пункта «Дублирующийся Description» Следуйте рекомендациям и постарайтесь устранить ошибку как можно скорее.

Как найти дубли страниц на сайте через Serpstat

Источник: Serpstat

Способ 8. С помощью сервиса Copyscape.

Еще один удобный бесплатный онлайн-инструмент для поиска дублированного контента. В строку ввода на главной странице сайта сервиса вводим URL-адрес страницы, которую хотим проверить. Чтобы одновременно проверить до 10 тыс. страниц, необходимо купить платный пакет.

Сервисы для поиска дублей страниц на сайту

Способ 9. Сканирование через Siteliner.

На главной странице нужно ввести в строку URL-адрес сайта и дождаться результатов проверки.

Сервисы для поиска дублей страниц на сайту

После завершения проверки вам будет доступен раздел с дублированным контентом.

Как найти дубли страниц на сайте через Siteliner

В отчете вы найдете список ссылок, содержащих дублированный контент. Там же — количество дублей для каждой страницы и количество совпадающего контента между ними в процентах.

Как найти дубли страниц на сайте через Siteliner

Способ 10. Аудит сайта с помощью Ahrefs.

Сервис проанализирует все HTML-тэги сайта и выделит те совпадения, которые плохо влияют на его ранжирование. На скриншоте ниже можно увидеть, что желтым в результат анализа выделены совпадения по тегам Title, Description, H1 и контенту на страницах.

Как найти дубли страниц на сайте через Ahrefs

 

Выводы

Дубликаты страниц — это серьезная проблема, решение которой не стоит откладывать. Так, около 24% сайтов имеет повторы в тегах H1, что мешает им в числе прочего попасть на первую страницу выдачи Google. Поэтому мы рекомендуем попробовать один из 10 способов поиска дублей страниц на сайте.

После успешной процедуры обнаружения частичных или полных дубликатов следует устранить их. Для этого вы можете оставить у нас заявку на SEO-продвижение или самостоятельно провести все технические работы. О том, какие существуют методы устранения дублей страниц на сайтах, мы расскажем в следующей статье.

 

Также читайте другие статьи в блоге Webpromo:

И подписывайтесь на наш Telegram-канал про маркетинг.

Последние материалы рубрики

Как разработать лендинг в сервисе SendPulse

Как разработать лендинг в сервисе SendPulse

Ранее мы рассмотрели анатомию лендинга и этапы его подготовки. Для выбора посадочной страницы вам не понадобятся знания кода или...

Spark Ads — новый нативный формат рекламы для брендов в TikTok

Spark Ads — новый нативный формат рекламы для брендов в TikTok

Spark Ads обеспечивает более высокие результаты от проведения рекламных кампаний при минимальном бюджете.Новый нативный формат...

Как создать и использовать воронки продаж в маркетинге? Отслеживаем воронку с помощью Google Analytics

Как создать и использовать воронки продаж в маркетинге?...

Что такое воронка продаж, как создать и использовать, для чего отслеживать ваши воронки в Google Analytics? Все, что вы хотели узнать об этом...

Подготовка эффективного лендинга: 8 шагов к высоким...

Перед разработкой лендинга нужно продумать весь путь потенциального клиента. Как? Конвертировать лидов в клиентов с привлечением...

Остались вопросы?
Наши эксперты готовы ответить на них

Свяжитесь по указанному ниже телефону с нашим менеджером или воспользуйтесь услугой «Перезвонить мне». Мы свяжемся с вами в ближайшее время.

Каждый участник — мастер своего дела
Ценю Webpromo за гибкость
Команда Webpromo, как продолжение нашего отдела маркетинга
Спокоен за продвижение своих проектов в интернете