Як перевірити файл robots.txt? ТОП-6 безплатних інструментів
Файл robots.txt – це набір інструкцій для ботів-сканерів пошукових систем. Набір правил допомагає керувати ботами, вказуючи, які сторінки потрібно сканувати, а які – ні.
Перед скануванням вебсайту, боти-сканери зчитують інструкції у файлі та слідують тому, що там написано. Помилки файлу заважають коректному відображенню сайту у пошуковій мережі. Для вебресурсів, які постійно наповнюються контентом, рекомендують щодня перевіряти robots.txt.
Чому перевірка файлу robots.txt важлива?
Для індексації сайту пошуковик «виділяє» краулінговий бюджет — ліміт сторінок, який бот може перевірити на конкретному вебсайті. При відсутності файлу або його некоректному заповненні краулери можуть «витратити» свій бюджет на другорядні сторінки. У цьому разі важлива інформація залишиться не проіндексованою. Це може призвести до неправильної оцінки вмісту сайту ботами та пониженню позиції вебсайту у рейтингу пошукової видачі.
Щоб виявити помилки та мати можливість їх вчасно виявити, рекомендується:
- Перевіряти robots.txt перед запуском сайту.
- Регулярно проводити перевірку, особливо після внесення нових даних на сайт, впровадження змін.
- Використовувати декілька сервісів, особливо якщо просуваєте вебсайт у різних пошукових мережах, а не лише у Google.
Інструменти для перевірки файлу robots.txt
Проаналізувати robots.txt можна через панель для розробників Google Search Console, онлайн-сервіси та спеціальні програми для SEO-спеціалістів.
Google Search Console
Це безплатний інструмент від Google, який складається з набору інформаційних панелей та звітів. Вони допомагають з’ясувати, як саме сайт відображається у пошуковій мережі Google.
Щоб перевірити robots.txt y Search Console:
- Перейдіть у «Налаштування».
2. Перегляньте звіт.
3. Після виправлення критичних помилок, можна запросити у ґуґл повторне сканування файлу.
Звіт про robots.txt показує:
- Чи отримав Googlebot доступ до файлу;
- Дату та час перевірки;
- Розмір файлу;
- Таблицю з переліком проблем.
Важливо! Правки потрібно вносити не у звіті, а в самому файлі на сервері вебсайту або через адміністративну панель CMS (наприклад, якщо сайт створено на WordPress або Opencart).
Website Planet
Платформа для маркетологів та SEO-спеціалістів з різноманітними сервісами — генератор QR-кодів, стискання зображень, визначення віку домену, перевірка файлу robots.txt.
Щоб скористатися інструментом, вставте URL-адресу файлу robots.txt в спеціальний рядок на сайті сервісу та натисніть «перевірити».
Результатом буде список рядків коду robots.txt з попередженнями та помилками.
Technicalseo
На сервісі зібрані валідатори для перевірки технічних характеристик вебсайту. Тут можна дізнатися коректність заповнення файлів .htaccess, robots.txt, Sitemap, а також подивитися, як завантажується сайт на мобільних пристроях, згенерувати мікророзмітку тощо.
Щоб перевірити robots.txt:
- Вставте URL-адресу у пошуковий рядок сервісу.
- Оберіть User Agent — Googlebot, Bingbot, DuckDuckGo, Baidu та інші.
- Натисніть «Test» та дочекайтесь результатів.
Важливо! Файл robots.txt, в якому немає помилок, показує відповідь 200.
Screaming Frog SEO Spider
Це програма, яка сканує вебсайти на виявлення поширених SEO-проблем. Після завантаження у режимі реального часу можна:
- Знайти посилання, які не працюють;
- Проаналізувати метадані;
- Перевірити ланцюжки редиректів;
- Створити XML- та Sitemaps;
- Проаналізувати robots.txt.
Screaming Frog — одна з небагатьох програм, яка допоможе дізнатися кількість сторінок на сайті онлайн. Звіт відображає навіть вебсторінки, які заблоковані до сканування у файлі robots.txt.
Перші 500 URL-адрес можна просканувати безплатно. Після вичерпання ліміту необхідно купувати ліцензію за 259 доларів на рік.
Logeix
Платформа з онлайн-сервісами та плагінами для аналізу SEO-показників вебсайту. Щоб перевірити файл, введіть URL-адресу та оберіть бот з переліку.
Якщо robots.txt доступний для сканування, відобразиться зелений напис «Crawlable», якщо ні — червона позначка «Blocked».
SE Ranking
Багатофункціональна платформа для аналізу SEO-параметрів сайту. Деякі інструменти, серед яких сервіс для перевірки robots.txt, доступні повністю безплатно.
Щоб перевірити robots.txt, вставте до 100 URL-адрес у спеціальний рядок. У результаті ви дізнаєтесь статус кожної вебсторінки: відкриті для сканування – будуть виділені зеленим, а закриті – червоним.
Висновки
Файл robots.txt — ефективний спосіб збільшити краулінговий бюджет. Тобто допомогти програмам-сканерам індексувати лише важливі сторінки. Відсутність файлу або його помилки можуть призвести до пониження позиції вебсайту у SERP.
Вчасно виявити неправильні елементи коду допоможе регулярна перевірка robots.txt. Аналіз також рекомендують робити після кожного оновлення вебсайту.
