AI-детектори: як перевірити текст на ШІ? Огляд сервісів від редакції Webpromo
За останні два роки у мережі з’явилося багато сервісів, які перевіряють тексти на вміст ШІ. Проте часто виникає питання, чи коректно вони працюють. Редакція Webpromo протестувала п’ять ШІ-детекторів. На скільки правильно програми ідентифікували тексти, читайте далі у статті. У матеріалі також розкажемо детальніше про роботу детекторів та способи власноруч ідентифікувати спосіб написання.
Зміст
- Навіщо перевіряти тексти на вміст ШІ?
- Що таке ШІ-детектори?
- Тестування ШІ-детекторів:
Justdone
Isgen
Scandy
Copyleaks
GPTZero - Як визначити, чи текст написаний AI?
- Як ефективно використовувати AI?
Навіщо перевіряти тексти на вміст ШІ?
Масове використання контенту, створеного нейромережами, може стати причиною втрати довіри користувачів до вашого ресурсу і зниження рейтингу у видачі Google, а у деяких випадках навіть загрожує санкціями від пошуковика. Чому ШІ-тексти «не люблять» ні люди, ні алгоритми:
- Пошукові системи надають перевагу контенту з унікальним досвідом автора, який має експертизу в темі, про яку пише (E-E-A-T).
- Фактаж: ШІ часто «галюцинує»: вигадує або перекручує факти, змінює цифри, наводить хибні дослідження.
- Відсутність емоційності та однотипність викладу, яка нагадує тисячі інших текстів в інтернеті.
Для алгоритмів все більшого значення набуває якість контенту, досягти якої нередагованими ШІ-текстами неможливо.
Що таке ШІ-дектори?
ШІ-детектор — це програма, яка розпізнає, ким написано текст — людиною чи штучним інтелектом. В основі її роботи знаходиться мовна модель, яка навчена аналізувати контент (існують програми, які розпізнають відео та фото). Сервіс найчастіше оцінює лінгвістичні та синтаксичні конструкції і робить висновок на основі двох факторів:
- perplexity — передбачуваність;
- burstiness — варіативність.
Люди пишуть більш різноманітно — різна довжина та структура речень, може змінюватися тональність тексту. ШІ ж навпаки — «конструює» тексти за певним промптом, тому його стиль передбачуваний.
Цікаво! Більшість детекторів пропонують функцію «гуманізації» тексту, щоб він виглядав «по-людськи». LLM здатна самостійно змінити структуру речень та урізноманітнити їх.
Часто сервіси також пропонують перевірити текстовий контент на унікальність (антиплагіат), читабельність, граматику та деякі SEO-характеристики.
! Найкращі сервіси для перевірки граматики, плагіату та SEO-характеристик тексту шукали у попередній статті.
Тестування ШІ-детекторів: чи справді вони можуть визначити, хто написав текст
У рамках даного експерименту ми будемо перевіряти здатність ШІ-детекторів у безплатній версії розпізнати AI-контент. Для дослідження порівнюватимемо два тексти на схожу тематику — маркетинг у медичній сфері:
- уривок з інтерв’ю Webpromo;
- текст, згенерований у ChatGPT без подальшого редагування.
Justdone
Детектор плагіату та розпізнавання ШІ-тексту. Окрім цього сервіс має декілька функцій для покращення тексту — «гуманізація» і підвищення унікальності. На сайті зазначено, що Justdone розпізнає текст, який повністю або частково створений за допомогою ChatGPT, Claude, Gemini та інших LLM.
Для обох текстів сервіс показав ідентичний результат — понад 90% AI-контент.
З цікавості додатково переглянула відгуки на відомому форумі Reddit. У багатьох користувачів, на жаль, простежуються схожі результати, коли детектор у безплатній версії хибно вказує на ШІ-контент. Самі розробники запевняють, що ймовірна похибка лише 1%, але тести демонструють інший результат.
Фрагмент інтерв’ю
Текст, згенерований у ChatGPT
Isgen
Інструмент, який поєднує перевірку плагіату та граматики, ШІ-детектор, а також додаткові функції — гуманізація тексту і генерація цитат.
Детектор також показав однаковий результат для обох текстів — на 100% написані людиною.
Фрагмент інтерв’ю
Текст, згенерований у ChatGPT
Scandy
Український сервіс, який визначає ШІ-вміст, плагіат та характеристики читабельності. У безплатній версії є можливість перевірити тільки 1 текст.
Як і в попередніх випадках, отримали ідентичний результат для обох текстів. Цього разу визначено як ймовірність ШІ 20%.
Варто зауважити: сервіс правильно показав, що текст не унікальний — інтерв’ю публіковано у блозі Webpromo.
Фрагмент інтерв’ю
Текст, згенерований у ChatGPT
Copyleaks
Відомий міжнародний сервіс для визначення ШІ-вмісту (текст, відео, зображення) та плагіату. Сервіс підтримує понад 30 мов, серед яких є українська.
Програма показала обидва тексти на 100% згенерованими.
Відгуки в інтернеті говорять, що Copyleaks — один з найнадійніших детекторів, який правильно визначає текст у більшості випадків. Хоча і хиб досить багато, у тому числі для англійської мови. Так, один користувач на Reddit стверджує, що «декларація незалежності США була позначена як 80% ШІ»
Фрагмент інтерв’ю
текст, згенерований у ChatGPT
GPTZero
Сервіс для перевірки тексту на вміст AI. Щоб перевірити текст українською, необхідно зареєструватися. Можна зайти, наприклад, через Google.
Це єдиний детектор, який правильно ідентифікував обидва тексти. Цікаво, що у тексті ChatGPT сервіс окремо виділив фразу, яка має найвищу ймовірність генерації.
Додатково перевірила відгуки на Reddit. (До речі, помітили, що навіть на україномовні запити Google почав активно підтягувати цей форум). Більшість відгуків все ж були негативними, особливо щодо англійських текстів. Користувачі часто вказують на помилкові ідентифікації: написані власноруч тексти сервіс визначає як AI.
Фрагмент інтерв’ю
текст, згенерований у ChatGPT
Як визначити, чи текст написаний AI?
Низькоякісний ШІ-текст видно без сервісів. Серед класичних ознак:
- Протиставлення. У нашому прикладі це фраза «Маркетингова команда в медицині — це не про гучні обіцянки. Це про…». Такі методи «любить» використовувати ChatGPT, щоб підкреслити основну думку чи важливість тези.
- Декілька коротких неповних речень підряд. Так, люди теж використовують такі речення. Колись копірайтерів навіть навчали писати коротшими простішими реченнями. Але людина, на відміну від ШІ, все одно буде чергувати довгі та короткі речення, розширюючи думку або додаючи звороти.
- Багатошарові списки. Помітили, кожний текст у соцмережах сьогодні має списки. Ті, хто давно працює з текстами, мабуть, як і GPT вже частково думають списками, бо їх любить Google і вони добре сприймаються «людьми й алгоритмами». З тої ж причини списки любить ШІ, але не знає у них міри.
- Відсутність конкретики. AI часто узагальнює факти з різних джерел, не враховуючи контекст. Внаслідок цього без редагування і фактчекінгу текст у кращому випадку «порожній» з купою слів про ефективність, результативність, успішні успіхи. У гіршому — спотворені факти.
- Надмірна ідеальність, яка проявляється у чіткості конструкцій без живих зворотів та авторського стилю.
Як ефективно використовувати ШІ: чекліст для райтерів
Штучний інтелект — інструмент, який за умови коректного використання, може автоматизувати і спростити роботу. Щоб контент залишався якісним, радимо дотримуватися наступних правил:
- Навчайте AI на своїх текстах. Відповіді нейромереж персоналізовані. Вони враховують не тільки контекст, а намагаються підібрати найкращий стиль для відповідей. Його можна корегувати власноруч, даючи підказки і виділяючи кращі відповіді. Важливо періодично оновлювати промпт і починати новий діалог, пропонуючи для навчання нові тексти. Якщо цього не робити, ШІ буде навчатися на власних відповідях, а якість вихідних текстів буде поступово погіршуватися.
- Редагуйте, щоб «гуманізувати» текст. Візьміть ШІ-відповідь за основу, приберіть «пусті» фрази і зайві повтори, додайте власного стилю. Іноді доведеться переписувати майже все, але у вас все одно залишиться фундамент, з якого значно простіше і швидше створити якісний текст, ніж написати новий «з чистого аркуша».
- Описуйте задачу чітко, задавши максимальну кількість параметрів. Напишіть тематику, попросіть знайти референси (відразу зазначайте мови, наприклад, англомовні та україномовні джерела), скласти орієнтовний план тексту.
- Розбивайте роботу з матеріалом на етапи. Починайте з сьорчу, потім переходьте до плану. Якщо стаття об’ємна— давайте окреме ТЗ на кожний розділ.
- Використовуйте ШІ для простих завдань — зробити рерайт, розмножити один текст для різних платформ тощо.
- Перевіряйте фактаж у кожному навіть маленькому матеріалі.
- Використовуйте ШІ для брейнштормінгу — варіанти назв, ідей, приклади креативів тощо.
AI — це потужний асистент, а не заміна автора. Не покладайтесь повністю на ШІ як в перевірці текстів, так і в написанні. Жоден сервіс (і Google у тому числі) не може на 100% відрізнити походження тексту – відповідальність залишається за людиною.
