AI-детекторы: как проверить текст на ИИ? Обзор сервисов от редакции Webpromo
За последние два года в сети появилось много сервисов, которые проверяют тексты на содержание ИИ. Однако часто возникает вопрос, корректно ли они работают. Редакция Webpromo протестировала пять ИИ-детекторов. Насколько правильно программы идентифицировали тексты, читайте далее в статье. В материале также расскажем подробнее о работе детекторов и способах самостоятельно идентифицировать способ написания.
Содержание
- Зачем проверять тексты на содержание ИИ?
- Что такое ИИ-детекторы?
- Тестирование ИИ-детекторов
Justdone
Isgen
Scandy
Copyleaks
GPTZero - Как определить, написан ли текст ИИ
- Как эффективно использовать ИИ
Зачем проверять тексты на содержание ИИ?
Массовое использование контента, созданного нейросетями, может стать причиной потери доверия пользователей к вашему ресурсу и снижения рейтинга в выдаче Google, а в некоторых случаях даже грозит санкциями от поисковика. Почему ИИ-тексты «не любят» ни люди, ни алгоритмы:
- Поисковые системы отдают предпочтение контенту с уникальным опытом автора, который обладает экспертизой в теме, о которой пишет (E-E-A-T).
- Факты: ИИ часто «галлюцинирует»: выдумывает или искажает факты, меняет цифры, приводит ложные исследования.
- Отсутствие эмоциональности и однотипность изложения, напоминающая тысячи других текстов в интернете.
Для алгоритмов все большее значение приобретает качество контента, достичь которого с помощью нередактируемых ИИ-текстов невозможно.
Что такое ИИ-детекторы?
AI-детектор — это программа, которая распознает, кем написан текст — человеком или искусственным интеллектом. В основе ее работы лежит языковая модель, обученная анализировать контент (существуют программы, которые распознают видео и фото). Сервис чаще всего оценивает лингвистические и синтаксические конструкции и делает вывод на основе двух факторов:
- perplexity — предсказуемость;
- burstiness — вариативность.
Люди пишут более разнообразно — разная длина и структура предложений, может меняться тональность текста. ИИ же наоборот — «конструирует» тексты по определенному промпту, поэтому его стиль предсказуем.
Интересно! Большинство детекторов предлагают функцию «гуманизации» текста, чтобы он выглядел «по-человечески». LLM способна самостоятельно изменить структуру предложений и разнообразить их.
Часто сервисы также предлагают проверить текстовый контент на уникальность (антиплагиат), читабельность, грамматику и некоторые SEO-характеристики.
! Лучшие сервисы для проверки грамматики, плагиата и SEO-характеристик текста искали в предыдущей статье.
Тестирование ИИ-детекторов: действительно ли они могут определить, кто написал текст
В рамках данного эксперимента мы будем проверять способность ИИ-детекторов в бесплатной версии распознавать AI-контент. Для исследования будем сравнивать два текста на схожую тематику — маркетинг в медицинской сфере:
- отрывок из интервью Webpromo;
- текст, сгенерированный в ChatGPT без последующего редактирования.
Justdone
Детектор плагиата и распознавание ИИ-текста. Кроме того, сервис имеет несколько функций для улучшения текста — «гуманизация» и повышение уникальности. На сайте указано, что Justdone распознает текст, который полностью или частично создан с помощью ChatGPT, Claude, Gemini и других LLM.
Для обоих текстов сервис показал идентичный результат — более 90% AI-контента.
Из любопытства дополнительно просмотрела отзывы на известном форуме Reddit. У многих пользователей, к сожалению, прослеживаются схожие результаты, когда детектор в бесплатной версии ошибочно указывает на ИИ-контент. Сами разработчики уверяют, что вероятная погрешность составляет всего 1%, но тесты демонстрируют другой результат.
Фрагмент интервью
Текст, сгенерированный в ChatGPT
Isgen
Инструмент, который сочетает проверку плагиата и грамматики, ИИ-детектор, а также дополнительные функции — гуманизация текста и генерация цитат.
Детектор также показал одинаковый результат для обоих текстов — на 100% написаны человеком.
Фрагмент интервью
Текст, сгенерированный в ChatGPT
Scandy
Украинский сервис, который определяет ИИ-содержание, плагиат и характеристики читабельности. В бесплатной версии есть возможность проверить только 1 текст.
Как и в предыдущих случаях, получили идентичный результат для обоих текстов. На этот раз определено как вероятность ИИ 20%.
Стоит заметить: сервис правильно показал, что текст не уникален — интервью, опубликовано в блоге Webpromo.
Фрагмент интервью
Текст, сгенерированный в ChatGPT
Copyleaks
Известный международный сервис для определения ИИ-содержания (текст, видео, изображения) и плагиата. Сервис поддерживает более 30 языков, среди которых есть украинский.
Программа показала оба текста на 100% сгенерированными.
Отзывы в интернете говорят, что Copyleaks — один из самых надежных детекторов, который правильно определяет текст в большинстве случаев. Хотя и ошибок довольно много, в том числе для английского языка. Так, один пользователь на Reddit утверждает, что «декларация независимости США была отмечена как 80% ИИ».
Фрагмент интервью
Текст, сгенерированный в ChatGPT
GPTZero
Сервис для проверки текста на содержание AI. Чтобы проверить текст на украинском языке, необходимо зарегистрироваться. Можно зайти, например, через Google.
Это единственный детектор, который правильно идентифицировал оба текста. Интересно, что в тексте ChatGPT сервис отдельно выделил фразу, которая имеет наибольшую вероятность генерации.
Дополнительно проверила отзывы на Reddit. (Кстати, заметили, что даже на украиноязычные запросы Google начал активно подтягивать этот форум). Большинство отзывов все же были негативными, особенно в отношении английских текстов. Пользователи часто указывают на ошибочные идентификации: написанные собственноручно тексты сервис определяет как AI.
Фрагмент интервью
Текст, сгенерированный в ChatGPT
Как определить, написан ли текст AI?
Низкокачественный ИИ-текст видно без сервисов. Среди классических признаков:
- Противопоставление. В нашем примере это фраза «Маркетинговая команда в медицине — это не о громких обещаниях. Это о…». Такие методы «любит» использовать ChatGPT, чтобы подчеркнуть основную мысль или важность тезиса.
- Несколько коротких неполных предложений подряд. Да, люди тоже используют такие предложения. Когда-то копирайтеров даже учили писать более короткими и простыми предложениями. Но человек, в отличие от ИИ, все равно будет чередовать длинные и короткие предложения, расширяя мысль или добавляя обороты.
- Многослойные списки. Заметили, что каждый текст в соцсетях сегодня имеет списки. Те, кто давно работает с текстами, видимо, как и GPT, уже частично думают списками, потому что их любит Google и они хорошо воспринимаются «людьми и алгоритмами». По той же причине списки любит ИИ, но не знает в них меры.
- Отсутствие конкретики. AI часто обобщает факты из разных источников, не учитывая контекст. В результате без редактирования и фактчекинга текст в лучшем случае «пустой» с кучей слов об эффективности, результативности, успешных успехах. В худшем — искаженные факты.
- Чрезмерная идеальность, которая проявляется в четкости конструкций без живых оборотов и авторского стиля.
Как эффективно использовать ИИ: чек-лист для райтеров
Искусственный интеллект — инструмент, который при правильном использовании может автоматизировать и упростить работу. Чтобы контент оставался качественным, рекомендуем соблюдать следующие правила:
- Обучайте ИИ на своих текстах. Ответы нейросетей персонализированы. Они учитывают не только контекст, но и пытаются подобрать лучший стиль для ответов. Его можно корректировать самостоятельно, давая подсказки и выделяя лучшие ответы. Важно периодически обновлять промпт и начинать новый диалог, предлагая для обучения новые тексты. Если этого не делать, ИИ будет учиться на собственных ответах, а качество исходных текстов будет постепенно ухудшаться.
- Редактируйте, чтобы «гуманизировать» текст. Возьмите ИИ-ответ за основу, уберите «пустые» фразы и лишние повторы, добавьте собственного стиля. Иногда придется переписывать почти все, но у вас все равно останется фундамент, с которого значительно проще и быстрее создать качественный текст, чем написать новый «с чистого листа».
- Описывайте задачу четко, задавая максимальное количество параметров. Напишите тематику, попросите найти референсы (сразу указывайте языки, например, англоязычные и украиноязычные источники), составить ориентировочный план текста.
- Разбивайте работу с материалом на этапы. Начинайте с сёрча, затем переходите к плану. Если статья объемная — давайте отдельное ТЗ на каждый раздел.
- Используйте ИИ для простых задач — сделать рерайт, размножить один текст для разных платформ и т. д.
- Проверяйте факты в каждом, даже маленьком материале.
- Используйте ИИ для брейншторминга — варианты названий, идей, примеры креативов и т. д.
AI — это мощный ассистент, а не замена автора. Не полагайтесь полностью на ИИ как в проверке текстов, так и в написании. Ни один сервис (и Google в том числе) не может на 100% отличить происхождение текста — ответственность остается за человеком.
