Оценка точности детектора Copyleaks на основе искусственного интеллекта .
Пошаговая методика
Мы считаем, что сейчас как никогда важно обеспечить полную прозрачность в отношении точности AI Detector, количества ложных срабатываний и ложных отрицаний, областей для улучшения и многого другого, чтобы гарантировать ответственное использование и внедрение. Этот всесторонний анализ призван обеспечить полную прозрачность в отношении методологии тестирования модели V11 нашего AI Detector.
Дата тестирования: 10 сентября 2026 года
Дата публикации: 28 сентября 2026 г.
Протестированная модель: V11
Процесс оценки
Используя двухведомственную систему, мы разработали процесс оценки, обеспечивающий высочайший уровень качества, соответствия стандартам и надежности. Модель оценивают два независимых отдела: отдел анализа данных и отдел контроля качества. Каждый отдел работает независимо со своими данными и инструментами оценки и не имеет доступа к процессу оценки другого отдела. Такое разделение гарантирует беспристрастность, объективность и точность результатов оценки, охватывая все возможные аспекты производительности нашей модели. Также важно отметить, что тестовые данные отделены от обучающих данных, и мы тестируем наши модели только на новых данных, которые они ранее не использовали.
Методология
Команды контроля качества и анализа данных Copyleaks независимо друг от друга собрали множество тестовых наборов данных. Каждый тестовый набор данных состоит из конечного числа текстов. Ожидаемая метка — маркер, указывающий, был ли конкретный текст написан человеком или искусственным интеллектом, — для каждого набора данных определяется на основе источника данных. Тексты, написанные людьми, были собраны из текстов, опубликованных до появления современных систем генеративного ИИ, или позже из других надежных источников, которые были повторно проверены командой. Тексты, сгенерированные ИИ, были созданы с использованием различных моделей и методов генеративного ИИ.
Тесты проводились с использованием API Copyleaks. Мы проверяли корректность выходных данных API для каждого текста на основе целевой метки, а затем суммировали результаты для расчета матрицы ошибок.
Результаты: Команда специалистов по анализу данных
Команда специалистов по анализу данных провела следующее независимое тестирование:
- Языком текстов был английский, и в общей сложности было протестировано 300 000 текстов, написанных людьми, и 200 000 текстов, сгенерированных искусственным интеллектом, из различных магистерских программ.
- Длина текста может варьироваться, но наборы данных содержат только тексты длиной более 350 символов — минимального количества, которое принимает наш продукт.
Показатели оценки
В задаче классификации текста используются следующие метрики:
1. Матрица ошибок: таблица, показывающая TP (истинно положительные результаты), FP (ложноположительные результаты), TN (истинно отрицательные результаты) и FN (ложноотрицательные результаты).
2. Точность: Доля истинных результатов (как истинно положительных, так и истинно отрицательных) среди общего числа проверенных текстов .
3. Показатель истинно отрицательных результатов (TNR): доля фактически отрицательных случаев, которые представляют собой исключительно отрицательные прогнозы .
В контексте обнаружения с помощью ИИ, TNR — это точность модели при работе с текстами, написанными людьми.
4. (TPR), также известный как Recall (повторяемость): доля истинно положительных результатов среди всех фактических прогнозов.
В контексте обнаружения с помощью ИИ, TPR — это точность модели при работе с текстами, сгенерированными ИИ.
5. Показатель F-бета: Взвешенное гармоническое среднее между точностью и полнотой, при этом предпочтение отдается точности (поскольку мы хотим добиться более низкого уровня ложноположительных результатов).
Объединенные наборы данных об ИИ и данных о человеке
| Название набора данных | Количество текстов | Количество текстов, написанных людьми | Количество текстов, созданных с помощью ИИ. | ТПР | ТНР | F-бета(0,5) |
|---|---|---|---|---|---|---|
| Внутренние сверхсложные наборы данных, включая данные об атаках с использованием вредоносного ПО и специальных инструментах. | 500,000 | 300,000 | 200,000 | 0.989 | 0.999 | 0.998 |
Результаты: Команда контроля качества
Команда контроля качества провела следующие независимые тесты:
- Языком текстов был английский, и в общей сложности было протестировано 326 120 текста, написанных людьми, и 128 225 текстов, сгенерированных ИИ, из различных магистерских программ.
- Длина текста может варьироваться, но наборы данных содержат только тексты длиной более 350 символов — минимального количества, которое принимает наш продукт.
Наборы данных, содержащие только данные о людях
| Категория | Всего текстов | Верно (человек) | Неверно (ИИ) | Точность |
|---|---|---|---|---|
| Общие тексты | 50,720 | 50,603 | 117 | 0.9977 |
| Статьи, новости, блоги, публикации в социальных сетях | 115,893 | 115,065 | 828 | 0.9929 |
| Набор данных «Интернет-веб-страницы» | 33,530 | 33,503 | 27 | 0.9992 |
| Студенческие эссе | 74,212 | 74,206 | 6 | 0.9999 |
| Научные статьи | 51,765 | 51,750 | 15 | 0.9997 |
| Общий: | 326,120 | 325,127 | 923 | 0.9970 |
Наборы данных, предназначенные исключительно для ИИ.
| Название набора данных | Количество текстов | Ошибочно идентифицирован как человек. | Правильно определено как ИИ | Точность |
|---|---|---|---|---|
| Модели семейства Claude | 49,490 | 85 | 49,405 | 0.9983 |
| Модели семейства Gemini | 20,000 | 200 | 19,800 | 0.9900 |
| Модели семейства Grok | 10,000 | 128 | 9,872 | 0.9872 |
| Модели семейства OpenAI | 48,735 | 413 | 48,322 | 0.9915 |
| Общий: | 128,225 | 826 | 127,399 | 0.9936 |
*Версии моделей могут меняться со временем. Тексты были сгенерированы с использованием доступных текущих версий моделей от вышеупомянутых компаний, занимающихся генеративным искусственным интеллектом.
Уровни чувствительности
Начиная с версии 7.1, у нас есть 3 уровня чувствительности для модели обнаружения ИИ. Вот результаты тестирования уровней чувствительности модели версии 11.
| ИДЕНТИФИКАТОР | Чувствительность | Определение | Ложные срабатывания | Ложноотрицательные результаты |
|---|---|---|---|---|
| 1 | Дополнительная безопасность | Разработан для минимизации ложных срабатываний за счет использования дополнительных фильтров на основе искусственного интеллекта. Подходит для распознавания текста, сгенерированного ИИ, без минимальной ручной обработки. | 0.16% | 0.88% |
| 2 | Сбалансированный (по умолчанию - это версия что показано в (результаты выше) | Идеально подходит для обнаружения контента, созданного с помощью ИИ, с минимизацией ложных срабатываний. Подходит для распознавания текста, сгенерированного ИИ, с умеренным количеством изменений, внесенных человеком. | 0.30% | 0.64% |
| 3 | Сверхчувствительный | Наша наиболее чувствительная модель была разработана для того, чтобы отмечать текст, обработанный искусственным интеллектом с помощью «гуманизатора» или генератора текста. | 0.66% | 0.49% |
Точность истинно положительных результатов (тексты, созданные с помощью ИИ) и истинно отрицательных результатов (тексты, созданные человеком) в зависимости от уровня чувствительности.
Анализ текстовых ошибок, допущенных человеком и искусственным интеллектом
В процессе оценки мы выявили и проанализировали неверные оценки, сделанные моделью, и создали подробный отчет, который позволит команде специалистов по анализу данных исправить первопричины. Это делается без раскрытия неверных оценок команде специалистов по анализу данных. Все ошибки систематически регистрируются и классифицируются на основе их характера и природы в рамках «процесса анализа первопричин», целью которого является понимание первопричин и выявление повторяющихся закономерностей. Этот процесс постоянно продолжается, обеспечивая непрерывное улучшение и адаптивность нашей модели с течением времени.
Одним из примеров такого теста является наш анализ интернет-данных за период с 2013 по 2024 год с использованием нашей модели V4. Мы отобрали по 1 миллиону текстовых сообщений за каждый год, начиная с 2013 года, используя все ложные срабатывания, обнаруженные в период с 2013 по 2020 год, до внедрения систем искусственного интеллекта, чтобы помочь улучшить модель.
Подобно тому, как исследователи по всему миру тестируют и продолжают тестировать различные платформы для обнаружения объектов с помощью ИИ , чтобы оценить их возможности и ограничения, мы всячески поощряем наших пользователей проводить тестирование в реальных условиях. В конечном итоге, по мере выпуска новых моделей, мы будем продолжать делиться методологиями тестирования, точностью и другими важными моментами, которые следует учитывать.