Оценка точности детектора изображений Copyleaks AI

Используя систему работы двух команд, мы разработали процесс оценки, обеспечивающий высочайший уровень качества, соответствия стандартам и надежности. Модель оценивают два независимых отдела: отдел анализа данных и отдел контроля качества. Каждая команда работает независимо, используя собственные данные и инструменты оценки, и не имеет доступа к процессу оценки другой команды. Такое разделение гарантирует беспристрастность, объективность и точность результатов оценки. Также важно отметить, что все тестовые данные строго отделены от обучающих данных; мы тестируем наши модели только на новых изображениях, которые никогда не взаимодействовали с нашим детектором изображений на основе ИИ. Чтобы тестирование оставалось актуальным и сложным, мы постоянно обновляем наши наборы данных для оценки, включая изображения, сгенерированные новейшими моделями GenAI.

Для каждого выпуска модели команды контроля качества и анализа данных Copyleaks независимо друг от друга собирают и создают различные тестовые наборы данных. Каждый набор данных состоит из конечного числа изображений с ожидаемой меткой, указывающей на их происхождение. Наборы данных разделены на две категории:

• Полностью человекоподобные изображения: подлинные изображения, полученные с помощью камеры и не измененные генеративным ИИ. Они были собраны из проверенных наборов данных или созданы вручную.

• Полностью искусственный интеллект: изображения, созданные исключительно с помощью самых современных моделей ИИ.

Изображения, сгенерированные искусственным интеллектом, были созданы с использованием широкого спектра генеративных моделей ИИ. Тесты проводились с использованием API Copyleaks, и мы суммировали результаты для расчета производительности модели.

Оценка проводилась исключительно на изображениях, отвечающих следующим техническим требованиям: минимальный размер 512×512 пикселей, размер файла менее 32 МБ и разрешение менее 16 мегапикселей, как определено в документации.

Продукт делает прогноз в виде наложения сегментов, сгенерированных ИИ. Затем общая производительность оценивается на основе того, насколько точно модель классифицирует изображения в соответствии с их истинной категорией.

Для обеспечения четкой и надежной оценки точности мы используем различные метрики на уровне пикселей в зависимости от типа тестируемого изображения:

• Для изображений людей: ключевым показателем является частота ложноположительных результатов (FPR) на уровне пикселей . Чтобы изображение считалось успешным обнаружением (истинно отрицательным результатом), процент пикселей, ошибочно помеченных как «AI», должен быть менее 5% . Этот строгий порог гарантирует, что модель избежит ложного обвинения подлинных изображений.
  
  
• Для изображений, обработанных с помощью ИИ: основным показателем является коэффициент истинно положительных результатов (TPR) на уровне пикселей. Чтобы изображение считалось успешно обработанным (истинно положительным), процент пикселей, правильно идентифицированных как «ИИ», должен превышать 95% . Это гарантирует, что модель всесторонне распознает полностью сгенерированный контент.

Общие показатели точности, представленные в таблицах результатов , такие как TNR (точность распознавания человеком) и TPR (искусственный интеллект) , суммируются на основе этих критериев успешности на уровне пикселей. Например, TNR — это процент всех протестированных изображений людей, которые успешно соответствуют пороговому значению ложноположительных пикселей <5% .

Команда специалистов по анализу данных провела следующее независимое тестирование на большом, разнообразном наборе данных, содержащем изображения с различным разрешением, устройствами захвата, генераторами изображений и типами контента.

Команда контроля качества провела независимое тестирование, используя изображения, созданные специально для оценки после обучения модели. Тестовый набор данных включает изображения различного разрешения, полученные с помощью разных устройств, сгенерированные различными генераторами изображений и содержащие разнообразные типы контента.

Хотя наша модель демонстрирует самые современные результаты, ни одна система обнаружения не является совершенной, и наша модель может совершать ошибки, например, неправильно классифицировать определенный набор пикселей.

Система обнаружения изображений на основе ИИ специально обучена распознавать манипуляции, выполненные с помощью новейших инструментов генеративного ИИ . В настоящее время система не обнаруживает другие распространенные изменения изображений, в том числе:

• Редактирование вручную: Изменения, внесенные пользователем с помощью традиционных программ для редактирования фотографий, таких как Photoshop.

• Коллажи: изображения, созданные путем объединения фрагментов различных подлинных фотографий.

• Простые фильтры и настройки: применение фотографических эффектов (например, «винтажный», черно-белый) или базовых настроек (например, повышение резкости, размытие, кадрирование).