Evaluación de la precisión del detector de imágenes Copyleaks mediante IA

Mediante un sistema de doble equipo, hemos diseñado nuestro proceso de evaluación para garantizar la máxima calidad, estándares y fiabilidad. Contamos con dos departamentos independientes que evalúan el modelo: el equipo de Ciencia de Datos y el equipo de Control de Calidad. Cada equipo trabaja de forma independiente con sus propios datos y herramientas de evaluación, sin acceso al proceso del otro equipo. Esta separación garantiza que los resultados de la evaluación sean imparciales, objetivos y precisos. Es fundamental destacar que todos los datos de prueba están estrictamente separados de los datos de entrenamiento; probamos nuestros modelos únicamente con imágenes nuevas que nunca han interactuado con nuestro Detector de Imágenes de IA. Para asegurar que nuestras pruebas sigan siendo relevantes y exigentes, actualizamos continuamente nuestros conjuntos de datos de evaluación para incluir imágenes generadas por los modelos GenAI más recientes.

Para cada lanzamiento de modelo, los equipos de control de calidad y ciencia de datos de Copyleaks recopilan y crean de forma independiente una variedad de conjuntos de datos de prueba. Cada conjunto de datos consta de un número finito de imágenes con una etiqueta esperada que indica su origen. Los conjuntos de datos se dividen en dos categorías: Los equipos de control de calidad y ciencia de datos de Copyleaks recopilan y crean de forma independiente una variedad de conjuntos de datos de prueba. Cada conjunto de datos consta de un número finito de imágenes con una etiqueta esperada que indica su origen. Los conjuntos de datos se dividen en dos categorías:

• Imágenes totalmente humanas: Imágenes auténticas capturadas por una cámara y no alteradas por IA generativa. Estas imágenes se obtuvieron de conjuntos de datos verificados o se crearon manualmente.

• Totalmente generadas por IA: Imágenes generadas íntegramente por los modelos de inteligencia artificial más avanzados.

Las imágenes generadas por IA se crearon utilizando una amplia variedad de modelos generativos de IA. Las pruebas se realizaron con la API de Copyleaks y se agregaron las puntuaciones para calcular el rendimiento del modelo.

La evaluación se realizó exclusivamente sobre imágenes que cumplen con los siguientes requisitos técnicos: una dimensión mínima de 512×512 píxeles, un tamaño de archivo inferior a 32 MB y una resolución inferior a 16 megapíxeles, tal como se define en la documentación.

El producto realiza una predicción mediante la superposición de los segmentos generados por IA. El rendimiento general se evalúa en función de la precisión con la que el modelo clasifica las imágenes según su categoría real.

To provide a clear and robust measure of accuracy, we use different pixel-level metrics depending on the type of image being tested:

• For Human Images: The key metric is the pixel-level False Positive Rate (FPR). For an image to be considered a successful detection (True Negative), the percentage of pixels incorrectly flagged as “AI” must be less than 5%. This stringent threshold ensures the model avoids falsely accusing authentic images.
  
  
• For AI Images: The primary metric is the pixel-level True Positive Rate (TPR). For an image to be considered a successful detection (True Positive), the percentage of pixels correctly identified as “AI” must be greater than 95%. This ensures the model comprehensively recognizes fully generated content.

Las cifras de precisión general presentadas en las tablas de resultados , como TNR (precisión humana) y TPR (IA) , se obtienen a partir de estos criterios de éxito a nivel de píxel. Por ejemplo, el TNR es el porcentaje de todas las imágenes humanas analizadas que cumplieron con el umbral de falsos positivos de píxeles inferior al 5 % .

El equipo de Ciencia de Datos llevó a cabo la siguiente prueba independiente en un conjunto de datos amplio y diverso que contenía imágenes de diferentes resoluciones, dispositivos de captura, generadores de imágenes y tipos de contenido.

El equipo de control de calidad realizó una prueba independiente utilizando imágenes creadas específicamente para la evaluación después del entrenamiento del modelo. El conjunto de datos de prueba comprende imágenes de diferentes resoluciones, capturadas con distintos dispositivos, generadas por diversos programas y con contenido de diversos tipos.

Aunque nuestro modelo logra resultados de vanguardia, ningún sistema de detección es perfecto y nuestro modelo puede cometer errores, como clasificar erróneamente un conjunto específico de píxeles.

El detector de imágenes con IA está entrenado específicamente para identificar manipulaciones realizadas con las herramientas de IA generativa más recientes . Actualmente, el sistema no detecta otras alteraciones comunes de imágenes, entre las que se incluyen:

• Ediciones manuales: Cambios realizados por una persona utilizando software de edición fotográfica tradicional como Photoshop.

• Collages: Imágenes creadas mediante la combinación de partes de diferentes fotografías auténticas.

• Filtros y ajustes sencillos: Aplicación de efectos fotográficos (por ejemplo, "vintage", blanco y negro) o ajustes básicos (por ejemplo, nitidez, desenfoque, recorte).