Évaluation de la précision du détecteur d'images par IA de Copyleaks

Grâce à un système à deux équipes, nous avons conçu notre processus d'évaluation pour garantir un niveau optimal de qualité, de normes et de fiabilité. Deux départements indépendants évaluent le modèle : l'équipe de science des données et l'équipe d'assurance qualité. Chaque équipe travaille indépendamment avec ses propres données et outils d'évaluation et n'a pas accès au processus d'évaluation de l'autre. Cette séparation garantit l'impartialité, l'objectivité et la précision des résultats. Il est également essentiel de noter que toutes les données de test sont strictement distinctes des données d'entraînement ; nous testons nos modèles uniquement sur des images inédites n'ayant jamais été traitées par notre détecteur d'images IA. Afin de garantir la pertinence et la rigueur de nos tests, nous mettons régulièrement à jour nos jeux de données d'évaluation avec des images générées par les derniers modèles GenAI.

Pour chaque nouvelle publication de modèle, les équipes d'assurance qualité et de science des données de Copyleaks collectent et créent indépendamment divers jeux de données de test. Chaque jeu de données est composé d'un nombre fini d'images, chacune accompagnée d'une étiquette indiquant son origine. Les jeux de données sont divisés en deux catégories :

• Images 100% humaines : Images authentiques capturées par un appareil photo et non modifiées par une IA générative. Elles proviennent de bases de données vérifiées ou ont été créées manuellement.

• Images entièrement générées par l'IA : Images générées intégralement par les modèles d'IA les plus récents.

Des images générées par IA ont été créées à l'aide d'une grande variété de modèles d'IA génératifs. Les tests ont été exécutés sur l'API Copyleaks, et nous avons agrégé les scores pour calculer les performances du modèle.

L'évaluation a été réalisée exclusivement sur des images répondant aux exigences techniques suivantes : une dimension minimale de 512×512 pixels, une taille de fichier inférieure à 32 Mo et une résolution inférieure à 16 mégapixels, telles que définies dans la documentation.

Le produit effectue une prédiction sous forme de superposition des segments générés par l'IA. La performance globale est ensuite évaluée en fonction de la précision avec laquelle le modèle classe les images par rapport à leur catégorie de référence.

To provide a clear and robust measure of accuracy, we use different pixel-level metrics depending on the type of image being tested:

• For Human Images: The key metric is the pixel-level False Positive Rate (FPR). For an image to be considered a successful detection (True Negative), the percentage of pixels incorrectly flagged as “AI” must be less than 5%. This stringent threshold ensures the model avoids falsely accusing authentic images.
  
  
• For AI Images: The primary metric is the pixel-level True Positive Rate (TPR). For an image to be considered a successful detection (True Positive), the percentage of pixels correctly identified as “AI” must be greater than 95%. This ensures the model comprehensively recognizes fully generated content.

Les indicateurs de précision globale présentés dans les tableaux de résultats , tels que le TNR (précision humaine) et le TPR (IA) , sont calculés à partir de ces critères de réussite au niveau du pixel. Par exemple, le TNR correspond au pourcentage d'images humaines testées ayant atteint le seuil de faux positifs inférieur à 5 % .

L'équipe de science des données a mené le test indépendant suivant sur un vaste ensemble de données diversifié contenant des images de résolutions, d'appareils de capture, de générateurs d'images et de types de contenu variés.

L'équipe d'assurance qualité a mené un test indépendant à l'aide d'images créées spécifiquement pour l'évaluation après l'entraînement du modèle. L'ensemble de données de test comprend des images de résolutions variées, capturées par différents appareils, générées par divers générateurs d'images et présentant des types de contenu diversifiés.

Bien que notre modèle atteigne des résultats de pointe, aucun système de détection n'est parfait et notre modèle peut commettre des erreurs, comme par exemple mal classer un ensemble de pixels spécifique.

Le détecteur d'images par IA est spécifiquement conçu pour identifier les manipulations effectuées à l'aide des outils d'IA générative les plus récents . Le système ne détecte pas actuellement d'autres altérations d'images courantes, notamment :

• Modifications manuelles : Modifications apportées par une personne à l’aide d’un logiciel de retouche photo traditionnel comme Photoshop.

• Collages : Images créées en combinant des parties de différentes photos authentiques.

• Filtres et réglages simples : application d’effets photographiques (par exemple, « vintage », noir et blanc) ou de réglages de base (par exemple, netteté, flou, recadrage).