Ressource

Évaluation de la précision du Copyleaks Détecteur IA

Une méthodologie étape par étape

Date du test : 20 octobre 2024

Date de publication : 19 novembre 2024

Modèle testé : V7.1

Nous pensons qu'il est plus important que jamais d'être totalement transparent sur les fonctionnalités du détecteur d'IA. L'exactitude, les taux de faux positifs et de faux négatifs, les domaines d'amélioration et bien plus encore pour garantir une utilisation et une adoption responsables. Cette analyse complète vise à garantir une transparence totale autour de la méthodologie de test du modèle V7.1 de notre détecteur d'IA.

Méthodologie

Les équipes de science des données et d'assurance qualité de Copyleaks ont effectué des tests de manière indépendante pour garantir des résultats impartiaux et précis. Les données de test différaient des données de formation et ne contenaient aucun contenu précédemment soumis au détecteur d'IA pour la détection d'IA.

Les données de test comprenaient du texte écrit par l'homme provenant d'ensembles de données vérifiés et du texte généré par l'IA à partir de divers modèles d'IA. Le test a été réalisé avec l'API Copyleaks.

Métrique

Les mesures incluent la précision globale basée sur le taux d’identification de texte correct et incorrect, le score F1, le taux de vrais négatifs (TNR), le taux de vrais positifs (TPR), la précision et les matrices de confusion.

Résultats

Les tests vérifient que le détecteur d’IA affiche une précision de détection élevée pour distinguer le texte écrit par l’homme du texte généré par l’IA tout en maintenant un faible taux de faux positifs.

Processus d'évaluation

En utilisant un système à deux départements, nous avons conçu notre processus d'évaluation pour garantir une qualité, des normes et une fiabilité de haut niveau. Nous avons deux départements indépendants qui évaluent le modèle : les équipes de science des données et d'assurance qualité. Chaque département travaille de manière indépendante avec ses données et outils d'évaluation et n'a pas accès au processus d'évaluation de l'autre. Cette séparation garantit que les résultats de l'évaluation sont impartiaux, objectifs et précis tout en capturant toutes les dimensions possibles des performances de notre modèle. En outre, il est essentiel de noter que les données de test sont séparées des données d'entraînement et que nous testons nos modèles uniquement sur de nouvelles données qu'ils n'ont pas vues dans le passé.

Méthodologie

Les équipes d'assurance qualité et de science des données de Copyleaks ont collecté de manière indépendante une variété d'ensembles de données de test. Chaque ensemble de données de test se compose d'un nombre fini de textes. L'étiquette attendue (un marqueur indiquant si un texte spécifique a été écrit par un humain ou par l'IA) de chaque ensemble de données est déterminée en fonction de la source des données. Les textes humains ont été collectés à partir de textes publiés avant l'essor des systèmes d'IA générative modernes ou plus tard par d'autres sources fiables qui ont été à nouveau vérifiées par l'équipe. Les textes générés par l'IA ont été générés à l'aide de divers modèles et techniques d'IA générative.

Les tests ont été exécutés sur l'API Copyleaks. Nous avons vérifié si la sortie de l'API était correcte pour chaque texte en fonction de l'étiquette cible, puis nous avons agrégé les scores pour calculer la matrice de confusion.

Résultats : Équipe Data Science

L'équipe de science des données a réalisé le test indépendant suivant : 

  • La langue des textes était l'anglais, et 300 000 textes écrits par des humains et 200 000 textes générés par l'IA provenant de divers LLM ont été testés au total. 

     

  • Les longueurs de texte varient, mais les ensembles de données contiennent uniquement des textes d'une longueur supérieure à 350 caractères, le minimum accepté par notre produit.

Mesures d'évaluation

Les mesures utilisées dans cette tâche de classification de texte sont :

1. Matrice de confusion : Un tableau qui montre les TP (vrais positifs), les FP (faux positifs), les TN (vrais négatifs) et les FN (faux négatifs).

2. Précision : la proportion de vrais résultats (à la fois vrais positifs et vrais négatifs) parmi le nombre total de textes qui ont été vérifiés.

3. TNR : La proportion de prédictions négatives exactes dans toutes les prédictions négatives.

Dans le contexte de la détection de l'IA, le TNR est la précision du modèle sur les textes humains.

4. TPR (également connu sous le nom de rappel) : la proportion de vrais résultats positifs dans toutes les prédictions réelles.

Dans le contexte de la détection de l'IA, le TPR est la précision du modèle sur les textes générés par l'IA.

5. Score F-bêta : Le moyenne harmonique pondérée entre précision et rappel, privilégiant davantage la précision (car nous souhaitons favoriser un taux de faux positifs plus faible).

6. ROC-AUC : Évaluation de la compromis entre TPR et FPR.

Ensembles de données combinées IA et humaines

ensembles de données combinés

Résultats : équipe d'assurance qualité

L'équipe d'assurance qualité a effectué le test indépendant suivant :

  • La langue des textes était l'anglais, et 220 000 textes écrits par des humains et 170 000 textes générés par l'IA provenant de divers LLM ont été testés au total.

 

  • Les longueurs de texte varient, mais les ensembles de données contiennent uniquement des textes d'une longueur supérieure à 350 caractères, le minimum accepté par notre produit.

Ensembles de données réservés aux humains

Ensembles de données réservés aux humains

Ensembles de données réservés à l'IA

*Les versions des modèles peuvent changer au fil du temps. Les textes ont été générés à l'aide de l'une des versions disponibles des modèles d'IA génératifs ci-dessus.

Niveaux de sensibilité

Dans le modèle v7.1, nous avons introduit 3 niveaux de sensibilité pour le modèle de détection d'IA. Voici les résultats des tests :

Niveaux de sensibilité

Précision des vrais positifs (textes IA) et des vrais négatifs (textes humains) par sensibilité

Test du niveau de sensibilité

Analyse des erreurs de texte par l'homme et l'IA

Au cours du processus d’évaluation, nous avons identifié et analysé les évaluations incorrectes effectuées par le modèle et créé un rapport détaillé qui permettra à l’équipe de science des données de corriger les causes sous-jacentes. Cela se fait sans exposer les évaluations incorrectes à l’équipe de science des données. Toutes les erreurs sont systématiquement enregistrées et classées en fonction de leur caractère et de leur nature dans un « processus d’analyse des causes profondes », qui vise à comprendre les causes sous-jacentes et à identifier les modèles répétitifs. Ce processus est toujours en cours, garantissant l’amélioration continue et l’adaptabilité de notre modèle au fil du temps.


Un exemple d’un tel test est notre analyse des données Internet de 2013 à 2024 à l'aide de notre modèle V4. Nous avons échantillonné 1 million de textes de chaque année, à partir de 2013, en utilisant tous les faux positifs détectés entre 2013 et 2020, avant la sortie des systèmes d'IA, pour aider à améliorer davantage le modèle.

Similaire à la façon dont chercheurs du monde entier Nous avons testé et continuons de tester différentes plateformes de détection d'IA pour évaluer leurs capacités et leurs limites. Nous encourageons donc vivement nos utilisateurs à effectuer des tests en conditions réelles. En fin de compte, à mesure que de nouveaux modèles seront commercialisés, nous continuerons de partager les méthodologies de test, la précision et d'autres considérations importantes à prendre en compte.