Évaluation de la précision du détecteur vidéo IA de Copyleaks

Grâce à un système à deux équipes, nous avons conçu notre processus d'évaluation pour garantir un niveau optimal de qualité, de normes et de fiabilité. Deux départements indépendants évaluent le modèle : l'équipe de science des données et l'équipe d'assurance qualité. Chaque équipe travaille de manière autonome, avec ses propres données et outils d'évaluation, ce qui garantit des résultats impartiaux, objectifs et précis.

Il est essentiel de souligner que toutes les données de test sont strictement séparées des données d'entraînement du modèle. Nous évaluons nos modèles uniquement sur des contenus inédits que notre détecteur vidéo IA n'a jamais rencontrés. Pour que nos tests restent pertinents, nous mettons continuellement à jour nos jeux de données afin d'y inclure des médias générés par les derniers modèles GenAI.

Pour chaque nouvelle version du modèle, nos équipes de science des données et d'assurance qualité constituent indépendamment des jeux de données de test. Chaque jeu de données comprend un grand nombre de fichiers dotés d'une étiquette de vérité terrain stricte indiquant leur origine, comme suit :

• Entièrement humain : vidéos et audios authentiques produits par des méthodes traditionnelles (qu'ils soient captés par des appareils d'enregistrement physiques ou créés au moyen d'animations numériques et d'effets visuels standard), sans aucune modification par IA générative.
• Entièrement IA : contenus entièrement synthétisés par des réseaux d'IA générative, notamment des modèles de fondation texte-vidéo et image-vidéo, des algorithmes de deepfake et des moteurs avancés de clonage vocal.

Les tests sont exécutés directement sur l'API Copyleaks, qui traite les pistes visuelles et sonores de manière totalement indépendante l'une de l'autre. Si nos tests de référence isolent les médias entièrement humains et entièrement IA afin de garantir des indicateurs de performance stricts et mesurables, cette architecture indépendante à double piste garantit que le système traite avec précision les contenus hybrides (par exemple, une vidéo humaine authentique doublée par une voix off générée par l'IA). Plutôt que de combiner ces résultats, nous évaluons les sorties de l'API pour les pistes vidéo et audio de manière totalement indépendante, ce qui assure une transparence absolue pour chaque média.

L'évaluation est réalisée sur des médias qui répondent à nos exigences techniques optimales :

• Durée : entre 2 secondes et 1 heure.
• Résolution : au minimum 360x360 pixels.
• Fréquence d'images : au minimum 16 FPS.
• Taille audio/fichier : moins de 0.5 GB.
• Formats pris en charge : conteneurs standard, notamment .mp4, .mov, .avi, .webm, ainsi que d'autres formats professionnels définis dans notre documentation.

Les pistes vidéo et audio sont des supports dynamiques : un même fichier peut contenir un mélange complexe d'enregistrements authentiques et de passages générés par l'IA. Pour offrir la détection la plus robuste possible, nous analysons le contenu sur une chronologie continue. Pour nos utilisateurs, cette analyse dynamique présente un avantage très concret : des horodatages précis, image par image, qui indiquent exactement à quel moment une manipulation présumée se produit.

Toutefois, pour évaluer les performances et la fiabilité fondamentales de nos modèles, nous concentrons nos tests de référence sur le verdict global au niveau du fichier. Cet indicateur évalue le média dans son ensemble et calcule la durée totale de manipulation synthétique afin de classer le fichier vidéo ou audio complet comme « Généré par l'IA » ou « Humain ». Cette évaluation stricte, à l'échelle du fichier, reflète la manière dont la plupart des organisations déploient notre système pour le tri à haut niveau de confiance, l'application de leurs politiques et la modération automatisée.

Pour apporter une clarté absolue sur la fiabilité de notre système à l'échelle du fichier, nous mesurons nos performances à l'aide de trois indicateurs principaux, standard dans le secteur :

• Taux de détection de l'IA (taux de vrais positifs) : le pourcentage de contenus réellement générés par l'IA que notre système détecte avec succès.
• Taux de faux positifs (FPR) : le pourcentage de contenus humains authentiques identifiés à tort comme IA. Un FPR de 1% signifie que le taux de vrais négatifs (TNR) est de 99%, ce qui garantit que les créateurs authentiques sont rarement pénalisés.
• Précision : l'exactitude de nos signalements IA positifs. Une précision de 99% signifie que sur 100 fichiers que nous signalons comme IA, 99 le sont réellement, ce qui permet aux utilisateurs d'agir sur nos alertes en toute confiance.

Nos équipes de science des données et d'assurance qualité ont mené indépendamment des tests sur de vastes jeux de données diversifiés, contenant des dizaines de milliers de fichiers vidéo et audio. Ces jeux de données couvrent des résolutions, des qualités d'enregistrement, des appareils de capture et des modèles d'IA générative variés (notamment des générateurs de deepfakes, des outils de clonage vocal et des moteurs de synthèse vocale) considérés comme à la pointe de la technologie au moment de la publication.

Les résultats suivants démontrent la capacité du système à classer avec précision des fichiers complets en fonction de leur composition globale, et offrent une vision claire de ses capacités de tri à haut niveau de confiance.

Bien que notre système de détection atteigne des résultats de pointe, aucune technologie n'est parfaite. Nos modèles peuvent parfois mal interpréter des segments temporels ou acoustiques complexes, ce qui peut entraîner des évaluations erronées.

Le détecteur vidéo et audio IA de Copyleaks est spécialement conçu pour identifier les empreintes synthétiques laissées par les outils d'IA générative les plus récents. Il n'est pas actuellement conçu pour détecter les modifications traditionnelles des médias, notamment :

• Montage manuel et retouches créatives : transitions, coupes ou agencements standard réalisés par un monteur à l'aide de logiciels traditionnels (par exemple Adobe Premiere, Final Cut Pro ou Audacity).
• Effets visuels et images de synthèse traditionnels : images ou effets sonores générés par ordinateur au moyen de la modélisation 3D classique, de chaînes de production d'animation ou du bruitage, et non par des réseaux neuronaux génératifs.
• Ajustements non génératifs : filtres photographiques, étalonnage des couleurs, accentuation de la netteté, recadrage, modification de la vitesse (accéléré/ralenti), ou égalisation audio de base (EQ) et réduction du bruit.

Par ailleurs, l'IA générative évoluant à un rythme rapide, la détection de contenus créés par des modèles publiés après notre dernière mise à jour peut être moins constante jusqu'à ce que ces outils soient intégrés à nos jeux de données d'entraînement. En outre, certaines manipulations très spécialisées (comme certaines applications d'échange de visages ou certaines musiques générées par l'IA) font actuellement l'objet de nos travaux de recherche et développement et peuvent ne pas être entièrement couvertes par cette version.

Il convient de noter que le détecteur audio est conçu pour détecter l'utilisation de l'IA dans la parole ; pour d'autres cas d'usage (comme la musique générée par l'IA), il ne faut pas s'attendre à des niveaux de précision comparables aux chiffres présentés ci-dessus.

Nous sommes profondément engagés dans l'amélioration continue de nos moteurs de détection. Vos retours jouent un rôle essentiel dans notre mission de garantir l'authenticité numérique. Si vous rencontrez un modèle d'IA, un outil de clonage vocal ou une technique de manipulation émergente que vous aimeriez voir pris en charge, nous vous invitons vivement à nous en faire part afin que nous puissions le prioriser lors de nos prochains cycles de développement.