Bewertung der Genauigkeit des Copyleaks-KI-Videodetektors

Mit einem Zwei-Team-System haben wir unseren Evaluierungsprozess so gestaltet, dass höchste Qualität, Standards und Zuverlässigkeit gewährleistet sind. Zwei unabhängige Abteilungen evaluieren das Modell: unser Data-Science-Team und unser QA-Team. Jedes Team arbeitet eigenständig mit eigenen Evaluierungsdaten und -tools, sodass die Ergebnisse unvoreingenommen, objektiv und präzise bleiben.

Wichtig ist: Alle Testdaten sind strikt von den Trainingsdaten des Modells getrennt. Wir evaluieren unsere Modelle ausschließlich mit neuen Inhalten, die unser KI-Videodetektor noch nie verarbeitet hat. Damit unsere Tests relevant bleiben, erweitern wir unsere Datensätze kontinuierlich um Medien, die von den neuesten GenAI-Modellen generiert wurden.

Für jede Modellversion stellen unser Data-Science- und unser QA-Team unabhängig voneinander Testdatensätze zusammen. Jeder Datensatz besteht aus einer großen Anzahl von Dateien mit einer strikten Ground-Truth-Kennzeichnung, die ihre Herkunft angibt:

• Vollständig menschlich: Authentische Video- und Audioinhalte, die mit herkömmlichen Methoden produziert wurden (ob mit physischen Aufnahmegeräten aufgezeichnet oder mit klassischer digitaler Animation und VFX erstellt) und keinerlei Veränderungen durch generative KI enthalten.
• Vollständig KI: Inhalte, die vollständig von generativen KI-Netzen synthetisiert wurden, darunter grundlegende Text-zu-Video- und Bild-zu-Video-Modelle, Deepfake-Algorithmen und fortschrittliche Voice-Cloning-Engines.

Die Tests werden direkt über die Copyleaks API durchgeführt, die visuelle und auditive Spuren vollständig unabhängig voneinander verarbeitet. Während unsere zentralen Benchmark-Tests vollständig menschliche und vollständig KI-generierte Medien voneinander trennen, um strenge, messbare Leistungskennzahlen zu gewährleisten, stellt diese unabhängige Zwei-Spur-Architektur sicher, dass das System auch hybride Inhalte zuverlässig verarbeitet (z. B. ein authentisches Video eines Menschen, das mit einem KI-generierten Voiceover synchronisiert wurde). Statt diese Ergebnisse zu vermischen, bewerten wir die API-Ausgaben für die Video- und die Audiospur völlig unabhängig voneinander und sorgen so für absolute Transparenz bei jedem einzelnen Medium.

Die Evaluierung erfolgt mit Medien, die unsere optimalen technischen Anforderungen erfüllen:

• Dauer: Zwischen 2 Sekunden und 1 Stunde.
• Auflösung: Mindestens 360x360 Pixel.
• Bildrate: Mindestens 16 FPS.
• Audio-/Dateigröße: Unter 0.5 GB.
• Unterstützte Formate: Gängige Container wie .mp4, .mov, .avi, .webm sowie weitere professionelle Formate, die in unserer Dokumentation aufgeführt sind.

Video- und Audiospuren sind dynamische Medien: Eine einzige Datei kann eine komplexe Mischung aus authentischen Aufnahmen und KI-generierten Einschüben enthalten. Für eine möglichst robuste Erkennung analysieren wir Inhalte entlang einer durchgehenden Zeitleiste. Für unsere Nutzer bietet diese dynamische Analyse einen ganz praktischen Vorteil: detaillierte Zeitstempel Bild für Bild, die genau zeigen, wann eine mutmaßliche Manipulation auftritt.

Bei der Bewertung der grundlegenden Leistung und Zuverlässigkeit unserer Modelle konzentrieren wir unsere Benchmark-Tests jedoch auf das übergeordnete Urteil auf Dateiebene. Diese Kennzahl bewertet das Medium als Ganzes und berechnet die Gesamtdauer der synthetischen Manipulation, um die vollständige Video- oder Audiodatei entweder als „KI-generiert“ oder als „Menschlich“ einzustufen. Diese strenge Bewertung auf Makroebene spiegelt wider, wie die meisten Organisationen unser System einsetzen: für eine zuverlässige Triage, die Durchsetzung von Richtlinien und die automatisierte Moderation.

Um die Zuverlässigkeit unseres Systems auf Dateiebene absolut klar darzustellen, messen wir unsere Leistung anhand von drei zentralen, branchenüblichen Kennzahlen:

• KI-Erkennungsrate (Richtig-Positiv-Rate): Der Prozentsatz tatsächlich KI-generierter Inhalte, den unser System erfolgreich erkennt.
• Falsch-Positiv-Rate (FPR): Der Prozentsatz authentischer menschlicher Inhalte, die fälschlicherweise als KI eingestuft werden. Eine FPR von 1% bedeutet eine Richtig-Negativ-Rate (TNR) von 99% – authentische Urheber werden also nur selten benachteiligt.
• Präzision: Die Treffsicherheit unserer positiven KI-Markierungen. Eine Präzision von 99% bedeutet, dass von 100 Dateien, die wir als KI markieren, 99 tatsächlich KI-generiert sind. So können Nutzer mit hoher Sicherheit auf unsere Warnungen reagieren.

Unser Data-Science- und unser QA-Team haben unabhängig voneinander Tests mit großen, vielfältigen Datensätzen durchgeführt, die Zehntausende Video- und Audiodateien umfassen. Diese Datensätze decken unterschiedliche Auflösungen, Aufnahmequalitäten, Aufnahmegeräte und generative KI-Modelle ab (darunter Deepfake-Generatoren, Voice-Cloning- und Text-to-Speech-Engines), die zum Zeitpunkt der Veröffentlichung dem neuesten Stand der Technik entsprechen.

Die folgenden Ergebnisse belegen die Fähigkeit des Systems, vollständige Dateien anhand ihrer Gesamtzusammensetzung präzise einzustufen, und vermitteln ein klares Bild seiner zuverlässigen Triage-Fähigkeiten.

Auch wenn unser Erkennungssystem Ergebnisse auf dem neuesten Stand der Technik erzielt, ist keine Technologie perfekt. Unsere Modelle können komplexe zeitliche oder akustische Segmente gelegentlich falsch interpretieren, was zu fehlerhaften Bewertungen führen kann.

Der KI-Video- und Audiodetektor von Copyleaks wurde speziell dafür entwickelt, synthetische Spuren zu erkennen, die die neuesten generativen KI-Tools hinterlassen. Er ist derzeit nicht darauf ausgelegt, herkömmliche Medienbearbeitungen zu erkennen, darunter:

• Manueller Schnitt und kreative Bearbeitung: Standardübergänge, Schnitte oder Anordnungen, die ein menschlicher Cutter mit herkömmlicher Software vornimmt (z. B. Adobe Premiere, Final Cut Pro oder Audacity).
• Klassische VFX und CGI: Computergenerierte Bilder oder Soundeffekte, die mit herkömmlicher 3D-Modellierung, Animationspipelines oder Foley-Arbeit statt mit generativen neuronalen Netzen erstellt wurden.
• Nicht-generative Anpassungen: Fotofilter, Farbkorrektur, Schärfen, Zuschneiden, Geschwindigkeitsanpassungen (Zeitraffer/Zeitlupe) oder einfache Audio-Equalisierung (EQ) und Rauschunterdrückung.

Da sich die generative KI rasant weiterentwickelt, kann die Erkennung von Inhalten, die mit nach unserem letzten Update veröffentlichten Modellen erstellt wurden, zudem weniger zuverlässig sein, bis diese Tools in unsere Trainingsdatensätze aufgenommen sind. Außerdem sind bestimmte hochspezialisierte Manipulationen (etwa spezielle Face-Swapping-Anwendungen oder KI-generierte Musik) derzeit Gegenstand unserer laufenden Forschung und Entwicklung und werden in dieser Version möglicherweise noch nicht vollständig abgedeckt.

Bitte beachten Sie, dass der Audiodetektor darauf ausgelegt ist, KI-Einsatz in gesprochener Sprache zu erkennen; bei anderen Anwendungsfällen (etwa KI-generierter Musik) ist keine vergleichbare Genauigkeit wie bei den oben genannten Werten zu erwarten.

Wir setzen uns mit voller Überzeugung für die kontinuierliche Verbesserung unserer Erkennungs-Engines ein. Ihr Feedback spielt eine entscheidende Rolle für unsere Mission, digitale Authentizität sicherzustellen. Wenn Sie auf ein bestimmtes KI-Modell, ein Voice-Cloning-Tool oder eine neue Manipulationstechnik stoßen, die wir unterstützen sollten, freuen wir uns sehr über Ihr Feedback, damit wir es in unseren kommenden Entwicklungszyklen priorisieren können.