Valutazione dell'accuratezza del rilevatore video basato sull'IA di Copyleaks

Abbiamo progettato il nostro processo di valutazione su un sistema a doppio team, per garantire qualità, standard e affidabilità di altissimo livello. Il modello viene valutato da due dipartimenti indipendenti: i team di Data Science e di QA. Ogni team opera in autonomia, con dati e strumenti di valutazione propri, così da garantire risultati imparziali, oggettivi e accurati.

È fondamentale sottolineare che tutti i dati di test sono rigorosamente separati dai dati di addestramento del modello. Valutiamo i nostri modelli esclusivamente su contenuti nuovi, che il nostro rilevatore video basato sull'IA non ha mai incontrato prima. Per mantenere i test sempre pertinenti, aggiorniamo costantemente i nostri set di dati includendo contenuti generati dai più recenti modelli di GenAI.

Per ogni rilascio del modello, i nostri team di Data Science e QA selezionano in modo indipendente i set di dati di test. Ogni set di dati comprende un gran numero di file, ciascuno con un'etichetta di ground truth rigorosa che ne indica l'origine:

• Completamente umano: video e audio autentici prodotti con metodi tradizionali (registrati con dispositivi fisici oppure creati tramite animazione digitale e VFX standard), privi di qualsiasi alterazione da parte dell'IA generativa.
• Completamente IA: contenuti sintetizzati interamente da reti di IA generativa, inclusi modelli fondazionali text-to-video e image-to-video, algoritmi di deepfake e motori avanzati di clonazione vocale.

I test vengono eseguiti direttamente tramite la Copyleaks API, che elabora le tracce visive e audio in modo del tutto indipendente l'una dall'altra. Mentre i nostri test di benchmark principali isolano i contenuti completamente umani e completamente IA per garantire metriche di prestazione rigorose e misurabili, questa architettura indipendente a doppia traccia assicura che il sistema gestisca con precisione anche i contenuti ibridi (ad es. un video umano autentico doppiato con una voce fuori campo generata dall'IA). Anziché combinare questi risultati, valutiamo gli output dell'API per le tracce video e audio in modo completamente indipendente, garantendo la massima trasparenza per ciascun mezzo.

La valutazione viene condotta su contenuti che soddisfano i nostri requisiti tecnici ottimali:

• Durata: tra 2 secondi e 1 ora.
• Risoluzione: almeno 360x360 pixel.
• Frequenza dei fotogrammi: almeno 16 FPS.
• Dimensione audio/file: inferiore a 0.5 GB.
• Formati supportati: container standard come .mp4, .mov, .avi, .webm e altri formati professionali indicati nella nostra documentazione.

Le tracce video e audio sono mezzi dinamici: un singolo file può contenere un mix complesso di registrazioni autentiche e inserti generati dall'IA. Per offrire il rilevamento più solido possibile, analizziamo i contenuti lungo una timeline continua. Per i nostri utenti, questa analisi dinamica offre un vantaggio molto concreto: la possibilità di visualizzare timestamp granulari, fotogramma per fotogramma, che indicano con esattezza il momento in cui si verifica la presunta manipolazione.

Tuttavia, quando valutiamo le prestazioni e l'affidabilità di fondo dei nostri modelli, concentriamo i test di benchmark sul verdetto complessivo a livello di file. Questa metrica a livello di file valuta il contenuto nel suo insieme, calcolando la durata totale della manipolazione sintetica per classificare l'intero file video o audio come “Generato dall'IA” oppure “Umano”. Questa valutazione rigorosa su scala macro riflette il modo in cui la maggior parte delle organizzazioni utilizza il nostro sistema per il triage ad alta affidabilità, l'applicazione delle policy e la moderazione automatizzata.

Per offrire la massima chiarezza sull'affidabilità del nostro sistema a livello di file, misuriamo le prestazioni con tre metriche principali, standard nel settore:

• Tasso di rilevamento IA (tasso di veri positivi): la percentuale di contenuti effettivamente generati dall'IA che il nostro sistema individua correttamente.
• Tasso di falsi positivi (FPR): la percentuale di contenuti umani autentici erroneamente identificati come IA. Un FPR dell'1% significa che il tasso di veri negativi (TNR) è del 99%, quindi i creator autentici vengono penalizzati solo raramente.
• Precisione: l'accuratezza delle nostre segnalazioni positive di IA. Una precisione del 99% significa che, su ogni 100 file segnalati come IA, 99 lo sono davvero, così gli utenti possono agire sui nostri avvisi con grande sicurezza.

I nostri team di Data Science e QA hanno condotto in modo indipendente test su set di dati ampi e diversificati, contenenti decine di migliaia di file video e audio. Questi set di dati comprendono risoluzioni, qualità di registrazione e dispositivi di acquisizione diversi, oltre a modelli di IA generativa (tra cui generatori di deepfake, clonazione vocale e motori di sintesi vocale) considerati all'avanguardia al momento della pubblicazione.

I risultati seguenti dimostrano la capacità del sistema di classificare con precisione interi file in base alla loro composizione complessiva, offrendo un quadro chiaro delle sue capacità di triage ad alta affidabilità.

Sebbene il nostro sistema di rilevamento raggiunga risultati all'avanguardia, nessuna tecnologia è perfetta. Occasionalmente i nostri modelli possono interpretare in modo errato segmenti temporali o acustici complessi, producendo valutazioni non corrette.

Il rilevatore video e audio basato sull'IA di Copyleaks è progettato specificamente per identificare le tracce sintetiche lasciate dai più recenti strumenti di IA generativa e attualmente non è pensato per rilevare le alterazioni tradizionali dei contenuti multimediali, tra cui:

• Montaggio manuale ed editing creativo: transizioni, tagli o composizioni standard realizzati da un montatore umano con software tradizionali (ad es. Adobe Premiere, Final Cut Pro o Audacity).
• VFX e CGI tradizionali: immagini o effetti sonori generati al computer tramite modellazione 3D standard, pipeline di animazione o lavoro di foley, anziché tramite reti neurali generative.
• Regolazioni non generative: filtri fotografici, color grading, aumento della nitidezza, ritaglio, regolazioni della velocità (timelapse/slow motion) o equalizzazione audio di base (EQ) e riduzione del rumore.

Inoltre, poiché il panorama dell'IA generativa evolve rapidamente, il rilevamento di contenuti creati da modelli rilasciati dopo il nostro ultimo aggiornamento potrebbe risultare meno coerente finché tali strumenti non vengono integrati nei nostri set di dati di addestramento. Anche alcune manipolazioni altamente specializzate (come specifiche applicazioni di face swapping o la generazione musicale tramite IA) sono attualmente oggetto delle nostre attività di ricerca e sviluppo e potrebbero non essere pienamente coperte in questa versione.

Va sottolineato che il rilevatore audio è progettato per rilevare l'uso dell'IA nel parlato; per altri casi d'uso (come la musica generata dall'IA) non ci si deve attendere un livello di accuratezza paragonabile ai valori indicati sopra.

Siamo profondamente impegnati nel miglioramento continuo dei nostri motori di rilevamento. Il tuo contributo svolge un ruolo fondamentale nella nostra missione di garantire l'autenticità digitale. Se ti imbatti in un modello di IA specifico, in uno strumento di clonazione vocale o in una tecnica di manipolazione emergente che vorresti vedere supportati, ti invitiamo a condividere il tuo feedback, così da poterli considerare in via prioritaria nei nostri prossimi cicli di sviluppo.