Valutazione dell'accuratezza del rilevatore di immagini basato sull'intelligenza artificiale di Copyleaks

Utilizzando un sistema a due team, abbiamo progettato il nostro processo di valutazione per garantire qualità, standard e affidabilità di altissimo livello. Due dipartimenti indipendenti si occupano della valutazione del modello: il team di Data Science e il team di QA. Ciascun team lavora in modo indipendente con i propri dati e strumenti di valutazione e non ha accesso al processo di valutazione dell'altro team. Questa separazione garantisce che i risultati della valutazione siano imparziali, oggettivi e accurati. È inoltre fondamentale sottolineare che tutti i dati di test sono rigorosamente separati dai dati di training; testiamo i nostri modelli solo su nuove immagini che non hanno mai interagito con il nostro sistema di rilevamento di immagini basato sull'intelligenza artificiale. Per garantire che i nostri test rimangano pertinenti e stimolanti, aggiorniamo costantemente i nostri set di dati di valutazione includendo immagini generate dai modelli GenAI più recenti.

Per ogni rilascio di modello, i team di QA e Data Science di Copyleaks raccolgono e creano in modo indipendente una varietà di set di dati di test. Ogni set di dati è costituito da un numero finito di immagini con un'etichetta prevista che ne indica l'origine. I set di dati sono suddivisi in due categorie: I team di QA e Data Science di Copyleaks hanno raccolto e creato in modo indipendente una varietà di set di dati di test. Ogni set di dati è costituito da un numero finito di immagini con un'etichetta prevista che ne indica l'origine. I set di dati sono suddivisi in due categorie:

• Completamente umane: immagini autentiche catturate da una fotocamera e non modificate dall'intelligenza artificiale generativa. Queste immagini sono state raccolte da dataset verificati o create manualmente.

• Completamente AI: Immagini generate interamente dai modelli di intelligenza artificiale più aggiornati.

Le immagini generate dall'IA sono state create utilizzando un'ampia varietà di modelli di IA generativa. I test sono stati eseguiti sull'API di Copyleaks e abbiamo aggregato i punteggi per calcolare le prestazioni del modello.

La valutazione è stata condotta esclusivamente su immagini che soddisfacevano i seguenti requisiti tecnici: una dimensione minima di 512×512 pixel, una dimensione del file inferiore a 32 MB e una risoluzione inferiore a 16 megapixel, come definito nella documentazione.

Il prodotto effettua una previsione sovrapponendo i segmenti generati dall'IA. Le prestazioni complessive vengono quindi valutate in base all'accuratezza con cui il modello classifica le immagini, in base alla loro categoria reale.

To provide a clear and robust measure of accuracy, we use different pixel-level metrics depending on the type of image being tested:

• For Human Images: The key metric is the pixel-level False Positive Rate (FPR). For an image to be considered a successful detection (True Negative), the percentage of pixels incorrectly flagged as “AI” must be less than 5%. This stringent threshold ensures the model avoids falsely accusing authentic images.
  
  
• For AI Images: The primary metric is the pixel-level True Positive Rate (TPR). For an image to be considered a successful detection (True Positive), the percentage of pixels correctly identified as “AI” must be greater than 95%. This ensures the model comprehensively recognizes fully generated content.

I valori di accuratezza complessiva presentati nelle tabelle dei risultati , come TNR (accuratezza umana) e TPR (IA) , sono aggregati a partire da questi criteri di successo a livello di pixel. Ad esempio, il TNR rappresenta la percentuale di tutte le immagini umane testate che hanno soddisfatto con successo la soglia di falsi positivi a livello di pixel inferiore al 5% .

Il team di Data Science ha condotto il seguente test indipendente su un ampio e variegato set di dati contenente immagini di diverse risoluzioni, dispositivi di acquisizione, generatori di immagini e tipologie di contenuto.

Il team di controllo qualità ha condotto un test indipendente utilizzando immagini create appositamente per la valutazione dopo l'addestramento del modello. Il set di dati di test comprende immagini di diverse risoluzioni, acquisite da dispositivi differenti, generate da vari software di elaborazione immagini e caratterizzate da diverse tipologie di contenuto.

Sebbene il nostro modello raggiunga risultati all'avanguardia, nessun sistema di rilevamento è perfetto e anche il nostro modello può commettere errori, come ad esempio classificare erroneamente uno specifico insieme di pixel.

Il rilevatore di immagini basato sull'IA è specificamente addestrato per identificare le manipolazioni effettuate con i più recenti strumenti di intelligenza artificiale generativa . Attualmente il sistema non rileva altre comuni alterazioni delle immagini, tra cui:

• Modifiche manuali: modifiche apportate da una persona utilizzando un software di fotoritocco tradizionale come Photoshop.

• Collage: Immagini create combinando parti di diverse fotografie autentiche.

• Filtri e regolazioni semplici: applicazione di effetti fotografici (ad esempio, "vintage", bianco e nero) o regolazioni di base (ad esempio, nitidezza, sfocatura, ritaglio).