Copyleaks Yapay Zeka Görüntü Dedektörünün Doğruluğunun Değerlendirilmesi

Çift ekipli bir sistem kullanarak, en üst düzey kalite, standartlar ve güvenilirliği sağlamak için değerlendirme sürecimizi tasarladık. Modeli değerlendiren iki bağımsız departmanımız var: Veri Bilimi ve Kalite Güvence ekipleri. Her ekip kendi değerlendirme verileri ve araçlarıyla bağımsız olarak çalışır ve diğer ekibin değerlendirme sürecine erişimi yoktur. Bu ayrım, değerlendirme sonuçlarının tarafsız, objektif ve doğru olmasını sağlar. Ayrıca, tüm test verilerinin eğitim verilerinden kesinlikle ayrı olduğunu belirtmek önemlidir; modellerimizi yalnızca yapay zeka görüntü dedektörümüzle hiç etkileşime girmemiş yeni görüntüler üzerinde test ediyoruz. Testlerimizin güncel ve zorlayıcı kalmasını sağlamak için, değerlendirme veri kümelerimizi sürekli olarak güncelleyerek en son GenAI modelleri tarafından oluşturulan görüntüleri de dahil ediyoruz.

Her model sürümü için, Copyleaks Kalite Güvence ve Veri Bilimi ekipleri bağımsız olarak çeşitli test veri kümeleri toplar ve oluşturur. Her veri kümesi, kaynağını gösteren beklenen bir etikete sahip sınırlı sayıda görüntüden oluşur. Veri kümeleri iki kategoriye ayrılır: Copyleaks Kalite Güvence ve Veri Bilimi ekipleri bağımsız olarak çeşitli test veri kümeleri toplar ve oluşturur. Her veri kümesi, kaynağını gösteren beklenen bir etikete sahip sınırlı sayıda görüntüden oluşur. Veri kümeleri iki kategoriye ayrılır:

• Tamamen İnsan Yapımı: Yapay zekâ tarafından değiştirilmemiş, kamera ile çekilmiş otantik görüntüler. Bunlar doğrulanmış veri kümelerinden toplanmış veya manuel olarak oluşturulmuştur.

• Tamamen Yapay Zeka Destekli: Görüntüler tamamen en güncel yapay zeka modelleri tarafından oluşturulmuştur.

Çok çeşitli üretken yapay zeka modelleri kullanılarak yapay zeka tarafından oluşturulan görüntüler üretildi. Testler Copyleaks API'sine karşı yürütüldü ve modelin performansını hesaplamak için puanlar toplandı.

Değerlendirme, dokümantasyonda tanımlandığı gibi, yalnızca şu teknik gereksinimleri karşılayan görüntüler üzerinde yapılmıştır: minimum 512×512 piksel boyut, 32 MB'ın altında dosya boyutu ve 16 megapikselin altında çözünürlük.

Ürün, yapay zeka tarafından oluşturulan segmentlerin üst üste bindirilmesi şeklinde bir tahmin yapar. Genel performans daha sonra, modelin görüntüleri gerçek kategoriye göre ne kadar doğru sınıflandırdığına bağlı olarak değerlendirilir.

To provide a clear and robust measure of accuracy, we use different pixel-level metrics depending on the type of image being tested:

• For Human Images: The key metric is the pixel-level False Positive Rate (FPR). For an image to be considered a successful detection (True Negative), the percentage of pixels incorrectly flagged as “AI” must be less than 5%. This stringent threshold ensures the model avoids falsely accusing authentic images.
  
  
• For AI Images: The primary metric is the pixel-level True Positive Rate (TPR). For an image to be considered a successful detection (True Positive), the percentage of pixels correctly identified as “AI” must be greater than 95%. This ensures the model comprehensively recognizes fully generated content.

The overall accuracy figures presented in the Results tables, such as TNR (Human Accuracy) and TPR (AI), are aggregated from these pixel-level success criteria. For example, the TNR is the percentage of all tested human images that successfully met the <5% false positive pixel threshold.

Veri Bilimi ekibi, farklı çözünürlüklerde, çekim cihazlarında, görüntü oluşturucularda ve içerik türlerinde görüntüler içeren geniş ve çeşitli bir veri kümesi üzerinde aşağıdaki bağımsız testi gerçekleştirdi.

Kalite güvence ekibi, model eğitildikten sonra özellikle değerlendirme amacıyla oluşturulan görselleri kullanarak bağımsız bir test gerçekleştirdi. Test veri seti, farklı çözünürlüklerde, farklı cihazlar tarafından çekilmiş, çeşitli görüntü oluşturucular tarafından üretilmiş ve farklı içerik türlerine sahip görsellerden oluşmaktadır.

While our model achieves state-of-the-art results, no detection system is perfect, and our model can make mistakes, such as misclassifying a specific pixel set.

The AI Image Detector is specifically trained to identify manipulations from the latest generative AI tools. The system does not currently detect other common image alterations, including:

• Manual Edits: Changes made by a person using traditional photo editing software like Photoshop.

   

• Collages: Images created by combining parts of different authentic photos.

   

• Simple Filters & Adjustments: Applying photographic effects (e.g., “vintage,” black & white) or basic adjustments (e.g., sharpening, blurring, cropping).