Copyleaks AI Görüntü Dedektörünün Doğruluğunun Değerlendirilmesi

Adım Adım Metodoloji

Sorumlu kullanım ve benimsenmesini sağlamak için, Yapay Zeka Görüntü Algılayıcı'nın doğruluğu, yanlış pozitif ve yanlış negatif oranları ve iyileştirme alanları dahil olmak üzere her zamankinden daha şeffaf olmanın önemli olduğuna inanıyoruz. Bu kapsamlı analiz, Yapay Zeka Görüntü Algılayıcı V1 model test metodolojimiz hakkında tam şeffaflık sağlamayı amaçlamaktadır.

Modelimiz, algılanan alanların bir üst katmanını oluşturarak, bir görüntünün yapay zeka tarafından işlenmiş kısımlarını tespit etmek üzere tasarlanmıştır. Yapılan testler, Yapay Zeka Görüntü Algılayıcısının gerçek insan fotoğrafları ile yapay zeka tarafından oluşturulmuş veya yapay zeka tarafından işlenmiş görüntüler arasında ayrım yapmada yüksek tespit doğruluğu sağladığını ve son derece düşük bir yanlış pozitif oranı koruduğunu doğrulamaktadır.

Sınav tarihi: 1 Eylül 2025

Yayın tarihi: 15 Ekim 2025

Test edilen model: V1

Metodoloji

Değerlendirme sürecimizi, en üst düzey kalite, standartlar ve güvenilirliği garanti altına alacak şekilde çift ekipli bir sistem kullanarak tasarladık. Modeli değerlendiren iki bağımsız departmanımız var: Veri Bilimi ve Kalite Güvence ekipleri. Her ekip, kendi değerlendirme verileri ve araçlarıyla bağımsız olarak çalışır ve diğerinin değerlendirme sürecine erişimi yoktur. Bu ayrım, değerlendirme sonuçlarının tarafsız, objektif ve doğru olmasını sağlar. Ayrıca, tüm test verilerinin eğitim verilerinden kesinlikle ayrı olduğunu unutmamak önemlidir; modellerimizi yalnızca daha önce görmedikleri yeni veriler üzerinde test ediyoruz.

Yapay zeka görüntü algılama için birden fazla model çeşidi sunmayı hedefliyoruz. Ultra Model, hassasiyetin kritik önem taşıdığı durumlar için ideal olan kapsamlı bir analiz gerçekleştirerek en yüksek doğruluk seviyesini sağlar.

Test Setleri İnşaatı

Copyleaks Kalite Güvence ve Veri Bilimi ekipleri, çeşitli test veri kümelerini bağımsız olarak toplayıp oluşturdu. Her veri kümesi, kaynağını belirten beklenen bir etikete sahip sınırlı sayıda görüntüden oluşur. Veri kümeleri iki kategoriye ayrılır:

  • Tamamen İnsan: Bir kamera tarafından yakalanan ve yapay zekâ tarafından değiştirilmeyen gerçek görüntüler. Bunlar, doğrulanmış veri kümelerinden toplanmış veya manuel olarak oluşturulmuştur.

  • Tamamen Yapay Zeka: Tamamen yapay zeka modelleri tarafından oluşturulan görüntüler.

 

Yapay zeka tarafından oluşturulan görüntüler, çok çeşitli üretken yapay zeka modelleri kullanılarak oluşturuldu. Testler Copyleaks API'sine göre yürütüldü ve modelin performansını hesaplamak için puanlar toplandı. 

Değerlendirme yalnızca ürünün teknik gereksinimlerini karşılayan görseller üzerinde gerçekleştirildi: dokümantasyonda tanımlandığı gibi minimum 512x512 piksel boyut, 32 MB'ın altında dosya boyutu ve 16 megapikselin altında çözünürlük.

Değerlendirme Metrikleri

Ürün, yapay zeka tarafından oluşturulan segmentlerin üst üste bindirilmesiyle bir tahmin oluşturur. Daha sonra, modelin görüntüleri gerçek gerçeklik kategorilerine göre ne kadar doğru sınıflandırdığına göre genel performans değerlendirilir.

Görüntü Türüne Göre Performans Metrikleri

Net ve sağlam bir doğruluk ölçümü sağlamak için, test edilen görüntü türüne bağlı olarak farklı piksel düzeyinde ölçümler kullanıyoruz:

  • İnsan Görüntüleri İçin: Ana ölçüm piksel düzeyidir Yanlış Pozitif Oranı (FPR). Bir görüntünün bir görüntü olarak kabul edilebilmesi için başarılı tespit (Gerçek Olumsuz), "AI" olarak yanlış işaretlenen piksellerin yüzdesi 5%'den az. Bu katı eşik, modelin gerçek görüntüleri yanlış bir şekilde suçlamasını önler.

  • AI Görüntüleri için: Birincil ölçüm piksel düzeyidir Gerçek Pozitif Oranı (TPR). Bir görüntünün bir görüntü olarak kabul edilebilmesi için başarılı tespit (Gerçek Pozitif), "AI" olarak doğru şekilde tanımlanan piksellerin yüzdesi 95%'den büyük. Bu, modelin tam olarak oluşturulmuş içeriği kapsamlı bir şekilde tanımasını sağlar.

Toplu Raporlama Metrikleri

Sunulan genel doğruluk rakamları Sonuçlar tablolar, örneğin TNR (İnsan Doğruluğu) ve TPR (AI), bu piksel düzeyindeki başarı kriterlerinden toplanır. Örneğin, TNR, test edilen tüm insan görüntülerinin, <5% yanlış pozitif piksel eşiği.

Sonuçlar

Veri Bilimi Ekibi Testi

Veri Bilimi ekibi, farklı çözünürlüklerde görüntüler, yakalama aygıtları, görüntü oluşturucular ve içerik türlerini içeren büyük ve çeşitli bir veri kümesi üzerinde aşağıdaki bağımsız testi gerçekleştirdi.

Veri setinin adı İnsan Görüntüleri (n=31.374) Yapay Zeka Görüntüleri (n=33.947)
"Ultra" Doğruluk" 99.3% 99.2%

QA Ekibi Testi

Kalite Güvence ekibi, model eğitildikten sonra değerlendirme için özel olarak oluşturulmuş görüntüleri kullanarak bağımsız bir test gerçekleştirdi. Test veri seti, farklı çözünürlüklerde, farklı cihazlar tarafından yakalanmış, çeşitli görüntü oluşturucular tarafından oluşturulmuş ve farklı içerik türlerini içeren görüntülerden oluşuyor.

Veri setinin adı İnsan Görüntüleri (n=10.000) Yapay Zeka Görüntüleri (n=10.000)
"Ultra" Doğruluk" 99.98% 99.87%

Hata Analizi

Değerlendirme sürecinde, veri bilimi ekibinin altta yatan nedenleri düzeltebilmesi için hatalı değerlendirmeleri tespit edip analiz ediyoruz. Tüm hatalar, bir "kök neden analiz süreci" kapsamında sistematik olarak kaydediliyor ve karakterlerine ve yapılarına göre kategorilere ayrılıyor. Bu süreç, hataların altta yatan nedenlerini anlamayı ve tekrarlayan kalıpları belirleyerek modelimizin sürekli iyileştirilmesini ve uyarlanabilirliğini sağlamayı amaçlıyor. Bu bilgiler, modelin gelecekteki sürümlerini geliştirmek için kullanılıyor.

Sınırlamalar

Modelimiz en son teknoloji sonuçları elde etse de hiçbir algılama sistemi mükemmel değildir ve modelimiz belirli bir piksel kümesini yanlış sınıflandırmak gibi hatalar yapabilir.

AI Görüntü Dedektörü, manipülasyonları tespit etmek üzere özel olarak eğitilmiştir üretken yapay zeka araçları. Sistem şu anda aşağıdakiler de dahil olmak üzere diğer yaygın görüntü değişikliklerini algılamıyor:

  • Manuel Düzenlemeler: Photoshop gibi geleneksel fotoğraf düzenleme yazılımlarını kullanan bir kişinin yaptığı değişiklikler.

  • Kolajlar: Farklı özgün fotoğrafların parçalarının bir araya getirilmesiyle oluşturulan görseller.

  • Basit Filtreler ve Ayarlamalar: Fotoğrafik efektler (örneğin, "vintage", siyah beyaz) veya temel ayarlamalar (örneğin, keskinleştirme, bulanıklaştırma, kırpma) uygulamak.