Copyleaks Yapay Zeka Video Dedektörünün Doğruluğunun Değerlendirilmesi

Değerlendirme sürecimizi, çift ekipli bir sistemle en üst düzeyde kalite, standart ve güvenilirlik sağlayacak şekilde tasarladık. Modeli iki bağımsız departman değerlendirir: Veri Bilimi ve Kalite Güvence ekiplerimiz. Her ekip kendine özgü değerlendirme verileri ve araçlarıyla bağımsız olarak çalışır; böylece sonuçların tarafsız, objektif ve doğru kalması sağlanır.

Tüm test verilerinin, modelin eğitim verilerinden kesin olarak ayrı tutulduğunu belirtmek önemlidir. Modellerimizi yalnızca Yapay Zeka Video Dedektörümüzün daha önce hiç karşılaşmadığı yeni içerikler üzerinde değerlendiriyoruz. Testlerimizin güncel kalması için veri kümelerimizi, en yeni GenAI modelleri tarafından üretilen medyayı da içerecek şekilde sürekli güncelliyoruz.

Her model sürümü için Veri Bilimi ve Kalite Güvence ekiplerimiz test veri kümelerini bağımsız olarak hazırlar. Her veri kümesi, kaynağını kesin olarak belirten doğrulanmış bir etiket taşıyan çok sayıda dosyadan oluşur:

• Tamamen İnsan Yapımı: Geleneksel yöntemlerle üretilmiş (fiziksel kayıt cihazlarıyla çekilmiş ya da standart dijital animasyon ve VFX ile oluşturulmuş) ve hiçbir üretken yapay zeka müdahalesi içermeyen özgün video ve ses.
• Tamamen Yapay Zeka Üretimi: Temel metinden videoya ve görüntüden videoya modelleri, deepfake algoritmaları ve gelişmiş ses klonlama motorları dahil olmak üzere tamamen üretken yapay zeka ağları tarafından sentezlenmiş içerik.

Testler doğrudan, görsel ve işitsel parçaları birbirinden tamamen bağımsız olarak işleyen Copyleaks API üzerinde yürütülür. Temel kıyaslama testlerimiz, katı ve ölçülebilir performans metrikleri elde etmek için Tamamen İnsan Yapımı ve Tamamen Yapay Zeka Üretimi medyayı birbirinden ayırsa da bu bağımsız çift parçalı mimari, sistemin hibrit içerikleri de (ör. yapay zeka ile üretilmiş bir dış sesle seslendirilmiş özgün bir insan videosu) doğru şekilde işlemesini garanti eder. Bu sonuçları birleştirmek yerine, video ve ses parçalarına ait API çıktılarını tamamen bağımsız olarak değerlendirir ve her bir ortam için mutlak şeffaflık sağlarız.

Değerlendirme, optimum teknik gereksinimlerimizi karşılayan medya üzerinde gerçekleştirilir:

• Süre: 2 saniye ile 1 saat arası.
• Çözünürlük: En az 360x360 piksel.
• Kare Hızı: En az 16 FPS.
• Ses/Dosya Boyutu: 0.5 GB'ın altında.
• Desteklenen Formatlar: .mp4, .mov, .avi, .webm dahil standart kapsayıcılar ve dokümantasyonumuzda tanımlanan diğer profesyonel formatlar.

Video ve ses parçaları dinamik ortamlardır; tek bir dosya, özgün kayıt ile yapay zeka tarafından üretilmiş eklemelerin karmaşık bir karışımını içerebilir. En güçlü tespiti sağlamak için içeriği sürekli bir zaman çizelgesi üzerinde analiz ediyoruz. Bu dinamik analiz, kullanıcılarımıza son derece pratik bir avantaj sunar: Şüpheli manipülasyonun tam olarak ne zaman gerçekleştiğini gösteren, kare kare ayrıntılı zaman damgalarını görebilme imkânı.

Ancak modellerimizin temel performansını ve güvenilirliğini değerlendirirken kıyaslama testlerimizi makro ölçekteki dosya düzeyi karara odaklıyoruz. Bu dosya düzeyi metrik, medyayı bir bütün olarak değerlendirir ve sentetik manipülasyonun toplam süresini hesaplayarak video veya ses dosyasının tamamını “Yapay Zeka Üretimi” ya da “İnsan” olarak sınıflandırır. Bu katı, makro düzeydeki değerlendirme, kuruluşların çoğunun sistemimizi yüksek güvenilirlikli ön eleme, politika uygulama ve otomatik moderasyon için nasıl kullandığını yansıtır.

Sistemimizin bu dosya düzeyindeki güvenilirliği konusunda tam netlik sağlamak için performansımızı sektör standardı olan üç temel metrikle ölçüyoruz:

• Yapay Zeka Tespit Oranı (Gerçek Pozitif Oranı): Gerçekte yapay zeka tarafından üretilmiş içeriklerden sistemimizin başarıyla yakaladığı yüzde.
• Yanlış Pozitif Oranı (FPR): Özgün insan içeriğinin hatalı olarak yapay zeka şeklinde tanımlanan yüzdesi. %1'lik bir FPR, Gerçek Negatif Oranının (TNR) %99 olduğu anlamına gelir; böylece özgün içerik üreticileri yalnızca nadiren haksız yere cezalandırılır.
• Kesinlik: Pozitif yapay zeka işaretlemelerimizin doğruluğu. %99'luk bir Kesinlik, yapay zeka olarak işaretlediğimiz her 100 dosyadan 99'unun gerçekten yapay zeka olduğu anlamına gelir; böylece kullanıcılar uyarılarımıza dayanarak yüksek bir güvenle harekete geçebilir.

Veri Bilimi ve Kalite Güvence ekiplerimiz, on binlerce video ve ses dosyası içeren büyük ve çeşitli veri kümeleri üzerinde bağımsız testler gerçekleştirdi. Bu veri kümeleri; farklı çözünürlükleri, kayıt kalitelerini, çekim cihazlarını ve yayın tarihi itibarıyla en gelişmiş kabul edilen üretken yapay zeka modellerini (deepfake oluşturucular, ses klonlama ve metinden konuşmaya motorları dahil) kapsamaktadır.

Aşağıdaki sonuçlar, sistemin dosyaları bir bütün olarak genel bileşimlerine göre doğru şekilde sınıflandırabildiğini gösterir ve yüksek güvenilirlikli ön eleme yeteneklerine dair net bir tablo sunar.

Tespit sistemimiz en gelişmiş sonuçlara ulaşsa da hiçbir teknoloji kusursuz değildir. Modellerimiz zaman zaman karmaşık zamansal veya akustik segmentleri yanlış yorumlayarak hatalı değerlendirmelere yol açabilir.

Copyleaks Yapay Zeka Video ve Ses Dedektörü, en yeni üretken yapay zeka araçlarının bıraktığı sentetik izleri belirlemek üzere özel olarak geliştirilmiştir ve şu anda aşağıdakiler dahil geleneksel medya değişikliklerini tespit etmek üzere tasarlanmamıştır:

• Manuel Kurgu ve Yaratıcı Düzenleme: Bir insan editör tarafından geleneksel yazılımlarla (ör. Adobe Premiere, Final Cut Pro veya Audacity) yapılan standart geçişler, kesmeler veya düzenlemeler.
• Geleneksel VFX ve CGI: Üretken sinir ağları yerine standart 3D modelleme, animasyon iş akışları veya foley çalışmalarıyla oluşturulan bilgisayar üretimi görüntüler ya da ses efektleri.
• Üretken Olmayan Ayarlamalar: Fotoğraf filtreleri, renk düzenleme, keskinleştirme, kırpma, hız ayarlamaları (hızlandırılmış/ağır çekim) veya temel ses eşitleme (EQ) ve gürültü azaltma.

Ayrıca üretken yapay zeka alanı hızla geliştiğinden, en son güncellememizden sonra yayımlanan modellerle oluşturulan içeriklerin tespiti, bu araçlar eğitim veri kümelerimize dahil edilene kadar daha az tutarlı olabilir. Bunun yanı sıra, bazı son derece özel manipülasyonlar (belirli yüz değiştirme uygulamaları veya yapay zeka ile müzik üretimi gibi) şu anda aktif araştırma ve geliştirme çalışmalarımızın bir parçasıdır ve bu sürümde tam olarak kapsanmayabilir.

Ses Dedektörünün konuşmadaki yapay zeka kullanımını tespit etmek üzere tasarlandığını belirtmek gerekir; diğer kullanım senaryolarında (yapay zeka ile üretilmiş müzik gibi) yukarıda gösterilen değerlere benzer doğruluk seviyeleri beklenmemelidir.

Tespit motorlarımızı sürekli geliştirmeye kendimizi adadık. Görüşleriniz, dijital özgünlüğü güvence altına alma misyonumuzda kritik bir rol oynar. Desteklenmesini istediğiniz belirli bir yapay zeka modeli, ses klonlama aracı veya yeni ortaya çıkan bir manipülasyon tekniğiyle karşılaşırsanız, gelecek geliştirme döngülerimizde önceliklendirebilmemiz için geri bildiriminizi bizimle paylaşmanızı içtenlikle rica ederiz.