Kaynak

Copyleaks'nin Doğruluğunun Değerlendirilmesi Yapay Zeka Dedektörü

Adım Adım Metodoloji

Sınav tarihi: 20 Ekim 2024

Yayın tarihi: 19 Kasım 2024

Test edilen model: Sürüm 7.1

AI Detector'ın tamamen şeffaf olmasının her zamankinden daha önemli olduğuna inanıyoruz doğruluk, yanlış pozitif ve yanlış negatif oranları, iyileştirme alanları ve daha fazlası sorumlu kullanım ve benimsemeyi sağlamak için. Bu kapsamlı analiz, AI Detector'ımızın V7.1 model test metodolojisi etrafında tam şeffaflık sağlamayı amaçlamaktadır.

Metodoloji

Copyleaks Veri Bilimi ve QA ekipleri tarafsız ve doğru sonuçlar sağlamak için bağımsız olarak testler gerçekleştirdi. Test verileri eğitim verilerinden farklıydı ve daha önce AI Detector'a AI tespiti için gönderilmiş hiçbir içerik içermiyordu.

Test verileri, doğrulanmış veri kümelerinden kaynaklanan insan tarafından yazılmış metinlerden ve çeşitli AI modellerinden AI tarafından oluşturulan metinlerden oluşuyordu. Test, Copyleaks API ile gerçekleştirildi.

Metrikler

Metrikler arasında doğru ve yanlış metin tanımlama oranına dayalı genel doğruluk, F1 puanı, gerçek negatif oranı (TNR), gerçek pozitif oranı (TPR), doğruluk ve karışıklık matrisleri yer almaktadır.

Sonuçlar

Yapılan testler, AI Detector'ın insan tarafından yazılan metin ile AI tarafından oluşturulan metin arasında ayrım yapmada yüksek bir algılama doğruluğu gösterdiğini ve düşük yanlış pozitif oranını koruduğunu doğruluyor.

Değerlendirme Süreci

Çift departmanlı bir sistem kullanarak, değerlendirme sürecimizi en üst düzey kalite, standartlar ve güvenilirliği garanti altına alacak şekilde tasarladık. Modeli değerlendiren iki bağımsız departmanımız var: veri bilimi ve QA ekipleri. Her departman kendi değerlendirme verileri ve araçlarıyla bağımsız olarak çalışır ve diğerinin değerlendirme sürecine erişimi yoktur. Bu ayrım, değerlendirme sonuçlarının tarafsız, objektif ve doğru olmasını sağlarken modelimizin performansının tüm olası boyutlarını yakalar. Ayrıca, test verilerinin eğitim verilerinden ayrıldığını ve modellerimizi yalnızca geçmişte görmedikleri yeni veriler üzerinde test ettiğimizi belirtmek önemlidir.

Metodoloji

Copyleaks' QA ve Veri Bilimi ekipleri bağımsız olarak çeşitli test veri kümeleri topladı. Her test veri kümesi sınırlı sayıda metinden oluşur. Her veri kümesinin beklenen etiketi (belirli bir metnin bir insan tarafından mı yoksa yapay zeka tarafından mı yazıldığını gösteren bir işaretleyici) verinin kaynağına göre belirlenir. İnsan metinleri, modern üretken yapay zeka sistemlerinin ortaya çıkmasından önce veya daha sonra ekip tarafından tekrar doğrulanan diğer güvenilir kaynaklar tarafından yayınlanan metinlerden toplandı. Yapay zeka tarafından oluşturulan metinler, çeşitli üretken yapay zeka modelleri ve teknikleri kullanılarak oluşturuldu.

Testler Copyleaks API'sine karşı yürütüldü. API'nin çıktısının hedef etikete göre her metin için doğru olup olmadığını kontrol ettik ve ardından karışıklık matrisini hesaplamak için puanları topladık.

Sonuçlar: Veri Bilimi Ekibi

Veri Bilimi ekibi aşağıdaki bağımsız testi gerçekleştirdi: 

  • Metinlerin dili İngilizce idi ve toplamda çeşitli LLM'lerden 300.000 insan tarafından yazılmış metin ve 200.000 yapay zeka tarafından oluşturulmuş metin test edildi.. 

     

  • Metin uzunlukları değişebilir, ancak veri kümeleri yalnızca 350 karakterden (ürünümüzün kabul ettiği minimum değer) daha uzun metinleri içerir.

Değerlendirme Ölçütleri

Bu metin sınıflandırma görevinde kullanılan ölçütler şunlardır:

1. Karışıklık matrisi: TP (gerçek pozitifler), FP (yanlış pozitifler), TN (gerçek negatifler) ve FN (yanlış negatifler) değerlerini gösteren tablo.

2. Doğruluk: Gerçek sonuçların (hem gerçek pozitifler hem de gerçek negatifler) oranı toplam metin sayısı kontrol edildi.

3. TNR: Doğru negatif tahminlerin oranı tüm olumsuz tahminler.

Yapay zeka tespiti bağlamında TNR, modelin insan metinleri üzerindeki doğruluğudur.

4. TPR (Geri Çağırma olarak da bilinir): Gerçek pozitif sonuçların oranı tüm gerçek tahminler.

Yapay zeka tespiti bağlamında TPR, modelin yapay zeka tarafından oluşturulan metinlerdeki doğruluğudur.

5. F-beta Puanı: hassasiyet ve geri çağırma arasındaki ağırlıklı harmonik ortalama, hassasiyeti daha fazla destekler (daha düşük bir Yanlış Pozitif Oranı'nı desteklemek istediğimiz için).

6. ROC-AUC: Değerlendirme Pazarlıksız TPR ve FPR arasında.

Birleştirilmiş Yapay Zeka ve İnsan Veri Setleri

birleştirilmiş veri kümeleri

Sonuçlar: QA Ekibi

QA ekibi aşağıdaki bağımsız testi gerçekleştirdi:

  • Metinlerin dili İngilizce idi ve toplamda çeşitli LLM'lerden 220.000 insan tarafından yazılmış metin ve 170.000 yapay zeka tarafından oluşturulmuş metin test edildi..

 

  • Metin uzunlukları değişebilir, ancak veri kümeleri yalnızca 350 karakterden (ürünümüzün kabul ettiği minimum değer) daha uzun metinleri içerir.

Yalnızca İnsanlara Yönelik Veri Kümeleri

Yalnızca insanlara yönelik veri kümeleri

Yalnızca AI Veri Kümeleri

*Model sürümleri zamanla değişebilir. Metinler, yukarıdaki üretken AI modellerinin mevcut sürümlerinden biri kullanılarak oluşturulmuştur.

Hassasiyet Seviyeleri

v7.1 modelinde AI-tespit modeli için 3 hassasiyet seviyesi tanıttık. İşte test sonuçları:

Hassasiyet Seviyeleri

Gerçek Pozitifler (AI metinleri) ve Gerçek Negatifler (İnsan metinleri) Hassasiyete Göre Doğruluk

Hassasiyet seviyesi testi

İnsan ve Yapay Zeka Metin Hatası Analizi

Değerlendirme süreci boyunca, model tarafından yapılan yanlış değerlendirmeleri tanımlayıp analiz ettik ve veri bilimi ekibinin altta yatan nedenleri düzeltmesini sağlayacak ayrıntılı bir rapor oluşturduk. Bu, yanlış değerlendirmeleri veri bilimi ekibine ifşa etmeden yapılır. Tüm hatalar sistematik olarak kaydedilir ve altta yatan nedenleri anlamayı ve tekrarlanan kalıpları belirlemeyi amaçlayan bir "kök neden analizi süreci"nde karakterlerine ve doğalarına göre kategorilere ayrılır. Bu süreç her zaman devam eder ve modelimizin zaman içinde sürekli iyileştirilmesini ve uyarlanabilirliğini sağlar.


Böyle bir testin bir örneği şudur: analizimiz V4 modelimizi kullanarak 2013 - 2024 yılları arasındaki internet verilerinden. AI sistemlerinin piyasaya sürülmesinden önce, 2013-2020 yılları arasında tespit edilen tüm yanlış pozitifleri kullanarak, 2013'ten başlayarak her yıldan 1 milyon metin örneği aldık ve modeli daha da iyileştirmeye yardımcı olduk.

Nasıl olduğuna benzer Dünya çapında araştırmacılar Farklı AI dedektör platformlarını yeteneklerini ve sınırlamalarını ölçmek için test ettik ve etmeye devam ediyoruz, kullanıcılarımızı gerçek dünya testleri yapmaya tamamen teşvik ediyoruz. Sonuç olarak, yeni modeller piyasaya sürüldükçe, test metodolojilerini, doğruluğu ve farkında olunması gereken diğer önemli hususları paylaşmaya devam edeceğiz.