Kaynak

Copyleaks'nin Doğruluğunun Değerlendirilmesi Yapay Zeka Dedektörü

Adım Adım Metodoloji

Sorumlu kullanım ve benimsenmesini sağlamak için, Yapay Zeka Algılayıcımızın doğruluğu, yanlış pozitif ve yanlış negatif oranları, iyileştirme alanları ve daha fazlası hakkında tam şeffaflığın her zamankinden daha önemli olduğuna inanıyoruz. Bu kapsamlı analiz, Yapay Zeka Algılayıcımızın V10 model test metodolojisi konusunda tam şeffaflık sağlamayı amaçlamaktadır.

Sınav tarihi: 16 Ekim 2025

Yayın tarihi: 12 Kasım 2025

Test edilen model: V10

Üçüncü taraf çalışmalarını görüntüleyin

Metodoloji

Copyleaks Veri Bilimi ve Kalite Güvence ekipleri, tarafsız ve doğru sonuçlar sağlamak için testleri bağımsız olarak gerçekleştirdi. Test verileri, eğitim verilerinden farklıydı ve daha önce yapay zeka tespiti için Yapay Zeka Algılayıcısına gönderilmiş hiçbir içerik içermiyordu.

Test verileri, doğrulanmış veri kümelerinden elde edilen insan eliyle yazılmış metinlerden ve çeşitli yapay zeka modellerinden yapay zeka tarafından oluşturulan metinlerden oluşuyordu. Test, Copyleaks API ile gerçekleştirildi.

Metrikler

Metrikler arasında, doğru ve yanlış metin tanımlama oranına dayanan genel doğruluk ve gerçek pozitif oranlarını (TPR) ve yanlış pozitif oranlarını (FPR) inceleyen ROC-AUC (Alıcı Çalışma Karakteristiği - Eğri Altındaki Alan) yer alır. Ek metrikler arasında F1 puanı, gerçek negatif oran (TNR) ve karışıklık matrisleri bulunur.

Sonuçlar

Yapılan testler, AI Detector'ın düşük yanlış pozitif oranını korurken insan tarafından yazılmış metin ile AI tarafından oluşturulmuş metin arasında ayrım yapmada yüksek bir algılama doğruluğu gösterdiğini doğrulamaktadır.

Değerlendirme Süreci

Çift departmanlı bir sistem kullanarak, değerlendirme sürecimizi en üst düzey kalite, standartlar ve güvenilirliği sağlayacak şekilde tasarladık. Modeli değerlendiren iki bağımsız departmanımız var: veri bilimi ve kalite güvence ekipleri. Her departman kendi değerlendirme verileri ve araçlarıyla bağımsız olarak çalışır ve diğerinin değerlendirme sürecine erişimi yoktur. Bu ayrım, değerlendirme sonuçlarının tarafsız, objektif ve doğru olmasını sağlarken, modelimizin performansının tüm olası boyutlarını da yakalar. Ayrıca, test verilerinin eğitim verilerinden ayrı olduğunu ve modellerimizi yalnızca daha önce görmedikleri yeni veriler üzerinde test ettiğimizi unutmamak önemlidir.

Metodoloji

Copyleaks'nin Kalite Güvence ve Veri Bilimi ekipleri, bağımsız olarak çeşitli test veri kümeleri toplamıştır. Her test veri kümesi, sınırlı sayıda metinden oluşur. Her veri kümesinin beklenen etiketi (belirli bir metnin bir insan tarafından mı yoksa yapay zeka tarafından mı yazıldığını gösteren bir işaret), verinin kaynağına göre belirlenir. İnsan metinleri, modern üretken yapay zeka sistemlerinin ortaya çıkışından önce veya daha sonra ekip tarafından tekrar doğrulanan diğer güvenilir kaynaklar tarafından yayınlanan metinlerden toplanmıştır. Yapay zeka tarafından oluşturulan metinler ise çeşitli üretken yapay zeka modelleri ve teknikleri kullanılarak oluşturulmuştur.

Testler Copyleaks API'sine göre yürütüldü. Hedef etikete göre her metin için API çıktısının doğru olup olmadığı kontrol edildi ve ardından puanlar birleştirilerek karışıklık matrisi hesaplandı.

Sonuçlar: Veri Bilimi Ekibi

Veri Bilimi ekibi aşağıdaki bağımsız testi gerçekleştirdi:

  • Metinlerin dili İngilizce olup, çeşitli LLM'lerden toplam 300.000 insan yazısı metin ve 200.000 yapay zeka tarafından oluşturulmuş metin test edildi.
  • Metin uzunlukları değişiklik gösterebilir, ancak veri kümeleri yalnızca 350 karakterden (ürünümüzün kabul ettiği minimum karakter sayısı) daha uzun metinler içerir.

Değerlendirme Metrikleri

Bu metin sınıflandırma görevinde kullanılan ölçütler şunlardır:

1. Karışıklık Matrisi: TP (gerçek pozitifler), FP (yanlış pozitifler), TN (gerçek negatifler) ve FN (yanlış negatifler) değerlerini gösteren tablo.

2. Doğruluk: Gerçek sonuçların (hem gerçek pozitifler hem de gerçek negatifler) oranı toplam metin sayısı kontrol edildi.

3. Gerçek Negatif Oran (TNR): Gerçek olumsuz durumların oranı tüm tahminler olumsuz mu?.

Yapay zeka tespiti bağlamında TNR, modelin insan metinleri üzerindeki doğruluğudur.

4. (TPR) ayrıca Geri Çağırma olarak da bilinir: Gerçek pozitif sonuçların oranı tüm gerçek tahminler.

Yapay zeka tespiti bağlamında TPR, modelin yapay zeka tarafından oluşturulan metinler üzerindeki doğruluğudur.

5.  F-beta Puanı: bu Hassasiyet ve geri çağırma arasındaki ağırlıklı harmonik ortalama, hassasiyeti daha fazla öne çıkarır (daha düşük Yanlış Pozitif Oranını tercih etmek istediğimiz için).

Birleştirilmiş Yapay Zeka ve İnsan Veri Kümeleri

Veri Kümesinin Adı Metin sayısı İnsan metinlerinin sayısı AI metinlerinin sayısı TPR TNR F-beta(0,5)
Düşmanca saldırılar ve özel araçlar da dahil olmak üzere dahili ekstra sert veri kümeleri 500,000 300,000 200,000 0.988 0.999 0.997

Sonuçlar: QA Ekibi

QA ekibi aşağıdaki bağımsız testi gerçekleştirdi:

  • Metinlerin dili İngilizce olup, çeşitli hukuk yüksek lisans programlarından toplam 229.843 adet insan yazısı metin ve 18.712 adet yapay zeka tarafından oluşturulmuş metin test edildi.
  • Metin uzunlukları değişiklik gösterebilir, ancak veri kümeleri yalnızca 350 karakterden (ürünümüzün kabul ettiği minimum karakter sayısı) daha uzun metinler içerir.

Yalnızca İnsanlara Yönelik Veri Kümeleri

Veri Kümesinin Adı Metin sayısı İnsan olarak doğru bir şekilde tanımlandı Yanlışlıkla AI olarak tanımlandı Kesinlik
Genel metinler 9,979 9,979 0 1
Makaleler, haberler, bloglar, sosyal paylaşımlar 9,991 9,982 9 0.9991
İnternet Web Sayfaları Veri Seti 99,921 99,918 3 0.9999
Öğrenci denemeleri 10,000 9,998 2 0.9998
Akademik makaleler 99,952 99,906 46 0.9995
Toplam: 229,843 229,783 60 0.9997

Yalnızca Yapay Zeka Veri Kümeleri

Veri Kümesinin Adı Metin sayısı Yanlışlıkla İnsan olarak tanımlandı AI olarak doğru bir şekilde tanımlandı Kesinlik
OpenAI ailesi modelleri - diğer modeller 12,880 129 12,751 0.9899
GPT-5 1,207 11 1,196 0.9909
İkizler aile modelleri 1,978 7 1,971 0.9964
Claude ailesi modelleri 1,072 1 1,071 0.9991
Grok ailesi modelleri 1,575 0 1,575 1
Toplam: 18,712 148 18,564 0.992

*Model sürümleri zamanla değişebilir. Metinler, yukarıdaki yapay zeka şirketlerinin mevcut model sürümleri kullanılarak oluşturulmuştur.

Hassasiyet Seviyeleri

v7.1 sürümünden bu yana, yapay zeka algılama modeli için 3 hassasiyet seviyemiz bulunmaktadır. İşte v10 modelinin hassasiyet seviyelerine ilişkin test sonuçları.

İD Hassasiyet Tanım Yanlış Pozitifler Yanlış Negatifler
1 Ekstra Güvenli Ek yapay zeka algılama tabanlı filtreler kullanılarak yanlış pozitifleri en aza indirecek şekilde tasarlanmıştır.

Hiçbir insan müdahalesi olmadan yapay zeka tarafından oluşturulan metinleri tespit etmek için idealdir.		 0.009% 1.36%
2 Dengeli (varsayılan -
bu versiyon
gösterilen
(yukarıdaki sonuçlar)		 Yanlış pozitifleri en aza indirerek yapay zeka içeriklerini tespit etmek için idealdir.

İnsan eliyle orta düzeyde değiştirilmiş yapay zeka destekli metinleri tespit etmek için idealdir.		 0.026% 0.79%
3 Ekstra Hassas En hassas modelimiz, "insanlaştırıcı" veya metin döndürücüden geçirilen yapay zeka metinlerini işaretlemek için tasarlandı. 0.05% 0.53%

Gerçek Pozitifler (AI metinleri) ve Gerçek Negatifler (İnsan metinleri) Hassasiyet Düzeyine Göre Doğruluk

gerçek pozitifler
gerçek olumsuzluklar
100.00% 99.50% 99.00% 98.50% 98.00%
98.64%
99.99%
Minimum Yanlış Pozitif (duyarlılık 1)
99.21%
99.97%
Dengeli (hassasiyet 2)
99.47%
99.95%
Ekstra hassas (hassasiyet 3)
Hassasiyet

İnsan ve Yapay Zeka Metin Hatası Analizi

Değerlendirme sürecinde, model tarafından yapılan hatalı değerlendirmeleri tespit edip analiz ettik ve veri bilimi ekibinin altta yatan nedenleri düzeltmesini sağlayacak ayrıntılı bir rapor hazırladık. Bu, hatalı değerlendirmeleri veri bilimi ekibine ifşa etmeden gerçekleştirilir. Tüm hatalar, altta yatan nedenleri anlamayı ve tekrarlayan kalıpları tespit etmeyi amaçlayan bir "kök neden analizi süreci" kapsamında sistematik olarak kaydedilir ve karakterlerine ve yapılarına göre kategorilere ayrılır. Bu süreç sürekli devam eder ve modelimizin zaman içinde sürekli iyileştirilmesini ve uyarlanabilirliğini sağlar.

Böyle bir testin bir örneği şudur: analizimiz V4 modelimizi kullanarak 2013-2024 yılları arasındaki internet verilerinden örnekler topladık. Yapay zeka sistemlerinin piyasaya sürülmesinden önce, 2013-2020 yılları arasında tespit edilen tüm yanlış pozitifleri kullanarak, 2013'ten başlayarak her yıldan 1 milyon metin örneği aldık ve modeli daha da iyileştirmeye yardımcı olduk.

20 bin
15 bin
10 bin
5 bin
0
AI olarak işaretlenen metin sayısı
0
2013
2
2014
3
2015
1
2016
0
2017
2
2018
1
2019
2
2020
34
2021
48
2022
579
2023
15,101
2024
Yıl

Nasıl olduğuna benzer dünya çapında araştırmacılar Yeteneklerini ve sınırlamalarını ölçmek için farklı yapay zeka dedektör platformlarını test ettik ve etmeye devam ediyoruz. Kullanıcılarımızı gerçek dünya testleri yapmaya teşvik ediyoruz. Sonuç olarak, yeni modeller piyasaya sürüldükçe, test metodolojilerini, doğruluğu ve dikkat edilmesi gereken diğer önemli hususları paylaşmaya devam edeceğiz.