Kaynak

Copyleaks'nin Doğruluğunun Değerlendirilmesi Yapay Zeka Dedektörü

Adım Adım Metodoloji

Sorumlu kullanım ve benimsemeyi sağlamak için, AI Dedektörünün doğruluğu, yanlış pozitif ve yanlış negatif oranları, iyileştirme alanları ve daha fazlası hakkında tam şeffaflık sağlamanın her zamankinden daha önemli olduğuna inanıyoruz. Bu kapsamlı analiz, AI Dedektörümüzün V10 model test metodolojisi konusunda tam şeffaflık sağlamayı amaçlamaktadır.

Sınav tarihi: 16 Ekim 2025

Yayın tarihi: 12 Kasım 2025

Test edilen model: V10

Üçüncü taraf çalışmalarını görüntüleyin

Metodoloji

Copyleaks Veri Bilimi ve Kalite Güvence ekipleri, tarafsız ve doğru sonuçlar sağlamak için testleri bağımsız olarak gerçekleştirdi. Test verileri, eğitim verilerinden farklıydı ve daha önce yapay zeka tespiti için Yapay Zeka Algılayıcısına gönderilmiş hiçbir içerik içermiyordu.

Test verileri, doğrulanmış veri kümelerinden elde edilen insan eliyle yazılmış metinlerden ve çeşitli yapay zeka modellerinden yapay zeka tarafından oluşturulan metinlerden oluşuyordu. Test, Copyleaks API ile gerçekleştirildi.

Metrikler

Ölçümler arasında, doğru ve yanlış metin tanımlama oranına dayalı genel doğruluk ve gerçek pozitif oranlarını (TPR) ve yanlış pozitif oranlarını (FPR) inceleyen ROC-AUC (Alıcı İşletim Karakteristiği – Eğri Altındaki Alan) yer almaktadır. Ek ölçümler arasında F1 puanı, gerçek negatif oranı (TNR) ve karışıklık matrisleri bulunmaktadır.

Sonuçlar

Yapılan testler, AI Detector'ın düşük yanlış pozitif oranını korurken insan tarafından yazılmış metin ile AI tarafından oluşturulmuş metin arasında ayrım yapmada yüksek bir algılama doğruluğu gösterdiğini doğrulamaktadır.

Değerlendirme Süreci

Çift departmanlı bir sistem kullanarak, en üst düzey kalite, standartlar ve güvenilirliği sağlamak için değerlendirme sürecimizi tasarladık. Modeli değerlendiren iki bağımsız departmanımız var: veri bilimi ve kalite güvence ekipleri. Her departman kendi değerlendirme verileri ve araçlarıyla bağımsız olarak çalışır ve diğerinin değerlendirme sürecine erişimi yoktur. Bu ayrım, değerlendirme sonuçlarının tarafsız, objektif ve doğru olmasını sağlarken, modelimizin performansının tüm olası boyutlarını yakalamayı da garanti eder. Ayrıca, test verilerinin eğitim verilerinden ayrı tutulduğunu ve modellerimizi yalnızca daha önce görmedikleri yeni veriler üzerinde test ettiğimizi belirtmek önemlidir.

Metodoloji

Copyleaks'nin Kalite Güvence ve Veri Bilimi ekipleri, birbirinden bağımsız olarak çeşitli test veri kümeleri topladı. Her test veri kümesi, sınırlı sayıda metinden oluşmaktadır. Her veri kümesinin beklenen etiketi (belirli bir metnin insan tarafından mı yoksa yapay zeka tarafından mı yazıldığını gösteren bir işaretleyici), verinin kaynağına göre belirlenir. İnsan tarafından yazılan metinler, modern üretken yapay zeka sistemlerinin yükselişinden önce veya daha sonra ekip tarafından tekrar doğrulanan diğer güvenilir kaynaklardan toplanan metinlerden elde edilmiştir. Yapay zeka tarafından üretilen metinler ise çeşitli üretken yapay zeka modelleri ve teknikleri kullanılarak oluşturulmuştur.

Testler Copyleaks API'sine karşı gerçekleştirildi. API'nin çıktısının hedef etikete göre her metin için doğru olup olmadığını kontrol ettik ve ardından karışıklık matrisini hesaplamak için puanları topladık.

Sonuçlar: Veri Bilimi Ekibi

Veri Bilimi ekibi aşağıdaki bağımsız testi gerçekleştirdi:

  • Metinlerin dili İngilizceydi ve toplamda 300.000 insan tarafından yazılmış metin ile çeşitli dil öğrenme ortamlarından (LLM) 200.000 yapay zeka tarafından üretilmiş metin test edildi.
  • Metin uzunlukları değişiklik gösterse de, veri kümeleri yalnızca ürünümüzün kabul ettiği minimum uzunluk olan 350 karakterden daha uzun metinler içermektedir.

Değerlendirme Metrikleri

Bu metin sınıflandırma görevinde kullanılan ölçütler şunlardır:

1. Karışıklık Matrisi: Doğru pozitifleri (TP), yanlış pozitifleri (FP), doğru negatifleri (TN) ve yanlış negatifleri (FN) gösteren bir tablo.

2. Doğruluk: Doğru sonuçların (hem doğru pozitiflerin hem de doğru negatiflerin) oranı toplam metin sayısı kontrol edildi.

3. Gerçek Negatif Oran (TNR): Gerçek olumsuz durumların oranı tüm olumsuz tahminler.

Yapay zekâ tabanlı tespit bağlamında, TNR, modelin insan metinleri üzerindeki doğruluğunu ifade eder.

4. (TPR) diğer adıyla Geri Çağırma: Gerçek pozitif sonuçların oranı tüm gerçek tahminler.

Yapay zekâ tespiti bağlamında, TPR, modelin yapay zekâ tarafından üretilen metinler üzerindeki doğruluğunu ifade eder.

5.  F-beta Puanı: bu Hassasiyet ve geri çağırma arasında ağırlıklı harmonik ortalama alınarak, yanlış pozitif oranını düşürmek istediğimiz için hassasiyete daha fazla önem verilir.

Birleştirilmiş Yapay Zeka ve İnsan Veri Kümeleri

Veri Kümesinin Adı Metin sayısı İnsan metinlerinin sayısı Yapay zeka metinlerinin sayısı TPR TNR F-beta(0.5)
Düşman saldırıları ve özel araçlar da dahil olmak üzere, dahili son derece zorlu veri kümeleri. 500,000 300,000 200,000 0.988 0.999 0.997

Sonuçlar: QA Ekibi

QA ekibi aşağıdaki bağımsız testi gerçekleştirdi:

  • Metinlerin dili İngilizceydi ve toplamda çeşitli dil öğrenme ortamlarından 229.843 insan tarafından yazılmış metin ve 18.712 yapay zeka tarafından üretilmiş metin test edildi.
  • Metin uzunlukları değişiklik gösterse de, veri kümeleri yalnızca ürünümüzün kabul ettiği minimum uzunluk olan 350 karakterden daha uzun metinler içermektedir.

Yalnızca İnsanlara Yönelik Veri Kümeleri

Veri Kümesinin Adı Metin sayısı İnsan olarak doğru şekilde tanımlandı. Yanlışlıkla yapay zeka olarak tanımlandı Kesinlik
Genel metinler 9,979 9,979 0 1
Makaleler, haberler, bloglar, sosyal medya paylaşımları 9,991 9,982 9 0.9991
İnternet Web Sayfaları Veri Kümesi 99,921 99,918 3 0.9999
Öğrenci denemeleri 10,000 9,998 2 0.9998
Bilimsel makaleler 99,952 99,906 46 0.9995
Toplam: 229,843 229,783 60 0.9997

Yalnızca Yapay Zeka Veri Kümeleri

Veri Kümesinin Adı Metin sayısı İnsan olarak yanlış tanımlandı Yapay zeka olarak doğru şekilde tanımlandı. Kesinlik
OpenAI ailesi modelleri - diğer modeller 12,880 129 12,751 0.9899
GPT-5 1,207 11 1,196 0.9909
Gemini ailesi modelleri 1,978 7 1,971 0.9964
Claude ailesi modelleri 1,072 1 1,071 0.9991
Grok ailesi modelleri 1,575 0 1,575 1
Toplam: 18,712 148 18,564 0.992

*Model sürümleri zamanla değişebilir. Metinler, yukarıdaki yapay zeka şirketlerinin mevcut model sürümleri kullanılarak oluşturulmuştur.

Hassasiyet Seviyeleri

7.1 sürümünden beri yapay zeka algılama modeli için 3 hassasiyet seviyesi bulunmaktadır. İşte 10. sürüm modelinin hassasiyet seviyelerine ait test sonuçları.

İD Hassasiyet Tanım Yanlış Pozitifler Yanlış Negatifler
1 Ekstra Güvenli Ek yapay zeka tabanlı tespit filtreleri kullanarak yanlış pozitifleri en aza indirgemek üzere tasarlanmıştır.

Yapay zeka tarafından oluşturulan metinleri minimum insan müdahalesiyle tespit etmek için idealdir.		 0.009% 1.36%
2 Dengeli (varsayılan -
Bu, sürüm.
bu, şurada gösterilmiştir
(Yukarıdaki sonuçlar)		 Yanlış pozitifleri en aza indirirken yapay zeka içeriklerini tespit etmek için idealdir.

Orta düzeyde insan müdahalesi içeren yapay zeka tarafından oluşturulmuş metinleri tespit etmek için uygundur.		 0.026% 0.79%
3 Ekstra Hassas En hassas modelimiz, "insanlaştırıcı" veya metin döndürücüden geçirilmiş yapay zeka metinlerini işaretlemek üzere tasarlanmıştır. 0.05% 0.53%

Gerçek Pozitifler (AI metinleri) ve Gerçek Negatifler (İnsan metinleri) Hassasiyet Düzeyine Göre Doğruluk

gerçek pozitifler
gerçek negatifler
100.00% 99.50% 99.00% 98.50% 98.00%
98.64%
99.99%
Minimum Yanlış Pozitif Sayısı (duyarlılık 1)
99.21%
99.97%
Dengeli (hassasiyet 2)
99.47%
99.95%
Ekstra hassas (hassasiyet 3)
Hassasiyet

İnsan ve Yapay Zeka Metin Hatası Analizi

Değerlendirme sürecinde, model tarafından yapılan hatalı değerlendirmeleri belirledik ve analiz ettik; veri bilimi ekibinin altta yatan nedenleri düzeltmesini sağlayacak ayrıntılı bir rapor oluşturduk. Bu işlem, hatalı değerlendirmeleri veri bilimi ekibine ifşa etmeden gerçekleştirilir. Tüm hatalar, altta yatan nedenleri anlamayı ve tekrarlanan kalıpları belirlemeyi amaçlayan bir "kök neden analizi süreci" içinde, niteliklerine ve doğalarına göre sistematik olarak kaydedilir ve kategorize edilir. Bu süreç sürekli devam ederek, modelimizin zaman içinde sürekli iyileştirilmesini ve uyarlanabilirliğini sağlar.

Böyle bir testin bir örneği şudur: analizimiz V4 modelimizi kullanarak 2013-2024 yılları arasındaki internet verilerinden örnekler topladık. Yapay zeka sistemlerinin piyasaya sürülmesinden önce, 2013-2020 yılları arasında tespit edilen tüm yanlış pozitifleri kullanarak, 2013'ten başlayarak her yıldan 1 milyon metin örneği aldık ve modeli daha da iyileştirmeye yardımcı olduk.

20 bin
15 bin
10 bin
5k
0
Yapay zeka olarak işaretlenen metinlerin sayısı
0
2013
2
2014
3
2015
1
2016
0
2017
2
2018
1
2019
2
2020
34
2021
48
2022
579
2023
15,101
2024
Yıl

Nasıl olduğuna benzer dünya çapında araştırmacılar Yeteneklerini ve sınırlamalarını ölçmek için farklı yapay zeka dedektör platformlarını test ettik ve etmeye devam ediyoruz. Kullanıcılarımızı gerçek dünya testleri yapmaya teşvik ediyoruz. Sonuç olarak, yeni modeller piyasaya sürüldükçe, test metodolojilerini, doğruluğu ve dikkat edilmesi gereken diğer önemli hususları paylaşmaya devam edeceğiz.