تقييم دقة عملية مراجعة النصوص المسربة

تم إخضاع نموذج Copyleaks Text Moderation Model v1 لتقييم ثنائي الفريق أعمى على ما مجموعه 120,000 نص إنجليزي (50٪ منتهك، 50٪ غير منتهك) تم فصلها تمامًا عن مجموعة بيانات التدريب.

يُظهر التقييم أن النموذج قادر على تحديد المحتوى الضار بدقة عالية جدًا، بينما نادرًا ما يُشير إلى النصوص البريئة.

عندما تمت معالجة مجموعة البيانات المتطابقة من خلال ثلاث واجهات برمجة تطبيقات تجارية رائدة في مجال الإشراف (OpenAI وAzure وGoogle) عند عتباتها الافتراضية، أنتجت Copyleaks عددًا أقل من النتائج الإيجابية الخاطئة والنتائج السلبية الخاطئة، مع ميزة تتراوح بين 4% و30% عبر المقاييس الرئيسية.

الأرقام الرئيسية (مجموعة اختبار ضمان الجودة، N = 20000)

• الدقة: 99.23%
• الدقة: 99.97% (3 نتائج إيجابية خاطئة في 10000 نص غير مخالف)
• نسبة الاستدعاء (TPR): 98.48%
• قيمة F-Beta(0.5): 99.67%

أُجري تقييم ثنائي الفريق، دون معرفة مسبقة بالنتائج، للحصول على صورة موضوعية لأداء النموذج. عمل فريقا علوم البيانات وضمان الجودة بشكل منفصل تمامًا، باستخدام أجهزة وبرامج نصية مختلفة، ودون أي بيانات مشتركة.

تم استخدام التعريفات التالية لفئات الاعتدال:

1. للبالغين : أوصاف أو إشارات أو تصويرات صريحة لأفعال أو سلوكيات جنسية تهدف إلى إثارة الشهوة الجنسية.
   
   
2. سام : لغة مؤذية تُهين أو تُحط من قدر شخص ما أو تُحط من قدره بشكل عام، وليس بالضرورة موجهة لشخص معين. ويشمل ذلك أي لغة تهدف إلى إلحاق الأذى النفسي.
   
   
3. عنيف : لغة تحرض على الأذى الجسدي أو الإصابة أو تمجدها.
   
   
4. الألفاظ النابية : استخدام كلمات بذيئة قوية أو مسيئة.
   
   
5. إيذاء النفس : إشارات تشجع أو تجعل السلوك المؤذي للنفس أمراً طبيعياً.
   
   
6. التحرش : إساءة موجهة تهين أو تحط من قدر شخص أو مجموعة معينة، مع التركيز على السمات الشخصية أو المعتقدات.
   
   
7. خطاب الكراهية : لغة تشوه صورة مجموعة أو فرد أو تحرض على إلحاق الأذى بهما بناءً على سمات متأصلة، وغالباً ما تدعو إلى العنف أو التمييز المنهجي.
   
   
8. استخدام المخدرات : الإشارات أو الأوصاف أو التأييدات لاستخدام المخدرات أو إساءة استخدامها أو توزيعها في سياق ضار، بما في ذلك المواد غير المشروعة أو إساءة استخدام الأدوية القانونية.
   
   
9. الأسلحة النارية : المحتوى الذي يناقش استخدام أو حيازة أو توزيع الأسلحة النارية وغيرها من الأسلحة، وخاصة عندما يمكن أن تؤدي هذه المناقشات إلى تعزيز أو التسبب في العنف أو الممارسات غير الآمنة.
   
   
10. الأمن السيبراني : محتوى متعلق بأمن الحاسوب، بما في ذلك مناقشات حول القرصنة، وانتهاكات البيانات، وتدابير اختراق الأنظمة الرقمية أو الحصول على وصول غير مصرح به.
    
    
11. أخرى : أي محتوى آخر يعتبر غير لائق أو ضار أو مسيء ولا يشمله التصنيف المذكور أعلاه.

المقاييس المستخدمة في مهمة الإشراف على النصوص هذه هي:

1. مصفوفة الارتباك : جدول يلخص أداء النموذج، ويعرض ما يلي:

1. 1. الإيجابيات الحقيقية (TP) : النصوص المخالفة التي تم تحديدها بشكل صحيح على أنها بحاجة إلى مراجعة.
   2. النتائج الإيجابية الخاطئة (FP) : نصوص غير مخالفة تم تحديدها بشكل خاطئ على أنها بحاجة إلى مراجعة.
   3. النتائج السلبية الصحيحة (TN) : النصوص غير المخالفة التي تم تحديدها بشكل صحيح على أنها لا تحتاج إلى مراجعة.
   4. النتائج السلبية الخاطئة (FN) : النصوص المخالفة التي تم تحديدها بشكل خاطئ على أنها لا تحتاج إلى مراجعة.

• نطاق اللغة: يغطي هذا النموذج وتقييمه اللغة الإنجليزية فقط.
  
  
• نطاق السياق: تتم عملية المراجعة على "مقطع" واحد في كل مرة، حيث يُعرَّف المقطع بأنه جزء نصي مستقل يحتوي على عدد محدد من الكلمات. لا يحتفظ النظام بأي ذاكرة عبر المقاطع أو الفصول أو أدوار المحادثة؛ لذا قد تُفقد إشارات مثل "كما أوضحنا سابقًا" أو الضمائر التي تعتمد على سياق سابق.
  
  
• نطاق الوسائط: يقوم هذا المنتج بتقييم النصوص فقط؛ ولم يتم تضمين أي مدخلات للصور أو الصوت أو الفيديو.