تقييم دقة كاشف الصور المدعوم بالذكاء الاصطناعي لتسريبات النسخ

باستخدام نظام فريقين، صممنا عملية التقييم لدينا لضمان أعلى مستويات الجودة والمعايير والموثوقية. لدينا قسمان مستقلان لتقييم النموذج: فريق علوم البيانات وفريق ضمان الجودة. يعمل كل فريق بشكل مستقل باستخدام بيانات وأدوات التقييم الخاصة به، ولا يطلع على عملية تقييم الفريق الآخر. يضمن هذا الفصل أن تكون نتائج التقييم غير متحيزة وموضوعية ودقيقة. من المهم أيضًا ملاحظة أن جميع بيانات الاختبار منفصلة تمامًا عن بيانات التدريب؛ فنحن نختبر نماذجنا فقط على صور جديدة لم يسبق لها التفاعل مع كاشف الصور المدعوم بالذكاء الاصطناعي. ولضمان بقاء اختباراتنا ذات صلة وتحدّي، نقوم بتحديث مجموعات بيانات التقييم باستمرار لتشمل الصور التي تم إنشاؤها بواسطة أحدث نماذج الذكاء الاصطناعي العام.

مع كل إصدار جديد، يقوم فريقا ضمان الجودة وعلوم البيانات في Copyleaks بشكل مستقل بجمع وإنشاء مجموعة متنوعة من مجموعات بيانات الاختبار. تتكون كل مجموعة بيانات من عدد محدود من الصور مع تصنيف متوقع يشير إلى مصدرها. تُقسم مجموعات البيانات إلى فئتين:

• صور بشرية بالكامل: صور أصلية تم التقاطها بواسطة كاميرا ولم يتم تعديلها بواسطة الذكاء الاصطناعي التوليدي. تم جمع هذه الصور من مجموعات بيانات تم التحقق منها أو تم إنشاؤها يدويًا.

• الذكاء الاصطناعي الكامل: صور تم إنشاؤها بالكامل بواسطة أحدث نماذج الذكاء الاصطناعي.

تم إنشاء الصور المولدة بواسطة الذكاء الاصطناعي باستخدام مجموعة متنوعة من نماذج الذكاء الاصطناعي التوليدية. أُجريت الاختبارات على واجهة برمجة تطبيقات Copyleaks، وقمنا بتجميع النتائج لحساب أداء النموذج.

تم إجراء التقييم حصريًا على الصور التي تستوفي هذه المتطلبات الفنية: الحد الأدنى للأبعاد 512 × 512 بكسل، وحجم الملف أقل من 32 ميجابايت، والدقة أقل من 16 ميجابكسل، كما هو محدد في الوثائق.

يقدم المنتج تنبؤًا على شكل طبقة فوقية للأجزاء التي تم إنشاؤها بواسطة الذكاء الاصطناعي. ثم يتم تقييم الأداء العام بناءً على مدى دقة النموذج في تصنيف الصور، وفقًا لفئتها الحقيقية.

ولتوفير مقياس واضح ودقيق للدقة، نستخدم مقاييس مختلفة على مستوى البكسل اعتمادًا على نوع الصورة التي يتم اختبارها:

• بالنسبة للصور البشرية: المقياس الرئيسي هو معدل النتائج الإيجابية الخاطئة على مستوى البكسل . لكي تُعتبر الصورة ناجحة في الكشف (سلبية حقيقية)، يجب ألا تتجاوز نسبة البكسلات المصنفة خطأً على أنها "ذكاء اصطناعي" 5% . يضمن هذا الحد الصارم تجنب النموذج اتهام الصور الحقيقية زوراً.
  
  
• بالنسبة لصور الذكاء الاصطناعي: المقياس الأساسي هو معدل الإيجابية الحقيقية على مستوى البكسل. لكي تُعتبر الصورة ناجحة في الكشف (إيجابية حقيقية)، يجب أن تتجاوز نسبة البكسلات المصنفة بشكل صحيح على أنها "ذكاء اصطناعي" 95% . هذا يضمن قدرة النموذج على التعرف على المحتوى المُنشأ بالكامل بشكل شامل.

The overall accuracy figures presented in the Results tables, such as TNR (Human Accuracy) and TPR (AI), are aggregated from these pixel-level success criteria. For example, the TNR is the percentage of all tested human images that successfully met the <5% false positive pixel threshold.

أجرى فريق علوم البيانات الاختبار المستقل التالي على مجموعة بيانات كبيرة ومتنوعة تحتوي على صور ذات دقة متفاوتة، وأجهزة التقاط، ومولدات صور، وأنواع محتوى.

أجرى فريق ضمان الجودة اختبارًا مستقلًا باستخدام صور تم إنشاؤها خصيصًا للتقييم بعد تدريب النموذج. تتضمن مجموعة بيانات الاختبار صورًا بدقة متفاوتة، تم التقاطها بواسطة أجهزة مختلفة، وتم إنشاؤها بواسطة مولدات صور متنوعة، وتتميز بأنواع محتوى مختلفة.

على الرغم من أن نموذجنا يحقق نتائج متطورة، إلا أنه لا يوجد نظام كشف مثالي، ويمكن لنموذجنا أن يرتكب أخطاء، مثل تصنيف مجموعة بكسل معينة بشكل خاطئ.

تم تدريب كاشف الصور المدعوم بالذكاء الاصطناعي خصيصًا لتحديد التعديلات التي تُجرى باستخدام أحدث أدوات الذكاء الاصطناعي التوليدية . ولا يكتشف النظام حاليًا التعديلات الشائعة الأخرى على الصور، بما في ذلك:

• التعديلات اليدوية: التغييرات التي يجريها شخص باستخدام برامج تحرير الصور التقليدية مثل برنامج فوتوشوب.

• الصور المجمعة: صور تم إنشاؤها عن طريق دمج أجزاء من صور أصلية مختلفة.

• الفلاتر والتعديلات البسيطة: تطبيق التأثيرات الفوتوغرافية (مثل "العتيق"، الأبيض والأسود) أو التعديلات الأساسية (مثل التوضيح، والتشويش، والقص).