تقييم دقة كاشف الفيديو بالذكاء الاصطناعي من Copyleaks

صمّمنا عملية التقييم لدينا وفق نظام الفريقين لضمان أعلى مستويات الجودة والمعايير والموثوقية، إذ نعتمد على قسمين مستقلين لتقييم النموذج: فريق علوم البيانات وفريق ضمان الجودة. ويعمل كل فريق باستقلالية تامة باستخدام بيانات وأدوات تقييم خاصة به، مما يضمن أن تظل النتائج غير متحيزة وموضوعية ودقيقة.

ومن الضروري التأكيد على أن جميع بيانات الاختبار منفصلة تمامًا عن بيانات تدريب النموذج، فنحن نقيّم نماذجنا فقط على محتوى جديد لم يسبق لكاشف الفيديو بالذكاء الاصطناعي أن تعامل معه. ولضمان بقاء اختباراتنا مواكبة للتطورات، نحدّث مجموعات البيانات لدينا باستمرار لتشمل وسائط مُولَّدة بأحدث نماذج الذكاء الاصطناعي التوليدي.

مع كل إصدار جديد للنموذج، يُعِدّ فريقا علوم البيانات وضمان الجودة لدينا مجموعات بيانات الاختبار بشكل مستقل. وتتكون كل مجموعة بيانات من عدد كبير من الملفات التي تحمل تصنيفًا صارمًا للحقيقة الأساسية يشير إلى مصدرها، على النحو التالي:

• بشري بالكامل: فيديو وصوت أصليان أُنتجا بالطرق التقليدية (سواء التُقطا بأجهزة تسجيل فعلية أو أُنشئا عبر الرسوم المتحركة الرقمية والمؤثرات البصرية المعتادة) دون أي تعديلات بالذكاء الاصطناعي التوليدي.
• ذكاء اصطناعي بالكامل: محتوى مُركَّب بالكامل بواسطة شبكات الذكاء الاصطناعي التوليدي، بما في ذلك النماذج الأساسية لتحويل النص والصورة إلى فيديو، وخوارزميات التزييف العميق، ومحركات استنساخ الصوت المتقدمة.

تُنفَّذ الاختبارات مباشرةً عبر Copyleaks API، التي تعالج المسارات المرئية والصوتية باستقلالية تامة عن بعضها البعض. وبينما تعزل اختبارات القياس الأساسية لدينا الوسائط البشرية بالكامل والوسائط المُولَّدة بالذكاء الاصطناعي بالكامل لضمان مقاييس أداء صارمة وقابلة للقياس، فإن هذه البنية المستقلة ثنائية المسار تضمن تعامل النظام بدقة مع المحتوى الهجين (مثل فيديو بشري أصلي مُدبلج بتعليق صوتي مُولَّد بالذكاء الاصطناعي). وبدلًا من دمج هذه النتائج، نقيّم مخرجات واجهة برمجة التطبيقات لمساري الفيديو والصوت بشكل مستقل تمامًا، بما يضمن شفافية مطلقة لكل وسيط على حدة.

يُجرى التقييم على وسائط تستوفي متطلباتنا الفنية المثلى:

• المدة: بين 2 ثانية و1 ساعة.
• دقة الصورة: 360x360 بكسل كحد أدنى.
• معدل الإطارات: 16 FPS كحد أدنى.
• حجم الصوت/الملف: أقل من 0.5 GB.
• التنسيقات المدعومة: الحاويات القياسية بما في ذلك .mp4 و.mov و.avi و.webm، وغيرها من التنسيقات الاحترافية المحددة في وثائقنا.

تُعدّ مسارات الفيديو والصوت وسائط ديناميكية؛ إذ قد يحتوي ملف واحد على مزيج معقد من التسجيلات الأصلية والمقاطع المُولَّدة بالذكاء الاصطناعي. ولتوفير أقوى قدرة على الكشف، نحلل المحتوى على مخطط زمني متواصل. ويقدّم هذا التحليل الديناميكي لمستخدمينا فائدة عملية للغاية: طوابع زمنية دقيقة إطارًا بإطار تحدد بالضبط متى يحدث التلاعب المشتبه به.

ومع ذلك، عند تقييم الأداء الأساسي لنماذجنا وموثوقيتها، نركّز اختبارات القياس لدينا على الحكم الإجمالي على مستوى الملف. يقيّم هذا المقياس الوسائط ككل، إذ يحسب المدة الإجمالية للتلاعب الاصطناعي لتصنيف ملف الفيديو أو الصوت الكامل إما «مُولَّدًا بالذكاء الاصطناعي» أو «بشريًا». ويعكس هذا التقييم الصارم على المستوى الكلي الطريقة التي تعتمد بها معظم المؤسسات نظامنا لأغراض الفرز عالي الثقة، وتطبيق السياسات، والإشراف الآلي على المحتوى.

ولتقديم وضوح تام بشأن موثوقية نظامنا على مستوى الملف، نقيس أداءنا باستخدام ثلاثة مقاييس رئيسية معتمدة في هذا المجال:

• معدل كشف الذكاء الاصطناعي (معدل الإيجابيات الحقيقية): النسبة المئوية للمحتوى المُولَّد فعليًا بالذكاء الاصطناعي الذي ينجح نظامنا في اكتشافه.
• معدل الإيجابيات الخاطئة (FPR): النسبة المئوية للمحتوى البشري الأصلي الذي يُصنَّف خطأً على أنه ذكاء اصطناعي. ويعني معدل FPR بنسبة 1% أن معدل السلبيات الحقيقية (TNR) يبلغ 99%، مما يضمن ألّا يتعرض صنّاع المحتوى الأصليون للعقوبة إلا نادرًا.
• الدقة: مدى صحة تصنيفاتنا الإيجابية للذكاء الاصطناعي. وتعني الدقة بنسبة 99% أنه من بين كل 100 ملف نصنّفه على أنه ذكاء اصطناعي، يكون 99 منها مُولَّدًا بالذكاء الاصطناعي فعلًا، مما يتيح للمستخدمين التصرف بناءً على تنبيهاتنا بثقة عالية.

أجرى فريقا علوم البيانات وضمان الجودة لدينا اختبارات مستقلة على مجموعات بيانات كبيرة ومتنوعة تضم عشرات الآلاف من ملفات الفيديو والصوت. وتغطي مجموعات البيانات هذه تنوعًا في دقة الصورة وجودة التسجيل وأجهزة الالتقاط ونماذج الذكاء الاصطناعي التوليدي (بما في ذلك مولدات التزييف العميق، وأدوات استنساخ الصوت، ومحركات تحويل النص إلى كلام) التي تُعدّ من أحدث ما توصلت إليه التقنية وقت النشر.

توضح النتائج التالية قدرة النظام على تصنيف الملفات الكاملة بدقة بناءً على تكوينها الإجمالي، مما يقدّم صورة واضحة عن قدراته في الفرز عالي الثقة.

على الرغم من أن نظام الكشف لدينا يحقق نتائج متطورة، فلا توجد تقنية مثالية. فقد تُسيء نماذجنا أحيانًا تفسير المقاطع الزمنية أو الصوتية المعقدة، مما يؤدي إلى تقييمات غير صحيحة.

صُمِّم كاشف الفيديو والصوت بالذكاء الاصطناعي من Copyleaks خصيصًا لتحديد البصمات الاصطناعية التي تتركها أحدث أدوات الذكاء الاصطناعي التوليدي، وهو غير مُصمَّم حاليًا لاكتشاف التعديلات التقليدية على الوسائط، بما في ذلك:

• المونتاج اليدوي والتحرير الإبداعي: الانتقالات أو القطع أو الترتيبات المعتادة التي يُجريها محرر بشري باستخدام البرامج التقليدية (مثل Adobe Premiere أو Final Cut Pro أو Audacity).
• المؤثرات البصرية (VFX) والصور الحاسوبية (CGI) التقليدية: الصور أو المؤثرات الصوتية المُنشأة بالحاسوب من خلال النمذجة ثلاثية الأبعاد (3D) المعتادة أو مسارات إنتاج الرسوم المتحركة أو أعمال المؤثرات الصوتية (Foley)، بدلًا من الشبكات العصبية التوليدية.
• التعديلات غير التوليدية: المرشحات الفوتوغرافية، وتصحيح الألوان، والتوضيح، والقص، وتعديل السرعة (التصوير المتسارع/الحركة البطيئة)، أو المعادلة الصوتية الأساسية (EQ) وتقليل الضوضاء.

علاوة على ذلك، ونظرًا لتطور مجال الذكاء الاصطناعي التوليدي بوتيرة سريعة، قد يكون اكتشاف المحتوى الذي أنشأته نماذج صدرت بعد آخر تحديث لدينا أقل ثباتًا إلى أن تُدمَج هذه الأدوات في مجموعات بيانات التدريب لدينا. كما أن بعض أساليب التلاعب شديدة التخصص (مثل بعض تطبيقات تبديل الوجوه أو الموسيقى المُولَّدة بالذكاء الاصطناعي) لا تزال قيد البحث والتطوير لدينا، وقد لا تكون مشمولة بالكامل في هذا الإصدار.

تجدر الإشارة إلى أن كاشف الصوت مُصمَّم لاكتشاف استخدام الذكاء الاصطناعي في الكلام المنطوق؛ أما في حالات الاستخدام الأخرى (مثل الموسيقى المُولَّدة بالذكاء الاصطناعي) فلا ينبغي توقع مستويات دقة مماثلة للأرقام الموضحة أعلاه.

نحن ملتزمون التزامًا راسخًا بالتحسين المستمر لمحركات الكشف لدينا. وتؤدي ملاحظاتكم دورًا محوريًا في مهمتنا لضمان الأصالة الرقمية. إذا صادفتم نموذج ذكاء اصطناعي معينًا أو أداة لاستنساخ الصوت أو تقنية تلاعب ناشئة وترغبون في أن ندعمها، فإننا نشجعكم بشدة على مشاركة ملاحظاتكم حتى نتمكن من منحها الأولوية في دورات التطوير القادمة.