Evaluación de la precisión del Detector de vídeo con IA de Copyleaks

Mediante un sistema de doble equipo, hemos diseñado nuestro proceso de evaluación para garantizar la máxima calidad, los más altos estándares y la máxima fiabilidad. Contamos con dos departamentos independientes que evalúan el modelo: los equipos de Ciencia de Datos y de Control de Calidad. Cada equipo trabaja de forma autónoma con sus propios datos y herramientas de evaluación, lo que garantiza que los resultados sean imparciales, objetivos y precisos.

Es fundamental destacar que todos los datos de prueba están estrictamente separados de los datos de entrenamiento del modelo. Evaluamos nuestros modelos únicamente con contenido nuevo que nuestro Detector de vídeo con IA nunca ha visto. Para que nuestras pruebas sigan siendo relevantes, actualizamos continuamente nuestros conjuntos de datos para incluir contenido multimedia generado por los modelos GenAI más recientes.

Para cada lanzamiento de modelo, nuestros equipos de Ciencia de Datos y Control de Calidad seleccionan de forma independiente los conjuntos de datos de prueba. Cada conjunto de datos consta de un gran número de archivos con una etiqueta de referencia rigurosa que indica su origen, de la siguiente manera:

• Totalmente humano: Vídeo y audio auténticos producidos mediante métodos tradicionales (ya sea capturados con dispositivos de grabación físicos o creados con animación digital estándar y VFX), sin ninguna alteración de IA generativa.
• Totalmente generado por IA: Contenido sintetizado íntegramente por redes de IA generativa, incluidos modelos fundacionales de texto a vídeo y de imagen a vídeo, algoritmos de deepfake y motores avanzados de clonación de voz.

Las pruebas se ejecutan directamente con la API de Copyleaks, que procesa las pistas visuales y auditivas de forma totalmente independiente entre sí. Si bien nuestras pruebas de referencia principales aíslan el contenido totalmente humano y el totalmente generado por IA para obtener métricas de rendimiento rigurosas y medibles, esta arquitectura independiente de doble pista garantiza que el sistema procese con precisión el contenido híbrido (por ejemplo, un vídeo humano auténtico doblado con una voz en off generada por IA). En lugar de combinar estos resultados, evaluamos las respuestas de la API para las pistas de vídeo y audio de forma completamente independiente, lo que garantiza una transparencia absoluta para cada medio.

La evaluación se realiza con contenido multimedia que cumple nuestros requisitos técnicos óptimos:

• Duración: Entre 2 segundos y 1 hora.
• Resolución: Un mínimo de 360x360 píxeles.
• Velocidad de fotogramas: Un mínimo de 16 FPS.
• Tamaño del audio/archivo: Menos de 0.5 GB.
• Formatos compatibles: Contenedores estándar como .mp4, .mov, .avi, .webm y otros formatos profesionales definidos en nuestra documentación.

Las pistas de vídeo y audio son medios dinámicos: un solo archivo puede contener una mezcla compleja de grabación auténtica y fragmentos generados por IA. Para ofrecer la detección más sólida, analizamos el contenido a lo largo de una línea de tiempo continua. Para nuestros usuarios, este análisis dinámico aporta una ventaja muy práctica: la posibilidad de ver marcas de tiempo detalladas, fotograma a fotograma, que señalan con exactitud el momento en que se produce una posible manipulación.

Sin embargo, al evaluar el rendimiento y la fiabilidad esenciales de nuestros modelos, centramos nuestras pruebas de referencia en el veredicto global a nivel de archivo. Esta métrica a nivel de archivo evalúa el contenido en su conjunto y calcula la duración total de la manipulación sintética para clasificar el archivo de vídeo o audio completo como “Generado por IA” o “Humano”. Esta evaluación rigurosa a nivel global refleja cómo la mayoría de las organizaciones implementan nuestro sistema para la clasificación con alta confianza, la aplicación de políticas y la moderación automatizada.

Para ofrecer total claridad sobre la fiabilidad de nuestro sistema a nivel de archivo, medimos nuestro rendimiento con tres métricas principales, estándar en el sector:

• Tasa de detección de IA (tasa de verdaderos positivos): El porcentaje de contenido realmente generado por IA que nuestro sistema detecta correctamente.
• Tasa de falsos positivos (FPR): El porcentaje de contenido humano auténtico que se identifica erróneamente como IA. Una FPR del 1% significa que la tasa de verdaderos negativos (TNR) es del 99%, lo que garantiza que los creadores auténticos rara vez se vean perjudicados.
• Precisión: La exactitud de nuestras alertas positivas de IA. Una precisión del 99% significa que, de cada 100 archivos que marcamos como IA, 99 son realmente IA, lo que permite a los usuarios actuar sobre nuestras alertas con gran confianza.

Nuestros equipos de Ciencia de Datos y Control de Calidad realizaron pruebas de forma independiente con conjuntos de datos amplios y diversos que contenían decenas de miles de archivos de vídeo y audio. Estos conjuntos de datos abarcan distintas resoluciones, calidades de grabación, dispositivos de captura y modelos de IA generativa (incluidos generadores de deepfakes, herramientas de clonación de voz y motores de texto a voz) considerados de vanguardia en el momento de la publicación.

Los siguientes resultados demuestran la capacidad del sistema para clasificar con precisión archivos completos según su composición general, lo que ofrece una visión clara de su capacidad de clasificación con alta confianza.

Aunque nuestro sistema de detección logra resultados de vanguardia, ninguna tecnología es perfecta. En ocasiones, nuestros modelos pueden interpretar erróneamente segmentos temporales o acústicos complejos, lo que da lugar a evaluaciones incorrectas.

El Detector de vídeo y audio con IA de Copyleaks está diseñado específicamente para identificar las huellas sintéticas que dejan las herramientas de IA generativa más recientes y, por el momento, no está pensado para detectar alteraciones tradicionales de contenido multimedia, como las siguientes:

• Montaje manual y edición creativa: Transiciones, cortes o composiciones estándar realizados por un editor humano con software tradicional (por ejemplo, Adobe Premiere, Final Cut Pro o Audacity).
• VFX y CGI tradicionales: Imágenes o efectos de sonido generados por computadora mediante modelado 3D estándar, flujos de trabajo de animación o trabajo de foley, en lugar de redes neuronales generativas.
• Ajustes no generativos: Filtros fotográficos, corrección de color, enfoque, recorte, ajustes de velocidad (timelapse/cámara lenta) o ecualización de audio básica (EQ) y reducción de ruido.

Además, como el panorama de la IA generativa evoluciona a gran velocidad, la detección de contenido creado por modelos lanzados después de nuestra actualización más reciente puede ser menos consistente hasta que esas herramientas se integren en nuestros conjuntos de datos de entrenamiento. Asimismo, ciertas manipulaciones muy especializadas (como determinadas aplicaciones de intercambio de rostros o la generación de música con IA) forman parte actualmente de nuestra labor activa de investigación y desarrollo, y es posible que no estén totalmente cubiertas en esta versión.

Cabe señalar que el Detector de audio está diseñado para detectar el uso de IA en el habla; en otros casos de uso (como la música generada por IA) no se deben esperar niveles de precisión similares a las cifras mostradas anteriormente.

Estamos profundamente comprometidos con la mejora continua de nuestros motores de detección. Sus aportes desempeñan un papel fundamental en nuestra misión de garantizar la autenticidad digital. Si encuentra un modelo de IA, una herramienta de clonación de voz o una técnica de manipulación emergente que le gustaría que admitiéramos, lo animamos a compartir sus comentarios para que podamos priorizarlo en nuestros próximos ciclos de desarrollo.