Recurso
Fecha de la prueba: 20 de octubre de 2024
Fecha de publicación: 19 de noviembre de 2024
Modelo probado: Versión 7.1
Creemos que es más importante que nunca ser completamente transparentes sobre el Detector de IA. Precisión, tasas de falsos positivos y falsos negativos, áreas de mejora y más para garantizar un uso y una adopción responsables. Este análisis exhaustivo tiene como objetivo garantizar una transparencia total en torno a la metodología de prueba del modelo V7.1 de nuestro AI Detector.
Los equipos de control de calidad y ciencia de datos de Copyleaks realizaron pruebas de forma independiente para garantizar resultados imparciales y precisos. Los datos de prueba diferían de los datos de entrenamiento y no contenían ningún contenido enviado previamente al detector de IA para su detección por IA.
Los datos de prueba consistieron en texto escrito por humanos proveniente de conjuntos de datos verificados y texto generado por IA a partir de varios modelos de IA. La prueba se realizó con la API Copyleaks.
Las métricas incluyen la precisión general basada en la tasa de identificación de texto correcto e incorrecto, la puntuación F1, la tasa de verdaderos negativos (TNR), la tasa de verdaderos positivos (TPR), la precisión y las matrices de confusión.
Las pruebas verifican que el detector de IA muestra una alta precisión de detección para distinguir entre texto escrito por humanos y generado por IA, manteniendo al mismo tiempo una baja tasa de falsos positivos.
Utilizando un sistema de dos departamentos, hemos diseñado nuestro proceso de evaluación para garantizar la máxima calidad, estándares y confiabilidad. Contamos con dos departamentos independientes que evalúan el modelo: el equipo de ciencia de datos y el de control de calidad. Cada departamento trabaja de forma independiente con sus datos y herramientas de evaluación y no tiene acceso al proceso de evaluación del otro. Esta separación garantiza que los resultados de la evaluación sean imparciales, objetivos y precisos, a la vez que capturan todas las dimensiones posibles del rendimiento de nuestro modelo. Además, es esencial tener en cuenta que los datos de prueba están separados de los datos de entrenamiento, y solo probamos nuestros modelos con datos nuevos que no han visto en el pasado.
Los equipos de control de calidad y ciencia de datos de Copyleaks han reunido de forma independiente una variedad de conjuntos de datos de prueba. Cada conjunto de datos de prueba consta de una cantidad finita de textos. La etiqueta esperada (un marcador que indica si un texto específico fue escrito por un humano o por una IA) de cada conjunto de datos se determina en función de la fuente de los datos. Los textos humanos se recopilaron de textos publicados antes del surgimiento de los sistemas de IA generativa modernos o posteriormente de otras fuentes confiables que fueron verificadas nuevamente por el equipo. Los textos generados por IA se generaron utilizando una variedad de modelos y técnicas de IA generativa.
Las pruebas se realizaron con la API Copyleaks. Verificamos si la salida de la API era correcta para cada texto en función de la etiqueta de destino y luego agregamos las puntuaciones para calcular la matriz de confusión.
El equipo de Ciencia de Datos realizó la siguiente prueba independiente:
Las métricas que se utilizan en esta tarea de clasificación de texto son:
1. Matriz de confusión: Tabla que muestra los TP (verdaderos positivos), FP (falsos positivos), TN (verdaderos negativos) y FN (falsos negativos).
2. Precisión: la proporción de resultados verdaderos (tanto verdaderos positivos como verdaderos negativos) entre el número total de textos que fueron comprobados.
3. TNR: La proporción de predicciones negativas precisas en Todas las predicciones negativas.
En el contexto de la detección de IA, TNR es la precisión del modelo en textos humanos.
4. TPR (también conocido como Recall): La proporción de resultados positivos verdaderos en Todas las predicciones reales.
En el contexto de la detección de IA, TPR es la precisión del modelo en los textos generados por IA.
5. Puntuación F-beta: La media armónica ponderada entre precisión y recuperación, favoreciendo más la precisión (ya que queremos favorecer una tasa de falsos positivos más baja).
6. ROC-AUC: Evaluación de la compensación entre TPR y FPR.
El equipo de control de calidad realizó la siguiente prueba independiente:
*Las versiones de los modelos pueden cambiar con el tiempo. Los textos se generaron utilizando una de las versiones disponibles de los modelos de IA generativos anteriores.
En el modelo v7.1 hemos introducido 3 niveles de sensibilidad para el modelo de detección de IA. Estos son los resultados de la prueba:
Precisión de verdaderos positivos (textos de IA) y verdaderos negativos (textos de humanos) por sensibilidad
Durante el proceso de evaluación, identificamos y analizamos las evaluaciones incorrectas realizadas por el modelo y creamos un informe detallado que permitirá al equipo de ciencia de datos corregir las causas subyacentes. Esto se hace sin exponer las evaluaciones incorrectas al equipo de ciencia de datos. Todos los errores se registran y categorizan sistemáticamente en función de su carácter y naturaleza en un "proceso de análisis de causa raíz", que tiene como objetivo comprender las causas subyacentes e identificar patrones repetidos. Este proceso siempre está en curso, lo que garantiza la mejora continua y la adaptabilidad de nuestro modelo a lo largo del tiempo.
Un ejemplo de este tipo de prueba es Nuestro análisis de datos de Internet de 2013 a 2024 utilizando nuestro modelo V4. Tomamos muestras de 1 millón de textos de cada año, a partir de 2013, y utilizamos todos los falsos positivos detectados entre 2013 y 2020, antes del lanzamiento de los sistemas de IA, para ayudar a mejorar aún más el modelo.
Similar a cómo Investigadores de todo el mundo Hemos probado y continuamos probando diferentes plataformas de detectores de IA para evaluar sus capacidades y limitaciones, por lo que alentamos a nuestros usuarios a que realicen pruebas en el mundo real. En última instancia, a medida que se publiquen nuevos modelos, continuaremos compartiendo las metodologías de prueba, la precisión y otras consideraciones importantes que se deben tener en cuenta.
Reservados todos los derechos. El uso de este sitio web significa su acuerdo con el Términos de Uso.