Avaliando a precisão do detector de imagens por IA do Copyleaks

Utilizando um sistema de duas equipes, projetamos nosso processo de avaliação para garantir qualidade, padrões e confiabilidade de alto nível. Temos dois departamentos independentes avaliando o modelo: as equipes de Ciência de Dados e de Garantia de Qualidade (QA). Cada equipe trabalha de forma independente com seus próprios dados e ferramentas de avaliação e não tem acesso ao processo de avaliação da outra equipe. Essa separação garante que os resultados da avaliação sejam imparciais, objetivos e precisos. É fundamental ressaltar também que todos os dados de teste são estritamente separados dos dados de treinamento; testamos nossos modelos apenas em imagens novas que nunca interagiram com nosso Detector de Imagens por IA. Para garantir que nossos testes permaneçam relevantes e desafiadores, atualizamos continuamente nossos conjuntos de dados de avaliação para incluir imagens geradas pelos modelos GenAI mais recentes.

Para cada lançamento de modelo, as equipes de Controle de Qualidade (QA) e Ciência de Dados da Copyleaks coletam e criam, de forma independente, diversos conjuntos de dados de teste. Cada conjunto de dados consiste em um número finito de imagens com um rótulo esperado indicando sua origem. Os conjuntos de dados são divididos em duas categorias:

• Totalmente Humano: Imagens autênticas capturadas por uma câmera e não alteradas por IA generativa. Elas foram coletadas de conjuntos de dados verificados ou criadas manualmente.

• Totalmente IA: Imagens geradas inteiramente pelos modelos de IA mais modernos.

As imagens geradas por IA foram criadas usando uma ampla variedade de modelos generativos de IA. Os testes foram executados com a API Copyleaks e agregamos as pontuações para calcular o desempenho do modelo.

A avaliação foi realizada exclusivamente em imagens que atendem aos seguintes requisitos técnicos: dimensão mínima de 512×512 pixels, tamanho de arquivo inferior a 32 MB e resolução inferior a 16 megapixels, conforme definido na documentação.

O produto faz uma previsão na forma de uma sobreposição dos segmentos gerados por IA. O desempenho geral é então avaliado com base na precisão com que o modelo classifica as imagens, de acordo com sua categoria real.

To provide a clear and robust measure of accuracy, we use different pixel-level metrics depending on the type of image being tested:

• For Human Images: The key metric is the pixel-level False Positive Rate (FPR). For an image to be considered a successful detection (True Negative), the percentage of pixels incorrectly flagged as “AI” must be less than 5%. This stringent threshold ensures the model avoids falsely accusing authentic images.
  
  
• For AI Images: The primary metric is the pixel-level True Positive Rate (TPR). For an image to be considered a successful detection (True Positive), the percentage of pixels correctly identified as “AI” must be greater than 95%. This ensures the model comprehensively recognizes fully generated content.

Os índices de precisão geral apresentados nas tabelas de Resultados , como TNR (Precisão Humana) e TPR (IA) , são agregados a partir desses critérios de sucesso em nível de pixel. Por exemplo, o TNR é a porcentagem de todas as imagens humanas testadas que atenderam com sucesso ao limite de pixels falsos positivos <5% .

A equipe de Ciência de Dados realizou o seguinte teste independente em um conjunto de dados amplo e diversificado, contendo imagens com resoluções variadas, dispositivos de captura, geradores de imagem e tipos de conteúdo diversos.

A equipe de controle de qualidade realizou um teste independente usando imagens criadas especificamente para avaliação após o treinamento do modelo. O conjunto de dados de teste compreende imagens de resoluções variadas, capturadas por diferentes dispositivos, geradas por diversos geradores de imagens e apresentando diversos tipos de conteúdo.

Embora nosso modelo alcance resultados de última geração, nenhum sistema de detecção é perfeito, e nosso modelo pode cometer erros, como classificar incorretamente um conjunto específico de pixels.

O Detector de Imagens por IA foi especificamente treinado para identificar manipulações feitas pelas ferramentas de IA generativa mais recentes . O sistema não detecta atualmente outras alterações comuns em imagens, incluindo:

• Edições manuais: alterações feitas por uma pessoa usando um software tradicional de edição de fotos, como o Photoshop.

• Colagens: Imagens criadas pela combinação de partes de diferentes fotos autênticas.

• Filtros e ajustes simples: Aplicação de efeitos fotográficos (ex.: "vintage", preto e branco) ou ajustes básicos (ex.: nitidez, desfoque, recorte).