Avaliando a precisão do Detector de vídeo com IA da Copyleaks

Utilizando um sistema de duas equipes, projetamos nosso processo de avaliação para garantir qualidade, padrões e confiabilidade de alto nível. Contamos com dois departamentos independentes para avaliar o modelo: as equipes de Ciência de Dados e de Garantia de Qualidade (QA). Cada equipe trabalha de forma autônoma, com seus próprios dados e ferramentas de avaliação, garantindo que os resultados permaneçam imparciais, objetivos e precisos.

É fundamental ressaltar que todos os dados de teste são estritamente separados dos dados de treinamento do modelo. Avaliamos nossos modelos apenas com conteúdo novo, que nosso Detector de vídeo com IA nunca encontrou. Para garantir que nossos testes permaneçam relevantes, atualizamos continuamente nossos conjuntos de dados para incluir mídias geradas pelos modelos GenAI mais recentes.

Para cada lançamento de modelo, nossas equipes de Ciência de Dados e de QA selecionam, de forma independente, conjuntos de dados de teste. Cada conjunto de dados é composto por um grande número de arquivos com um rótulo de referência rigoroso que indica sua origem, da seguinte forma:

• Totalmente Humano: Vídeo e áudio autênticos produzidos por métodos tradicionais (sejam capturados por dispositivos físicos de gravação ou criados com animação digital padrão e VFX), sem nenhuma alteração por IA generativa.
• Totalmente IA: Conteúdo sintetizado inteiramente por redes de IA generativa, incluindo modelos fundamentais de texto para vídeo e de imagem para vídeo, algoritmos de deepfake e mecanismos avançados de clonagem de voz.

Os testes são executados diretamente com a API Copyleaks, que processa as faixas visuais e auditivas de forma totalmente independente uma da outra. Embora nossos principais testes de benchmark isolem mídias Totalmente Humanas e Totalmente IA para garantir métricas de desempenho rigorosas e mensuráveis, essa arquitetura independente de faixa dupla garante que o sistema lide com precisão com conteúdo híbrido (por exemplo, um vídeo humano autêntico dublado com uma narração gerada por IA). Em vez de combinar esses resultados, avaliamos as respostas da API para as faixas de vídeo e áudio de forma completamente independente, garantindo total transparência para cada mídia.

A avaliação é realizada com mídias que atendem aos nossos requisitos técnicos ideais:

• Duração: Entre 2 segundos e 1 hora.
• Resolução: Mínimo de 360x360 pixels.
• Taxa de quadros: Mínimo de 16 FPS.
• Tamanho do áudio/arquivo: Menos de 0.5 GB.
• Formatos compatíveis: Contêineres padrão, incluindo .mp4, .mov, .avi, .webm e outros formatos profissionais definidos em nossa documentação.

Faixas de vídeo e áudio são mídias dinâmicas: um único arquivo pode conter uma mistura complexa de gravação autêntica e trechos gerados por IA. Para oferecer a detecção mais robusta, analisamos o conteúdo em uma linha do tempo contínua. Para nossos usuários, essa análise dinâmica traz um benefício muito prático: a possibilidade de ver marcações de tempo detalhadas, quadro a quadro, que indicam exatamente quando ocorre uma suspeita de manipulação.

No entanto, ao avaliar o desempenho e a confiabilidade essenciais dos nossos modelos, concentramos nossos testes de benchmark no veredito geral em nível de arquivo. Essa métrica em nível de arquivo avalia a mídia como um todo, calculando a duração total da manipulação sintética para classificar o arquivo de vídeo ou áudio completo como “Gerado por IA” ou “Humano”. Essa avaliação rigorosa, em nível macro, reflete a forma como a maioria das organizações utiliza nosso sistema para triagem com alta confiança, aplicação de políticas e moderação automatizada.

Para oferecer total clareza sobre a confiabilidade do nosso sistema em nível de arquivo, medimos nosso desempenho com três métricas principais, padrão do setor:

• Taxa de detecção de IA (taxa de verdadeiros positivos): A porcentagem de conteúdo efetivamente gerado por IA que nosso sistema identifica com sucesso.
• Taxa de falsos positivos (FPR): A porcentagem de conteúdo humano autêntico identificado incorretamente como IA. Uma FPR de 1% significa que a taxa de verdadeiros negativos (TNR) é de 99%, garantindo que criadores autênticos raramente sejam penalizados.
• Precisão: A exatidão dos nossos alertas positivos de IA. Uma precisão de 99% significa que, a cada 100 arquivos que sinalizamos como IA, 99 são realmente IA, permitindo que os usuários ajam com base em nossos alertas com alta confiança.

Nossas equipes de Ciência de Dados e de QA realizaram testes de forma independente em conjuntos de dados amplos e diversificados, contendo dezenas de milhares de arquivos de vídeo e áudio. Esses conjuntos de dados abrangem diferentes resoluções, qualidades de gravação, dispositivos de captura e modelos de IA generativa (incluindo geradores de deepfake, ferramentas de clonagem de voz e mecanismos de conversão de texto em fala) considerados de última geração no momento da publicação.

Os resultados a seguir demonstram a capacidade do sistema de classificar com precisão arquivos completos com base em sua composição geral, oferecendo uma visão clara de sua capacidade de triagem com alta confiança.

Embora nosso sistema de detecção alcance resultados de última geração, nenhuma tecnologia é perfeita. Ocasionalmente, nossos modelos podem interpretar incorretamente segmentos temporais ou acústicos complexos, o que leva a avaliações incorretas.

O Detector de vídeo e áudio com IA da Copyleaks foi desenvolvido especificamente para identificar as marcas sintéticas deixadas pelas ferramentas de IA generativa mais recentes e, no momento, não foi projetado para detectar alterações tradicionais em mídias, incluindo:

• Montagem manual e edição criativa: Transições, cortes ou arranjos padrão feitos por um editor humano usando softwares tradicionais (por exemplo, Adobe Premiere, Final Cut Pro ou Audacity).
• VFX e CGI tradicionais: Imagens ou efeitos sonoros gerados por computador, criados por meio de modelagem 3D padrão, pipelines de animação ou trabalho de foley, e não por redes neurais generativas.
• Ajustes não generativos: Filtros fotográficos, correção de cor, nitidez, recorte, ajustes de velocidade (timelapse/câmera lenta) ou equalização básica de áudio (EQ) e redução de ruído.

Além disso, como o cenário da IA generativa evolui em ritmo acelerado, a detecção de conteúdo criado por modelos lançados após nossa atualização mais recente pode ser menos consistente até que essas ferramentas sejam incorporadas aos nossos conjuntos de dados de treinamento. Adicionalmente, certas manipulações altamente especializadas (como aplicativos específicos de troca de rostos ou a geração de música por IA) fazem parte, no momento, de nossas atividades de pesquisa e desenvolvimento e podem não estar totalmente cobertas nesta versão.

Vale ressaltar que o Detector de áudio foi projetado para detectar o uso de IA na fala; em outros casos de uso (como música gerada por IA), não se devem esperar níveis de precisão semelhantes aos números apresentados acima.

Temos um profundo compromisso com o aprimoramento contínuo dos nossos mecanismos de detecção. Suas contribuições desempenham um papel fundamental em nossa missão de garantir a autenticidade digital. Se você encontrar um modelo de IA, uma ferramenta de clonagem de voz ou uma técnica de manipulação emergente que gostaria que fosse suportada, convidamos você a compartilhar seu feedback para que possamos priorizá-lo em nossos próximos ciclos de desenvolvimento.