Avaliando a precisão do detector de IA do Copyleaks
Uma metodologia passo a passo
Acreditamos que seja mais importante do que nunca sermos totalmente transparentes sobre a precisão do Detector de IA, as taxas de falsos positivos e falsos negativos, as áreas de melhoria e outros aspectos para garantir o uso e a adoção responsáveis. Esta análise abrangente visa assegurar total transparência em relação à metodologia de teste do modelo V10 do nosso Detector de IA.
Data do teste: 16 de outubro de 2025
Data de publicação: 12 de novembro de 2025
Modelo testado: V10
Processo de avaliação
Utilizando um sistema de dois departamentos, projetamos nosso processo de avaliação para garantir qualidade, padrões e confiabilidade de alto nível. Temos dois departamentos independentes avaliando o modelo: as equipes de ciência de dados e de garantia da qualidade (QA). Cada departamento trabalha de forma independente com seus próprios dados e ferramentas de avaliação e não tem acesso ao processo de avaliação do outro. Essa separação garante que os resultados da avaliação sejam imparciais, objetivos e precisos, ao mesmo tempo que capturam todas as dimensões possíveis do desempenho do nosso modelo. Além disso, é essencial observar que os dados de teste são separados dos dados de treinamento e que testamos nossos modelos apenas com dados novos, que eles não tenham visto anteriormente.
Metodologia
As equipes de Controle de Qualidade e Ciência de Dados da Copyleaks reuniram, de forma independente, diversos conjuntos de dados de teste. Cada conjunto de dados de teste consiste em um número finito de textos. O rótulo esperado — um marcador que indica se um texto específico foi escrito por um humano ou por IA — de cada conjunto de dados é determinado com base na fonte dos dados. Os textos humanos foram coletados de textos publicados antes do surgimento dos modernos sistemas de IA generativa ou posteriormente, por outras fontes confiáveis, que foram verificadas novamente pela equipe. Os textos gerados por IA foram criados usando uma variedade de modelos e técnicas de IA generativa.
Os testes foram executados utilizando a API Copyleaks. Verificamos se a saída da API estava correta para cada texto com base no rótulo de destino e, em seguida, agregamos as pontuações para calcular a matriz de confusão.
Resultados: Equipe de Ciência de Dados
A equipe de Ciência de Dados realizou o seguinte teste independente:
- O idioma dos textos era o inglês, e um total de 300.000 textos escritos por humanos e 200.000 textos gerados por IA de vários LLMs foram testados.
- O comprimento dos textos varia, mas os conjuntos de dados contêm apenas textos com mais de 350 caracteres — o mínimo aceito pelo nosso produto.
Métricas de avaliação
As métricas utilizadas nesta tarefa de classificação de texto são:
1. Matriz de Confusão: Uma tabela que mostra os TP (verdadeiros positivos), FP (falsos positivos), TN (verdadeiros negativos) e FN (falsos negativos).
2. Precisão: A proporção de resultados verdadeiros (tanto verdadeiros positivos quanto verdadeiros negativos) em relação ao número total de textos verificados.
3. Taxa de Verdadeiros Negativos (TVN): A proporção de instâncias negativas reais que correspondem a todas as previsões negativas .
No contexto da detecção por IA, TNR (Verdadeiro Não Rastreador) é a precisão do modelo em textos escritos por humanos.
4. (TPR) também conhecido como Recall: A proporção de resultados verdadeiramente positivos em todas as previsões reais.
No contexto da detecção por IA, a TPR (Taxa Verdadeira de Acerto) é a precisão do modelo em textos gerados por IA.
5. Pontuação F-beta: A média harmônica ponderada entre precisão e recall, favorecendo mais a precisão (pois queremos uma taxa de falsos positivos menor).
Conjuntos de dados combinados de IA e humanos
| Nome do conjunto de dados | Número de textos | Número de textos humanos | Número de textos de IA | TPR | TNR | F-beta(0,5) |
|---|---|---|---|---|---|---|
| Conjuntos de dados internos extremamente complexos, incluindo ataques adversários e ferramentas especiais. | 500,000 | 300,000 | 200,000 | 0.988 | 0.999 | 0.997 |
Resultados: Equipe de Controle de Qualidade
A equipe de controle de qualidade realizou o seguinte teste independente:
- O idioma dos textos era o inglês, e um total de 229.843 textos escritos por humanos e 18.712 textos gerados por IA de vários LLMs foram testados.
- O comprimento dos textos varia, mas os conjuntos de dados contêm apenas textos com mais de 350 caracteres — o mínimo aceito pelo nosso produto.
Conjuntos de dados exclusivamente humanos
| Nome do conjunto de dados | Número de textos | Identificado corretamente como Humano | Identificado incorretamente como IA | Precisão |
|---|---|---|---|---|
| Textos gerais | 9,979 | 9,979 | 0 | 1 |
| Artigos, notícias, blogs, publicações em redes sociais | 9,991 | 9,982 | 9 | 0.9991 |
| Conjunto de dados de páginas da Web da Internet | 99,921 | 99,918 | 3 | 0.9999 |
| Redações de estudantes | 10,000 | 9,998 | 2 | 0.9998 |
| Artigos acadêmicos | 99,952 | 99,906 | 46 | 0.9995 |
| Total: | 229,843 | 229,783 | 60 | 0.9997 |
Conjuntos de dados exclusivos para IA
| Nome do conjunto de dados | Número de textos | Identificado incorretamente como humano. | Identificado corretamente como IA | Precisão |
|---|---|---|---|---|
| Modelos da família OpenAI - outros modelos | 12,880 | 129 | 12,751 | 0.9899 |
| GPT-5 | 1,207 | 11 | 1,196 | 0.9909 |
| Modelos da família Gemini | 1,978 | 7 | 1,971 | 0.9964 |
| Modelos da família Claude | 1,072 | 1 | 1,071 | 0.9991 |
| Modelos da família Grok | 1,575 | 0 | 1,575 | 1 |
| Total: | 18,712 | 148 | 18,564 | 0.992 |
*As versões dos modelos podem mudar com o tempo. Os textos foram gerados usando as versões atuais disponíveis dos modelos das empresas de IA generativa acima mencionadas.
Níveis de sensibilidade
Desde a versão 7.1, temos 3 níveis de sensibilidade para o modelo de detecção por IA. Aqui estão os resultados dos testes para os níveis de sensibilidade do modelo v10.
| EU IA | Sensibilidade | Definição | Falsos Positivos | Falsos negativos |
|---|---|---|---|---|
| 1 | Extra Seguro | Projetado para minimizar falsos positivos através do uso de filtros adicionais baseados em detecção por IA. Ótimo para detectar textos gerados por IA com mínima modificação humana. | 0.009% | 1.36% |
| 2 | Equilibrado (padrão - esta é a versão que é mostrado em os resultados acima) | Ideal para detectar conteúdo de IA, minimizando falsos positivos. Bom para detectar textos gerados por IA com um nível moderado de modificação humana. | 0.026% | 0.79% |
| 3 | Extra Sensível | Nosso modelo mais sensível foi projetado para identificar textos gerados por IA que passaram por um "humanizador" ou gerador de texto. | 0.05% | 0.53% |
Precisão de verdadeiros positivos (textos de IA) e verdadeiros negativos (textos humanos) por nível de sensibilidade
Análise de erros de texto humanos e de IA
Durante o processo de avaliação, identificamos e analisamos as avaliações incorretas feitas pelo modelo e criamos um relatório detalhado que permitirá à equipe de ciência de dados corrigir as causas subjacentes. Isso é feito sem expor as avaliações incorretas à equipe de ciência de dados. Todos os erros são registrados e categorizados sistematicamente com base em sua natureza e características em um "processo de análise de causa raiz", que visa compreender as causas subjacentes e identificar padrões recorrentes. Esse processo é contínuo, garantindo a melhoria constante e a adaptabilidade do nosso modelo ao longo do tempo.
Um exemplo desse teste é nossa análise de dados da internet de 2013 a 2024 usando nosso modelo V4. Amostramos 1 milhão de textos de cada ano, começando em 2013, usando quaisquer falsos positivos detectados de 2013 a 2020, antes do lançamento dos sistemas de IA, para ajudar a aprimorar ainda mais o modelo.
Assim como pesquisadores do mundo todo têm testado e continuam testando diferentes plataformas de detecção de IA para avaliar suas capacidades e limitações, incentivamos nossos usuários a realizar testes em situações reais. À medida que novos modelos forem lançados, compartilharemos as metodologias de teste, a precisão e outras considerações importantes.