O AI Content Detector continua a ser confirmado como o mais preciso por estudos de terceiros. |
Estudo de caso
API Copyleaks
Detecção de plágio
Precisão, profundidade de análise e eficiência do fluxo de trabalho
A National Space Society (NSS) tem sediado o concurso anual Gerard K. O'Neill de assentamento espacial desde 1994. Os alunos não recebem nenhum requisito além do projeto deve se concentrar em um conceito de assentamento espacial flutuante e permanente. Todos os anos, milhares de estudantes em todo o mundo, desde o 12º ano, entram no concurso, com a maioria dos envios em forma de redação, com alguns nos últimos anos chegando a 200 páginas. Como parte do processo de julgamento, cada envio é analisado quanto a plágio, um processo que foi realizado manualmente, geralmente levando semanas a meses.
A NSS começou a buscar uma solução para agilizar o processo de julgamento e aumentar a eficiência, principalmente na parte de detecção de plágio. Uma consideração importante para encontrar uma solução foi uma plataforma com integração de API que pudesse funcionar perfeitamente com o Award Force, o software de gerenciamento de prêmios usado para o concurso. Outra preocupação eram os relatórios, a documentação e a capacidade de lidar com grandes quantidades de conteúdo e processamento de dados eficazes e completos.
Em 2018, a NSS começou a trabalhar com a plataforma Copyleaks, utilizando a integração da API para detectar possíveis plágios nos envios de concursos. Cada varredura através do Awards Force gera uma Pontuação de Suspeito, permitindo que os juízes tomem decisões mais rápidas e informadas sobre possível plágio. Como resultado, o tempo de processamento foi reduzido de semanas ou meses para questão de dias.
Mateus J. Levine, Diretor do NSS Gerard K. O'Neill Space Settlement Contest
O NSS começou a considerar que se o Suspect Score fosse 0%, era um passe automático; se fosse 5% ou superior, normalmente era uma falha automática. Qualquer coisa entre 0-5% exigia uma investigação mais aprofundada por meio de uma análise mais profunda usando o Relatório de Similaridade Copyleaks, gerado a cada varredura. Dentro de cada relatório há uma Pontuação de Similaridade (calculada de forma diferente da Pontuação de Suspeito acima mencionada) que faz uma análise mais profunda do texto semelhante encontrado em um documento digitalizado. Esses detalhamentos de relatórios permitem que os juízes comparem o texto lado a lado e determinem se o conteúdo foi plagiado.
O NSS também utiliza o Repositório Copyleaks, que permite armazenar todos os envios digitalizados em um banco de dados seguro e privado que pode ser usado para futuras verificações para comparar e garantir que nenhum concorrente tenha plagiado envios vencedores anteriores.
Desde o início com o Copyleaks, o NSS conseguiu detectar plágio em uma taxa muito mais rápida e precisa nos envios de concursos. Por exemplo, em 2023, de 4.567 envios, 1.894 foram desclassificados por plágio, um aumento significativo desde quando a tarefa era realizada manualmente.
A NSS também está considerando como o conteúdo gerado por IA de chatbots como o ChatGPT afetará o Gerard K. O'Neill Space Settlement Contest e seus envios e está explorando a utilização do Copyleaks AI Content Detector como uma parte recém-implementada do processo de julgamento.