Der AI Content Detector wird durch Studien Dritter weiterhin als am genauesten bestätigt. |
Fallstudie
Copyleaks-API
Plagiatserkennung
Genauigkeit, Analysetiefe und Workflow-Effizienz
Die National Space Society (NSS) veranstaltet seit 1994 den jährlichen Gerard K. O'Neill Space Settlement Contest. Den Studenten werden keine anderen Anforderungen gestellt, als dass sich das Projekt auf ein frei schwebendes, dauerhaftes Weltraumsiedlungskonzept konzentrieren muss. Jedes Jahr nehmen Tausende von Schülern weltweit von der 12. Klasse an dem Wettbewerb teil, wobei die meisten Einsendungen in Aufsatzform vorliegen und einige in den vergangenen Jahren bis zu 200 Seiten umfassen. Im Rahmen des Bewertungsprozesses wird jede Einreichung auf Plagiate überprüft. Dieser Prozess wurde manuell durchgeführt und dauerte oft Wochen bis Monate.
NSS suchte nach einer Lösung, um den Bewertungsprozess zu beschleunigen und die Effizienz zu steigern, insbesondere im Bereich der Plagiatserkennung. Ein wichtiger Gesichtspunkt bei der Suche nach einer Lösung war eine Plattform mit API-Integration, die nahtlos mit Award Force, der für den Wettbewerb verwendeten Auszeichnungsverwaltungssoftware, zusammenarbeiten konnte. Ein weiteres Anliegen war eine effektive und gründliche Berichterstattung, Dokumentation und die Fähigkeit, große Mengen an Inhalten und Daten zu verarbeiten.
Im Jahr 2018 begann NSS mit der Copyleaks-Plattform zu arbeiten und nutzte die API-Integration, um potenzielle Plagiate in Wettbewerbsbeiträgen zu erkennen. Jeder Scan durch Awards Force generiert einen Suspect Score, der es den Juroren ermöglicht, schnellere und fundiertere Entscheidungen über mögliche Plagiate zu treffen. Dadurch konnte die Bearbeitungszeit von Wochen oder einem Monat auf wenige Tage verkürzt werden.
Matthew J. Levine, Direktor des NSS Gerard K. O'Neill Space Settlement Contest
NSS kam zu dem Schluss, dass es sich um einen automatischen Pass handelte, wenn der Suspect Score 0% betrug; Wenn es 5% oder höher war, handelte es sich normalerweise um einen automatischen Fehler. Alles zwischen 0 und 5% erforderte weitere Untersuchungen durch eine tiefergehende Analyse mithilfe des Copyleaks-Ähnlichkeitsberichts, der bei jedem Scan erstellt wird. In jedem Bericht gibt es einen Ähnlichkeitswert (der anders als der oben genannte Suspect Score berechnet wird), der eine tiefere Aufschlüsselung ähnlicher Texte in einem gescannten Dokument vornimmt. Diese Berichtsaufschlüsselung ermöglicht es den Juroren, Texte nebeneinander zu vergleichen und festzustellen, ob der Inhalt plagiiert wurde.
NSS nutzt auch das Copyleaks-Repository, das es ihnen ermöglicht, alle gescannten Einsendungen in einer sicheren, privaten Datenbank zu speichern, die für zukünftige Scans zum Vergleich verwendet werden kann, um sicherzustellen, dass kein Teilnehmer frühere Gewinnereinsendungen plagiiert hat.
Seit der Einführung von Copyleaks ist NSS in der Lage, Plagiate in Wettbewerbsbeiträgen viel schneller und genauer zu erkennen. Beispielsweise wurden im Jahr 2023 von 4.567 Einreichungen 1.894 wegen Plagiats disqualifiziert, ein deutlicher Anstieg im Vergleich zur manuellen Ausführung der Aufgabe.
NSS erwägt auch, wie sich KI-generierte Inhalte von Chatbots wie ChatGPT auf den Gerard K. O'Neill Space Settlement Contest und seine Einreichungen auswirken werden, und erwägt den Einsatz des Copyleaks AI Content Detector als neu implementierten Teil des Bewertungsprozesses.