Ergebnisse des Plagiatserkennungssoftware-Tests 2013
Können Plagiate automatisch durch Software erkannt werden?
Viele Unternehmen werben für ihre Software und versprechen genau das. Debora Weber-Wulff, Professorin für Medieninformatik an der HTW Berlin, hat bereits sechs Plagiatserkennungssoftware-Tests durchgeführt (2004, 2007, 2008, 2010, 2011 und 2012). Im Test 2013 wurden nur solche Systeme getestet, die sich in vergangenen Tests als nützlich erwiesen haben, bzw. die neu auf dem Markt erschienen oder aktualisiert worden sind. Nur 15 Systeme konnten vollständig getestet werden. Bei jedem Testdurchgang wurde eine Reihe von Testfällen hochgeladen, die neu für den Test 2013 durch Matthias Zarzecki entwickelt worden sind. Neben den üblichen Tests mit Wikipedia- oder stark verschleierten Texten wurden auch besonders große Dateien, die Bachelor- und Masterarbeiten simulieren, getestet. Andere Testfälle enthalten Quellen aus Google Books oder wurden zielgerichtet bearbeitet, um die Software zu täuschen. Anhand zweier Testfälle in Hebräisch, die uns von Prof. RH Belmaker, MD, Ben Gurion University of the Negev, zur Verfügung gestellt wurden, wurde untersucht, ob die Systeme mit solchen Schriftsystemen umgehen können.
Die Resultate des Tests 2013 lassen sich mit den Ergebnissen der vorherigen Tests vergleichen: Zwar ist die Benutzung der Systeme heute etwas einfacher als in den vorherigen Jahren, jedoch bieten die Systeme immer noch nicht die übersichtliche Dokumentation eines Plagiatsfalles, die beispielsweise für die Vorlage bei einem Prüfungsausschuss nötig wäre.
Besonders problematisch ist zum einen, dass die Systeme viele plagiierte Textstellen nicht erkennen (falsche Negative). Zum anderen werden nicht-plagiierte Textstellen, zum Beispiel oft verwendete Phrasen oder gar originale Textstellen, fälschlicherweise als Plagiate eingeordnet (falsche Positive). Solche Fehler sind sehr problematisch, da Falschmeldungen für den Betroffenen schwerwiegende Konsequenzen haben können. Daher sollte eine sachverständige Lehrperson die Ergebnisse immer genau und kritisch untersuchen.
Die Software meldet Zahlen, die dem Benutzer zeigen sollen, wie viel Prozent eines Textes als Plagiat zu werten ist. Diese Zahlen sind jedoch oft überhaupt nicht nachvollziehbar. Aus diesem Grund sollten sie nur als Hinweis und nicht als absolute Aussage verstanden werden.
Zusammenfassend hat der Test 2013 gezeigt:
Sogenannte Plagiatserkennungssoftware findet keine Plagiate, sondern nur identische Textstellen. Die endgültige Entscheidung darüber, ob ein Text ein Plagiat ist oder nicht, muss von der zuständigen Lehrkraft getroffen werden. Die Software sollte nur ein Hilfsmittel, aber kein Prüfstein sein. Blindes Vertrauen in automatisch generierte Plagiatsberichte ist unverantwortlich.
Universitäten können und sollen ihren Lehrkräften Plagiatserkennungssoftware als Hilfsmittel zur Verfügung stellen. Diese Software sollte jedoch nicht zur flächendeckenden Überprüfung aller Arbeiten verwendet werden, sondern nur in Verdachtsfällen zu Rate gezogen werden. Wenn überhaupt, wäre eine flächendeckende Überprüfung nur für die Arbeiten von Studienanfängern zu empfehlen.
Teilweise nützliche Systeme: Urkund, Turnitin, Copyscape
Begrenzt nützliche Systeme: Ephorus, PlagAware, Strike Plagiarism, PlagScan, Compilation, Plagiarism Detect, Docoloc, Duplichecker
Für akademische Zwecke ungeeignet: Plagtracker, Plagiarisma, OAPS, Plagiarism Finder
Fragen über den Softwaretest 2013 ? Mehr Information auf Englisch: http://plagiat.htw-berlin.de/software-en/test2013/
