Similarity Texter

Additional Information

DIE HOCHMÜTIGE DOHLE UND DER PFAU

Einst lebte eine Dohle, voll von eitlem Stolz, die stahl sich Federn, die dem Pfau entfallen warn und putzte sich damit. Das eigne Dohlenvolk ver- achtend trat sie in der schönen Pfauen Reihn. Der Unver- schämten reißt man hier die Federn aus, jagt sie mit Schnäbeln. Und die Dohle, bös verbleit will wieder nun betrübt zu ihrem Volk zurück. Die aber stoßen sie von sich, mit herbem Schimpf. Und eine derer, die zuvor verachtet, sprach zu ihr “Hätt’ unsre Lebensart dir vormals conveniert, hätt’st du, was die Natur dir schenkte, akzeptiert, dann wär dir weder jene Schande widerfahrn noch müsstest du zum Unglück jetzt verstoßen sein.”

Diese Version von Aesops Fabel ist aus Wilfried Strohs Sammlung von Übersetzungen von Jan Novák: “Aesopia”, die auf Geschichten von Phaedrus basieren.

Testmethodik 2008

Testmethodik

Um Plagiatserkennungssoftware zu testen, haben wir eine Sammlung von 31 Testfllen konstruiert. Diese sind kurze Aufstze, von denen wir wissen wie plagiiert wurde, wieviel plagiiert ist und welches die Quellen sind. Wir haben verschiedene Plagiatstechniken eingesetzt und haben dabei versucht, die ganze Bandbreite anzuwenden. Es wurden auch Plagiate von Bchern und CDs beigemischt sowie bersetzungsplagiate angefertigt, aber auch Originale hergestellt. Weiter unten auf dieser Seite ist eine genaue Auflistung der Plagiate. Da wir die Testflle als bungen fr die Lerneinheit „Fremde Federn Finden“ einsetzen, war es notwendig, die Erlaubnis von allen Urhebern einzuholen, damit die Ergebnisse publiziert werden knnen.

Fr den Test 2008 haben wir zustzlich Testmaterial fr die Feststellung von Kollusion hergestellt. Von den Testflle 29 und 30 wurden jeweils 4 weitere Aufstze angefertigt, die leicht verschieden zum Grundwerk sind. Ein Grundwerk war ein Plagiat, das andere ein Originalwerk.

Wir haben dann Namen von potentiellen Testkandidaten ermittelt und um Zugnge fr einen Test beim Hersteller nachgefragt. Viele haben sofort geantwortet, andere haben zwar versprochen, sich darum zu kmmern, aber nicht mal auf Nachfrage gelang es uns, dort einen Testaccount zu bekommen. Die kostenlosen Dienste haben wir ohne Anmeldung verwendet. Insgesamt gab es 24 Kandidaten im Test, von denen 3 reine Kollusionserkennungssysteme waren, einer speziell auf die Medline-Datenbank zugeschnitten war und 5 Tests, die abgebrochen werden mussten. Die Grnde fr die Testabbrche sind im jeweiligen Testbericht vermerkt. Zwei Systeme – PlagAware und Turnitin – wurden in zwei Versionen getestet. Es waren also 16 Systeme, die einer vollstndigen Prfung des Plagiatserkennungsgrad unterzogen worden sind.

Wir haben die Testflle als .doc, .html, .pdf und als .txt vorhanden gehabt, damit jedes System genau das Material so bekommen konnte, wie es es brauchte. Bevorzugt wurden im 2008-Test pdf. Nur wenn pdf nicht machbar war, wurde auf andere Formate ausgewichen. Alle HTML-Dateien wurden auch online angeboten (mit ein ROBOTS.TXT, der die Indizierung verbat), ggf. mit den Logos der Teilnehmer eingebettet, die dieses verlangt haben.

Alle Testflle wurden dem System gleichzeitig zum Testen angeboten. Wenn es mglich war, wurde ein ZIP-Datei verwendet, wenn das nicht mglich war, wurde jede Datei einzeln hochgeladen. Ein Fall hat im Dateinamen einen Umlaut, um zu sehen, ob die Systeme damit zu Recht kommen knnen. Eine Kopie der Datei ohne Umlaut im Namen wurde verwendet, wenn es nicht mit dem Umlaut-Namen klappte. Testfall 19 hatte eine umfangreiche Literaturliste, eine Fassung wurde auch ohne Literaturliste angefertigt. Allen Systemen wurden auch die Kollusions-Dateien angeboten, lediglich TurnItIn war dazu in der Lage, auch Kollusion zu erkennen und wurde daher getrennt unter Kollusion auch aufgefhrt.

Wir haben versucht die Zeit zu messen, die bentigt wurde um die Suche durchzufhren (inkl. der Zeit, um die Dateien hochzuladen) und unser subjektives Empfinden bei der Verwendung der Sites notiert. Als die Ergebnisse vorlagen, wurden die einzelnen Berichte analysiert. Wir haben versucht, die Position einer Nicht-Informatik-Lehrkraft mit ein etwas altmodischen System (Windows XP, alte Browser) einzunehmen, um zu entscheiden, ob wir die Ergebnisse als korrekt (Erkennung ob Plagiat oder Nicht-Plagiat) werten konnten. Die Kriterien fr die Bewertung sind auf einer getrennter Seite beschrieben.

Wir haben im Test 2008 ausserdem den Einsatz und die Usability bewertet. Es wurden 5 Bereiche identifiziert, die bewertet wurden:

  • Webseite der Firma und die Kostentransparenz
  • Layout der Seite und Beschriftungen
  • Navigation
  • Erklrungen in den Berichten
  • Einpassung im Workflow einer Lehrkraft

Fr jeden Bereich wrden 0 bis 3 Punkte vergeben. Die maximal 15 erreichbaren Punkte wurden mit der Schulnote 1,0 gleich gesetzt, entsprechend jedem Punktabzug wurden die Noten schlechter.

Nach Abschlu der Analyse wurden einige Systeme nochmal betrachtet, weil es nderungen bei der Bewertung geben musste. Wir haben im Laufe des Tests festgestellt, dass es einerseits (unzulssige) Kopien einiger unsere Testflle gab (Testflle 0 und 4, Schaltjahr und Dner), andererseits waren einige unserer Plagiatsquellen verschwunden fr die Testflle 4, 16 und 25, Dner, Jelinek und Surstrmming. Der Wikipedia-Eintrag zu Dner war stark berarbeitet worden, die englischsprachige Quelle fr Teile von Jelinek war ebenfalls nicht mehr online. Die Quelle von Surstrmming ist whrend des Test pltzlich verschwunden. Bei Turnitin waren auch noch alle Testflle aus 2007 gespeichert, als von einer US amerikanischen Hochschule hochgeladen. Diese stammten aus der kuriosen Geschichte mit iPlagiarismCheck beim letzten Test. Um die Bewertung dennoch durchzufhren wurden alle Dokumente von den Ergebnissen ausgeschlossen, wie in den Testberichten beschrieben.

Einige Systeme hatten eine „aktualisierte“ Version angekndigt. Wir haben PlagAware nochmal getestet und haben beide Varianten bewertet. TurnItIn hat ein „globales“ System aufgestellt, das mit europischen Sprachen umgehen sollte. Dieses haben wir komplett nochmal getestet. Wir sind auch auf ein neues System, Plagiarism-Detector, whrend des Tests aufmerksam geworden, das wir zum Schlu auch getestet haben, auch wenn das einen Monat nach den ersten Tests stattfand.

Es folgte eine Gesamtdurchsicht der Bewertungen. Da wir uns inzwischen mit der Gleichbewertung unsicher geworden waren, haben wir fr einige der frh getesteten Sysetme eine komplett neue Bewertung vorgenommen und diese dann miteinander verglichen. Wir haben jeweils das bessere Ergebnis verwendet. Zum Schlu wurde eine Rangliste der Systeme vorgenommen und dann der Erwartungswert bestimmt. D.h., wir haben die „unmglichen“ Flle herausgenommen: die bersetzungen und die Buch-Plagiaten. Somit hat sich der Maximalwert von 93 Punkte fr 31 Flle auf nur 80 Punkte abgesenkt. Wir haben dann die Maximalwerte summiert, die ber alle Testflle erreicht worden sind. Da hier 77 Punkte erreichbar wren, fanden wir ein Erwartungswert von 80 valide.

Danach wurde die Noteneinteilung entsprechend den ECTS-Stufen vorgenommen:

  • Sehr gut: 72-80
  • Gut: 60-71
  • Befriedigend: 48-59
  • Ausreichend: 40-47
  • Ungengend: 0-39