Test 2008 – S04 Docoloc

Software Steckbrief

Nummer	S08-04
Produkt	Docoloc
Hersteller	Institut für Angewandte Lerntechnologie, Methfesselstraße 2, 38106 Braunschweig, Dr. Martin Gutbrod, Ein Spin-Off der Universität Braunschweig.
Web-Site	http://www.docoloc.de
Software-Typ	Online
Kosteninfo	Der minimale Preis beträgt 22€ pro Monat bzw 264€ im Jahr. Dafür erhält man maximal 5000 Seiten frei. Die Preise sind ohne Mehrwertsteuer angegeben.
Testdatum	2.9.2008

Docoloc, von der Universität Braunschweig, bekam jedoch lediglich eine 4,0 bei der Usability-Note, wegen der absoluten Undurchschaubarkeit der Berichte, der Unverständlichkeit und nicht Druckbarkeit der „Terms of Service“. Die Berichte beginnen mit einer Auflistung von „Stellen“ mit vielen URLs. Es ist gar nicht angegeben, wie stark die jeweiligen „Stellen“ mit den Quellen übereinstimmen. Es gibt zwar weitere Zahlen, aber sie machen nicht sehr viel Sinn. Die Berichte zeigen zwar die Plagiatsverdachtsstellen farblich an und geben einige mögliche Quellen in einem Pop-Up-Fenster an, aber wenn man darauf klickt, bekommt man die angeblichen Quelle in einem neuen Fenster gezeigt, ohne dass die Verdachtsquelle markiert ist. Bei einer 262 Seiten starken „Quelle“ ist die Suche fast so mühselig, wie selbst in einer Suchmaschine nachzuschauen. Es werden viele unsinnige, angebliche Quellen angegeben, die jedoch Spam-Seiten sind.

Testablauf/Kommentare

Die alten Berichte vom letzten Jahr sind noch da, es werden also Kopien der Arbeiten behalten. Dabei war ein Ausdruck der Übersicht zu Dokumentationszwecken gesperrt. Auch die alten Reports waren nicht druckbar. (Siehe Screenshot 1) .
Man kann leider keine ZIP-Datei hochladen, man muss jedes Dokument einzeln hochladen.
Schlechtes Englisch (Siehe Screenshot 2) .
Um die alten Dokumente erneut zu testen, muss man jedes Dokument einzeln löschen.
Nach einiger Zeit wurden wir einfach ausgeloggt
In den Links wird nicht markiert, welche Bereiche plagiiert sind.
Wir bekommen Quellen in denen die Passagen nicht zu finden sind. Auch sonst steht viel Unsinn in den Berichten.
Die Anzahl der Textstellen ist sehr unverständlich. Zu finden sind z. B. 11 Linkblöcke mit 1 – 4 Stellen, aber es gibt 7 Übereinstimmungen? Was bedeuten die Begriffe genau?
Die Berichte sind verschiedenfarbig markiert, allerdings wird nicht erklärt, was der weiss unterlegte Text ist.
Das System lässt sich von Sonderzeichen und Fontwechsel irritieren.
Einmal ist das System hängen geblieben – wir müssen neu laden.
Das System sucht auch erfolgreich in PDFs.

Einzeltests

0: Sehr viel Spam als Quelle, einen Link können wir nicht überprüfen, da ein 404 (Datei nicht gefunden) zurückgegeben wird. (siehe Screenshot 3)
4: 2 von 3 Quellen gefunden (sogar Wikipedia).
6: Zu viele verwirrende Mirrors
7: Findet eine Suchergebnisseite => -1 Punkt. Nimmt ausserdem Tags vom gleichen Artikel.
8: Wikipedia an erster Stelle.
14: Eine Wörterliste von ein Spamfarm landet auf Platz 1! 20 % Plagiat wird gemeldet, dafür gibt es keine Punkte.
16: Hamburger Abendblatt fehlt.
17: Viele unsinnige Quellen verzeichnet.
20: Hat eine andere Quelle gefunden – mit 62 Seiten ohne Markierung.
22: Eine Quelle mit 100 Seiten, in der wir den Absatz nicht finden können.
28: Ein Scrabble-Wörterbuch wird als einzige Quelle gemeldet.

Sonderfälle

25e: Das Sonderzeichen wird ignoriert, daher findet Docoloc 3% weniger. (Siehe Screenshot 4 ) .
Sonderfall Kollusion: keiner der 8 Kollusionstestfälle wurde als Kollusion gemeldet.

Stellungnahme des Herstellers

„Drucken ist nicht immer möglich (z.B. Terms of Prices)“

Bei sämtlichen Seiten von Docoloc handelt es sich um HTML-Dokumente, so auch in dem Fall der Seite „Terms & Prices“. Das Drucken solcher HTML-Dokumente ist eine Funktion des genutzten Browsers, die durch Docoloc nicht beeinflusst werden kann. Im Fall der genannten Seite wird diese lediglich in einem neuen Fenster angezeigt, bei dem die Darstellung des Menüs sowie der Symbolleiste unterdrückt wurde. Ein Drucken ist jedoch weiterhin über eine Browser-spezifische Tastenkombination (z.B. Ctrl-P) möglich.

„Was bedeutet der Prozentsatz, wie wurde er berechnet?“

Zu Anfang eines jeden Reports ist zu lesen: „Es wurden insgesamt 50 Textstellen überprüft. Davon wurden 21 Textstellen (42,0%) in anderen Dokumenten gefunden.“
Wobei sich die Zahlen selbstverständlich von Report zu Report unterscheiden. Der Prozentsatz gibt also das Verhältnis gefundener Textstellen zu überprüften Textstellen an (21/50 = 42,0%).

„kein Klassensatz möglich“

Für eine automatisierte Einreichung einer großen Anzahl Arbeiten kann Docoloc über eine Webservice-Schnittstelle genutzt werden. Diese Schnittstelle bietet die Möglichkeit unter Nutzung des Standardprotokolls SOAP mehrere Dokumente gleichzeitig und automatisiert zur Überprüfung an Docoloc zu übergeben. Ebenso können die Ergebnisse voll automatisiert wieder von Docoloc abgerufen werden. So ist z.B. eine vollständige Integration in vorhandene Systeme relativ einfach möglich.

„Die alten Berichte vom letzten Jahr sind noch da, es werden also Kopien der Arbeiten behalten. Dabei war ein Ausdruck der Übersicht zu Dokumentationszwecken gesperrt.“

Dokumente, die zur Überprüfung bei Docoloc eingereicht werden bleiben ebenso wie die erzeugten Reports unter vollständiger Kontrolle des Benutzers. Sobald dieser ein Dokument aus seinem Account entfernt, wird dieses vollständig von den Servern von Docoloc entfernt. Für eine Überwachung des Systems sowie zu Zwecken statistischen Auswertung werden anonymisierte Daten über die geprüften Dokumente sowie die gefundenen Textstellen gespeichert. Ein Rückschluss auf die diesen Daten zugrunde liegende Arbeit ist jedoch nicht möglich, da Name und Inhalt der Dokumente weder vollständig noch teilweise gespeichert werden.
In diesem konkreten Fall ist eine Löschung durch den Benutzer des Systems ausgeblieben und zwar sowohl nach den Tests 2007 sowie nach den diesjährigen Tests.
Ein Ausdruck der Übersichtsseite war zu keiner Zeit durch Docoloc gesperrt, da dies eine Funktion des eingesetzten Browsers ist, die durch Docoloc nicht beeinflusst werden kann.

„Nach einiger Zeit wurden wir einfach ausgeloggt“

Aus Sicherheitsgründen werden Nutzer nach 60 minütiger Inaktivität automatisch vom System abgemeldet.

„Die Anzahl der Textstellen ist sehr unverständlich. Zu finden sind z. B. 11 Linkblöcke mit 1 – 4 Stellen, aber es gibt 7 Übereinstimmungen? Was bedeuten die Begriffe genau?“

Eine Textstelle kann in mehr als einer Quelle gefunden werden. Daher ist die Anzahl der Quellen ggf. höher als die Anzahl der gefundenen Textstellen.

„Einmal ist das System hängen geblieben – wir müssen neu laden.“

Ein „hängen bleiben“ des Webbrowsers hat keinen Einfluss auf die Stabilität von Docoloc und somit insbesondere auch nicht auf die Nutzbarkeit durch andere Benutzer.

Screenshots

Screenshot 1: Alte Berichte

Screenshot 2: Side statt Page

Screenshot 3: 404

Screenshot 4: Sonderzeichen e ignoriert

Firmenwerbung

„Die Aufgabe von Docol©c besteht darin, nicht nur einen Dienst zum Entdecken von Plagiaten anzubieten, sondern einen bescheidenen Beitrag zu leisten für ein höheres Bildungsniveau und eine ehrliche Einstufung von Leistung. Die Qualität der Bildung trägt nicht unerheblich am wirtschaftlichen Erfolg und somit Wohlstand einer Gesellschaft bei. Schulen, Hochschulen und Universitäten besitzen daher eine hohe gesellschaftliche Verantwortung die es zu beschützen und bewahren gilt. Plagiate stehen nach unserer Auffassung den Aufgaben von Bildung und Wissenschaft entgegen.

Weitere Ziele des Docol©c-Projekts sind der Schutz von Autoren, die Vermeidung von Urheberrechtsverletzungen und die ausschließliche Verbreitung ehrlich erstellter Arbeiten.“

Links

offizielle Website http://www.docoloc.de

Docoloc ist Finalist beim Mediaprix 2008.

Suchen

Similarity Texter

Publications

Additional Information

Test 2008 – S04 Docoloc

Software Steckbrief

Testüberblick

Grundtests

Usability:

Kurzfassung