Die Informationspraxis setzt zur Qualitätssicherung ein Open Peer Review-Verfahren (OPR) ein. Nach den ersten Erfahrungen und Rückmeldungen aus der Community zeigen sich einige Punkte, die überdacht, diskutiert und eventuell verbessert werden können.

Kommentare und Reviews

Grundsätzlich sind uns alle sachlichen Kommentare im Rahmen des OPR willkommen. Die im Blog abgegebenen Kommentare werden von der Redaktion gesammelt und zum Abschluss des Verfahrens an die Autorinnen und Autoren weitergeleitet. Die Hinweise auf falsch zugeordnete Zitate, auf fehlende Angaben, nicht aktuelle Zahlen etc. sind nützlich und dienen der Verbesserung der Beiträge. Diese Kommentare ersetzen jedoch nicht eine eingehende Prüfung des Beitrags im Rahmen eines ordentlichen Reviews.

Die Kommentare werden – wie in einem früheren Blogbeitrag bereits erläutert – oft nicht auf der Plattform abgegeben, sondern auf allen möglichen Kanälen – von Twitter bis zu eigenen Blogs und direkten Mails an die Autorinnen und Autoren. Es ist der Redaktion nicht möglich, diese verteilten Rückmeldungen und Kommentare zu sammeln und den Autorinnen und Autoren zukommen zu lassen. Es ist also für die Transparenz des Vorgangs und die Möglichkeit der Rückmeldung an die Autorinnen und Autoren wichtig, dass die Kommentare auf der dafür vorgesehenen Plattform, im Blog der Informationspraxis, eingereicht werden.

Diese Kommentare können das ordentliche Review also nicht ersetzen. Es ist deshalb für den Erfolg des OPR entscheidend, dass die Artikel gründlich und strukturiert begutachtet werden. Was verstehen wir unter einem „richtigen“ Review?

„Ordentliches“ Open Peer Review

Ein klassisches Review erfolgt auf der Basis von Fragen, die den Gutachterinnen und Gutachtern in der Regel durch die Redaktion bereitgestellt werden. Das Review soll sicherstellen, dass es sich um originale Forschung handelt, dass Quellen korrekt zitiert werden, dass die eingesetzten Methoden überprüfbare Ergebnisse liefern, dass der Beitrag wissenschaftlichen Kriterien genügt usw. Auch die Informationspraxis bietet eine solche Hilfestellung für Reviewerinnen und Reviewer in Form von Richtlinien für GutachterInnen. Wir stellen uns ein „richtiges“ Review im Sinne des OPR so vor, dass sich eine Fachperson des Beitrags annimmt, ihn nach diesen Richtlinien begutachtet und dieses Review unter seinem Namen als Kommentar ins Blog hochlädt. Ein Beispiel dafür gibt Beat Mattmann in seinem Kommentar zum Beitrag von Mumenthaler/Schuldt. Der Unterschied zum klassischen Peer Review besteht primär darin, dass das Review nicht anonym erfolgt und dass es offen einsehbar ist. In den Punkten Genauigkeit, Kompetenz und Sachlichkeit sollte ein Open Peer Review jedoch dem klassischen ebenbürtig sein.

Verpflichtung zu OPR

Wir möchten daran festhalten, dass Autorinnen und Autoren sich freiwillig dem OPR-Verfahren unterziehen können. Wer einen Fachartikel einreicht, kann also wählen, ob er ein klassisches oder das Open Peer Review-Verfahren durchlaufen soll. Wir finden, dass wir möglichst keine Autorinnen und Autoren abschrecken möchten. Wir sind noch dabei (mit wir ist hier die ganze Community gemeint), Erfahrungen mit dem OPR zu sammeln. Die Redaktion hat Verständnis dafür, falls jemand lieber auf ein klassisches Review setzt und sich nicht dem öffentlichen Verfahren aussetzen möchte. Allerdings möchten wir das Verfahren einheitlich gestalten (siehe oben) und bei den publizierten Artikeln angeben, welches Review sie durchlaufen haben.

Der Open-Peer-Review-Eid

Nora Schmidt hat uns einen Vorschlag zur Verbesserung des OPR hingewiesen. In: Aleksic J, Alexa A, Attwood TK et al. An Open Science Peer Review Oath, F1000Research 2015, 3:271, http://dx.doi.org/10.12688/f1000research.5686.2 wird ein OPR-Eid vorgeschlagen, den wir gerne für das Open Peer Review-Verfahren der Informationspraxis übernehmen würden (eigene Übersetzung aus dem Englischen):

Seit rund einer Woche sind die ersten drei Beiträge im Open Peer Review-Verfahren als Preprint im Blog der Informationspraxis veröffentlicht. Es wäre übertrieben zu sagen, das OPR sei erfolgreich gestartet. Ein gründliches Review benötigt seine Zeit, und wir haben dafür ja auch vier Wochen vorgesehen. Es gab aber bereits erste Reaktionen, und deshalb erlaube ich mir auch erste Gedanken dazu.

Zunächst die Erfolgsmeldung: ja, es gab tatsächlich einen fachlichen Kommentar auf einen der Beiträge in der Kommentarfunktion des Blogs. So haben wir uns das vorgestellt: Bemerkungen zu Fehlern oder Verbesserungsvorschläge werden hier als Kommentar geäussert. Diese Kommentare wird die Redaktion sammeln und dann kommentiert an die Autorinnen und Autoren nach Abschluss des OPR schicken. Zur Erinnerung: OPR soll das klassische Peer Review ersetzen. Sie dürfen sich also ruhig angesprochen fühlen, wenn Sie ein Thema interessiert und den Beitrag eingehend korrigieren und kommentieren möchten.

Neben dem offiziellen Weg zeichnen sich auch einige andere Kanäle ab, auf denen Kommentare geäussert werden, die zum Open Peer Review zählen können: Da gibt es ein direktes Mail an den Autor/die Autorin, in dem gewisse Informationen berichtigt werden. Dieser Kanal ist kein offener. Aber vielleicht wird dieser Weg öfter genutzt, weil man sich (als Kommentator/Kritiker) nicht öffentlich äussern will, sondern sein Anliegen direkt der Auorin/dem Autor unterbreiten will. Das ist zwar nicht eigentlich OPR, aber der Qualitätssicherung dient dies auch.

Dann gab es eine Diskussion auf Twitter. Hier hat ein zitierter Autor bemerkt, dass etwas nicht stimmen kann. In der Diskussion mit anderen Usern auf Twitter hat sich dann herausgestellt, dass das Zitat einem falschen Autor zugewiesen wurde. So wurde der Fehler erkannt, und der Autor wird dies in der Überarbeitung korrigieren. Ich finde dieses OPR via Twitter spannend, auch wenn es nicht der eigentlich beabsichtigte Weg ist…

Screenshot: Diskussion auf Twitter zu Beitrag im OPR

Und schliesslich hat heute Klaus Graf in seinem Blog alle drei Beiträge einer eingehenden Kritik unterzogen. Klaus Graf misstraut erklärtermassen der Moderation des Blogs der Informationspraxis. Deshalb veröffentlicht er seine Kritik in seinem eigenen Blog und bittet die Redaktion per Mail darum, die Autorinnen und Autoren darüber in Kenntnis zu setzen. Wie wir schon verlautbart haben, geht es bei der Moderation der Kommentare im Blog darum, die AutorInnen zu schützen. Wir haben die erklärte Absicht, auch Personen aus der Fachpraxis und Studierende als AutorInnen für die Informationspraxis zu gewinnen. Wenn man bei seinem ersten Publikationsversuch dann öffentlich zerpflückt wird, ist das nicht im Sinn der Sache. Wobei ich mir durchaus vorstellen kann, dass wir den Artikel einer Erstautorin/eines Erstautors bereits vor der Veröffentlichung im OPR etwas genauer anschauen und eine erste Überarbeitung verlangen oder allenfalls einen Beitrag zurückweisen, um den oben genannten Effekt der Demotivation und Demoralisierung zu vermeiden.

Inhaltlich sind Klaus Grafs Kommentare und Korrekturen ganz im Sinne des OPR. Genau so stelle ich mir Kommentare im Rahmen des OPR vor – bis auf die Einleitungen, in denen Klaus Graf aufzeigt, wie er zu den einzelnen Autorinnen und Autoren steht. Ich erwarte einfach, dass die Kommentare sachlich sind (was sie mir durchaus scheinen Ergänzung vom 6.3.: eine Präzisierung dazu findet sich im Kommentar unten). Wir müssen davon ausgehen, dass ReviewerInnen und AutorInnen sich in unserer überschaubaren Community kennen und dass es hier Sympathien und Animositäten gibt. Gerade deshalb macht ja das klassische Peer Review wenig Sinn, da die Anonymität nicht gewährleistet werden kann.

Klaus Graf spricht in seinem Tweet zum Blogpost von „erheblichen redaktionellen Mängeln in Informationspraxis“. Aus meiner Sicht handelt es sich bei den von ihm angesprochenen Kritikpunkten jedoch nicht um redaktionelle Mängel, sondern um beabsichtigte Elemente (vielleicht Risiken und Nebenwirkungen) des Open Peer Review-Prozesses. Im Vorfeld prüfen wir eingegangene Fachartikel nur formal (passt der Beitrag zur Informationspraxis) und orthografisch (siehe Beschreibung des OPR-Verfahrens der Informationspraxis). Danach geht der Beitrag als Preprint in die öffentliche Begutachtung. Wobei wir nicht behaupten, dass dies der Weisheit letzter Schluss sei. Wir sind dabei, erste Erfahrungen mit OPR zu sammeln. Und wir sind bereit, das Verfahren anzupassen, wenn sich dies als sinnvoll oder nötig erweisen sollte. Das könnte bedeuten, dass wir vor dem OPR ein gründlicheres Review durch Redaktion oder GutachterIn durchführen lassen oder dass wir uns sogar komplett vom OPR verabschieden, wenn es mittelfristig keinen Mehrwert erzeugt.

Deshalb möchten wir Sie alle ermuntern, für das OPR-Verfahren Verantwortung zu übernehmen und Beiträge zu kommentieren, die Sie inhaltlich ansprechen!