Übersetzt mit freundlicher Unterstützung von Academic Language Experts. (Translation courtesy of Academic Language Experts)

Anmerkung der Redaktion: Der heutige Beitrag stammt von Avi Staiman. Avi ist Gründer und CEO von Academic Language Experts, einem Unternehmen, das Akademiker:innen gezielt dabei unterstützt, ihre Forschung für die Veröffentlichung vorzubereiten und einer weltweiten Leserschaft zugänglich zu machen.

Das Peer-Review-Verfahren kann Autorinnen und Autoren dabei helfen, ihre Argumente zu überdenken und zu präzisieren. So wurden beispielsweise Impfstoffe, die von führenden pharmazeutischen Unternehmen im Kampf gegen Covid-19 entwickelt wurden, von Wissenschaftler:innen überall auf der Welt eingehend geprüft. Dabei war das Peer-Review-Verfahren von entscheidender Bedeutung, um die Richtigkeit der Forschung sicherzustellen und Optimierungen und Verbesserungsmöglichkeiten aufzuzeigen. Das Vertrauen in wissenschaftliche Überprüfungsprozesse im Allgemeinen und die Peer-Review im Besonderen wurden auf den Prüfstand gestellt, und die Verlässlichkeit und Transparenz des beschleunigten Begutachtungsverfahrens waren für einen großen Teil der öffentlichen Diskussion entscheidend.

Tatsächlich weist das Peer-Review-Verfahren in Bezug auf wissenschaftliche Artikel zahlreiche Schwachstellen auf, weshalb es in den vergangenen Jahren von unterschiedlichen Seiten bemängelt wurde. Kritische Stimmen verweisen darauf, dass bei der Peer-Review grundlegende Fehler in veröffentlichten Aufsätzen übersehen werden, was zu problematischen Forschungsergebnissen führt, die in der Folge zurückgezogen werden müssen; andere wiederum bemängeln, dass die Peer-Review zu verzerrten Resultaten führen kann. Dazu kommen Probleme wie der Umstand, dass Peer-Reviews tendenziell langsam und teuer sind und dass die Gutachter:innen im Allgemeinen nicht entlohnt werden. Darüber hinaus haben sie häufig bei weitem weniger Forschungserfahrung als jene Wissenschaftler:innen, deren Arbeit sie begutachten.

Diese berechtigte Kritik geht im Allgemeinen nicht so weit zu empfehlen, Peer-Reviews zugunsten einer alternativen Lösung abzuschaffen. Somit bleibt es das zentrale Verfahren, in dessen Rahmen wissenschaftliche Erkenntnisse analysiert, kritisiert, überprüft und ausgefeilt werden.

In meiner Arbeit als CEO eines Dienstleistungsunternehmens für Autor:innen begegnen mir jede Woche Dutzende dieser Gutachten und mich beunruhigt die Tatsache, dass sich die vorherrschenden Haltungen und Vorgehensweisen, die in diesen Gutachten zum Ausdruck kommen, meiner Wahrnehmung nach kontinuierlich verschlechtern, besonders in Hinblick auf Fachzeitschriften. Es scheint, als verstünden viele Gutachter:innen ihre primäre Aufgabe darin, die Argumente und die Methodik der Manuskripte zu entwerten, oft ohne jede Rücksicht darauf, wie die Autor:innen die Kommentare aufnehmen könnten oder ob auf die jeweiligen Kritikpunkte eingegangen und der Text entsprechend korrigiert werden kann.

Statt ein pädagogischer Prozess zu sein, der Wissenschaftler:innen dabei hilft, ihre Forschung zu verbessern und Fehler zu identifizieren, ist das Peer-Review-Verfahren vielmehr zu einem Kampfplatz geworden, auf dem es akzeptabel scheint, andere zu kritisieren und schlechtzumachen. So schildert zum Beispiel Adriana Romero-Olivares, Professorin für Mikrobielle Ökologie an der New Mexico State University, die demoralisierende Erfahrung, die sie machte, als Gutachter:innen die Sprache und den Schreibstil ihres Artikels en détail kritisierten, ohne sich auch nur die Mühe zu machen, auf die zugrunde liegenden wissenschaftlichen Erkenntnisse einzugehen. Eine Facebook-Gruppe namens ‚Reviewer 2 must be stopped‘ hat zehntausende Mitglieder, die dort ihre schlechten und manchmal schockierenden im Rahmen von Gutachten gemachten Erfahrungen teilen.

Derweil verfallen Autor:innen in den ‚Kampf-oder-Flucht-Modus‘, indem sie in entsprechender Weise auf die Gutachten reagieren oder die Forschung gänzlich einstellen. Sie fühlen sich angegriffen, was entweder zur Folge hat, dass sie ihren Ansatz unnachgiebig verfolgen oder dass sie an der Qualität der eigenen Forschung und sogar an den eigenen Kompetenzen zweifeln. Die Gutachter:innen werden als ‚Stachel im Fleisch‘ empfunden, die Manuskripte ablehnen, scheinbar ohne ihre Verantwortung zu erkennen und darzulegen, was sie anders gemacht hätten oder was die Autor:innen tun können, um ihre Arbeit zu verbessern.

Kollateralschäden eines reformbedürftigen Peer-Review-Verfahrens

Das anonyme Begutachtungssystem macht es schwierig, einen konstruktiven Dialog zu führen und hinterlässt bei Autor:innen Gefühle der Hilflosigkeit und Frustration, da sie nicht wissen, was die Gutachter:innen von ihnen wollen oder wie sie ihre Forschung verbessern können. Dies ist besonders häufig bei jüngeren Wissenschaftler:innen der Fall, die weniger Erfahrung damit haben, abgelehnt zu werden und zu durchschauen, wie sie die Kommentare der Gutachter:innen (sowohl auf der kognitiven wie der emotionalen Ebene) aufnehmen sollen. Manchmal kann allein schon der Versuch, die Kommentare zu entziffern, zur Herkulesaufgabe werden. Das trifft besonders auf Artikel zu, die von Autor:innen verfasst wurden, für die Englisch eine Zweitsprache ist und deren Methoden sowie Schreibkonventionen sich häufig von denen anderer Gutachter:innen unterscheiden.

Peer-Reviews, die besonders kritisch oder gar vernichtend sind, ohne dabei konkrete Anhaltspunkte für Verbesserungen zu liefern, können dazu führen, dass Forschungsarbeiten für immer auf den Laptops der Autor:innen verschwinden, da diese sich nicht mehr trauen, ihr Manuskript an eine andere Zeitschrift zu schicken und einen zweiten Versuch zur Veröffentlichung anzustellen. Es erscheint ironisch, dass einige der weltweit größten Verlage, die ihren Zeitschriftenkatalog so schnell wie möglich erweitern wollen, es sich letztlich mit Wissenschaftler:innen verleiden, sie davon abhalten, ihre Arbeiten einzureichen und zu veröffentlichen – und zwar aufgrund der frustrierenden Erfahrungen, die mit dem Begutachtungsverfahren verbunden werden.

Es sollte natürlich darauf hingewiesen werden, dass sich die Gutachten je nach Person, die sie verfasst, unterscheiden, und dass sich einige Gutachter:innen durchaus um einen pädagogischen Ansatz bemühen, um ihren Kolleg:innen dabei zu helfen, zu verstehen, wodurch sich ihre Arbeit verbessern ließe. Nicht zu vernachlässigen ist auch die Tatsache, dass einige Gutachter:innen ihre Arbeit als ‚Ehrenamt‘ betrachten und die Zeit, die sie in wohl überlegtes Feedback investieren, den Prioritätsgrad wiederspiegeln mag, der solchen Gutachten beigemessen wird. In vielen Fällen werden die Gutachten sorgfältig von der Redaktion durchgesehen, wobei etwaige erniedrigende oder anderweitig irrelevante Kritik entfernt wird. Gleichwohl hat die globale Reichweite digitaler Fachzeitschriften und der Übergang zum Open Access Anreize für Verlage geschaffen, immer mehr Zeitschriften herauszugeben und so schnell wie möglich eine große Anzahl von Artikeln zu publizieren, was Redakteur:innen immer stärker unter Druck setzt und ihre Möglichkeiten einschränkt, eine gewissenhafte Kontrolle zu gewährleisten.

Eine solch kritiklastige Herangehensweise reicht über das Peer-Review-Verfahren hinaus und durchdringt auch viele andere Bereiche des akademischen Alltags. Forschungsstudierende lernen schnell, dass von Wissenschaftler:innen erwartet wird, einander im Laufe der Karriere Schlagabtausche zu liefern. Die daraus resultierenden Gefühle der Einsamkeit und Isolation sollten niemanden überraschen. Wir müssen uns fragen, welche Einstellung und welches Verhalten uns als Forschenden durch die kritische Begutachtung antrainiert wird und ob sie uns tatsächlich dazu ermutigt, zu unserer Hochform aufzulaufen oder uns vielleicht eher daran hindert, uns weiterzuentwickeln und unsere Arbeit zu verbessern? Sind wir eine ‚Wissenschaftsgemeinschaft‘ oder haben wir stattdessen gelernt, unsere eigene Arbeit dadurch aufzuwerten, dass wir die von anderen niedermachen?

Wissenschaft profitiert von konstruktiver Kritik

Um eins klarzustellen: Ich schlage nicht vor, das Peer-Review-Verfahren in irgendeiner Weise weniger gründlich zu gestalten, noch denke ich, dass Gutachter:innen ihre Kritik in eine unnötig schmeichelhafte Sprache einkleiden sollten, um zu vermeiden, jemandes Gefühle zu verletzten. Die Fähigkeit, Feedback und Kritik entgegenzunehmen und das Wissen darum, wie man mit Ablehnung umgeht, sind ein essenzieller Bestandteil des akademischen Reifungsprozesses. Tatsächlich kann es passieren, dass Forschungsarbeiten, die zunächst abgelehnt wurden, letztlich erfolgreicher sind als diejenigen, die bereits beim ersten Versuch angenommen wurden.

Ich denke, dass das Peer-Review-Verfahren über ein schablonenhaftes System für die Durchsicht und Auswahl der ‚besten‘ oder ‚innovativsten‘ Forschung hinausgehen sollte. Vielmehr sollte es als ein pädagogischer Prozess verstanden werden, in dessen Rahmen die Gutachter:innen den Autor:innen dabei helfen, ihre Methoden zu verfeinern, die Argumente weiterzuentwickeln und alternative Perspektiven in Betracht zu ziehen.

Diese Sicht auf das Peer-Review-Verfahren gibt es schon seit langer Zeit. Die älteste uns bekannte Form dessen, was wir im Allgemeinen als Peer-Review bezeichnen, stammt aus dem 9. Jahrhundert. Ishāq ibn ʻAlī al-Ruhāwī, Autor der Ethik des Arztes, schrieb vor, dass Ärzte nach Patientenbesuchen Aufzeichnungen anfertigen sollten, die dann von einem Rat aus Medizinern begutachtet würden, um die Qualität der Versorgung festzustellen. Das Feedback wurde daraufhin mit dem Arzt geteilt, um ihn zur Reflexion und Weiterentwicklung zu veranlassen.

Solange Forschende ihre Rolle als Lehrende beibehalten, liegt es in unserer Verpflichtung und Verantwortung, unsere Peers nicht anzugreifen, sondern richtungsweisend für ihre Entwicklung zu sein. Mit anderen Worten, das Peer-Review-Verfahren besitzt das Potenzial aus einer toxischen, destruktiven Erfahrung in eine konstruktive verwandelt zu werden. Aber wie können wir vorgehen, um das zu erreichen?

Ein pädagogischer Ansatz für das Peer-Review-Verfahren

Ein Format, das nicht nur Autor:innen und Gutachter:innen, sondern auch Verlagshäusern zusagen könnte, nimmt sich ein Beispiel an der Art und Weise, wie geistes- und sozialwissenschaftliche Verlage vorgehen und wie dort Manuskripte begutachtet werden.

Einer der größten Unterschiede im Einreichungsprozess bei Verlagen der Geistes- und Sozialwissenschaften und Fachzeitschriften der MINT-Fächer besteht darin, dass die mit Akquise und Autor:innenbetreuung betrauten Lektor:innen in den Schreibprozess involviert sind, noch bevor das Manuskript fertiggestellt ist (und manchmal sogar bevor es überhaupt ein Manuskript gibt). Dieser Prozess beginnt in einem relativ frühen Stadium des Schreibvorgangs, wodurch für Lektor:innen ein Anreiz geschaffen wird, den Autor:innen zu helfen und sie unter Vertrag zu nehmen, bevor ihnen andere Verlage zuvorkommen. Man denke auch an den steigenden Gebrauch von Preprints als einen Punkt, an dem Redakteur:innen in den Prozess einsteigen und die Zusammenarbeit mit den Autor:innen beginnen könnten. (Darüber hinaus mag es hilfreich sein, dass Buchexposés gleichzeitig bei verschiedenen Verlagen eingereicht werden können).

Lektor:innen sind häufig Personen, die neue Ideen und Bücher lieben und Autor:innen gern dabei unterstützen, das ganze Potenzial ihrer Manuskripte zu entfalten. Der Austausch zwischen den Autor:innen und den für die Akquise wie Betreuung zuständigen Lektor:innen gestaltet sich in der Regel durchaus positiv und konstruktiv, und die dabei entstehenden Manuskripte profitieren stark von dieser Zusammenarbeit. Im Gegensatz dazu sind Lektor:innen im MINT-Bereich nur begrenzt an der Forschung beteiligt und ihnen wird eher die Rolle von ‚Gatekeepern‘ zugeschrieben.

Wenn Lektor:innen mehr Zeit dafür hätten, mit Wissenschaftler:innen zu arbeiten, deren Forschung grundsätzlich aussichtsreich ist, aber einer Anleitung sowie Fokussierung bedarf, könnten die dabei entstehenden Ergebnisse erheblich verbessert werden. Verlage, die ihren wissenschaftlichen Beitrag vergrößern wollen, könnten sich bei Autor:innen einen Namen machen als besonders hilfreich und konstruktiv (Worte, die in Bezug auf akademische Verlage nur selten zu hören sind); dies könnte einen Anreiz für Autor:innen schaffen, ihre Arbeit dort einzureichen, wo ihnen Aufmerksamkeit und Sorgfalt zuteilwerden. Dieses partnerschaftliche Mitwirken könnte außerdem dazu beitragen, die Angst von Wissenschaftler:innen vor Fehlern zu lindern und die Wahrscheinlichkeit, abgelehnt zu werden, zu senken. Wenn auch nicht für jeden Artikel die von einigen geistes- und sozialwissenschaftlichen Fachzeitschriften empfohlenen 130 Stunden professioneller Betreuung aufgebracht werden, so würde sich die Schaffung einer Redaktionskultur, in der die Funktion von Redakteur:innen weniger darin besteht, Gründe dafür zu finden, ein Manuskript abzulehnen und eher darin, Verbesserungsmöglichkeiten aufzuzeigen, für Verlage bezahlt machen, besonders in der heutigen Zeit, in der die Erfahrungen von Autor:innen ein zunehmend wichtiges Unterscheidungsmerkmal zwischen einzelnen Zeitschriften darstellen. Da die Geschäftsmodelle von Fachzeitschriften immer stärker von der Anzahl der veröffentlichten Aufsätze bestimmt werden, könnten Maßnahmen, die potenziell dazu führen, dass mehr Artikel eingereicht und in der Folge eine größere Anzahl hochkarätiger Artikel veröffentlicht werden, die mit diesen zusätzlichen Bemühungen verbundenen Kosten potenziell decken.

Fazit

Würden wir die Weiterbildung und den Fortschritt der wissenschaftlichen Community in den Mittelpunkt unserer Peer-Review-Anstrengungen stellen, würden wir nicht nur den Wissenschaftler:innen auf beiden Seiten des Begutachtungsverfahrens einen Dienst erweisen, sondern auch der Allgemeinheit, die die resultierenden Erkenntnisse finanziert und von diesen profitiert. So würde ein positiver und konstruktiver Dialog zwischen Autor:innen und Gutachter:innen den Autor:innen dabei helfen, ihre Forschungsarbeiten zu optimieren und besser mit Kritik umzugehen. Eine solche Ausrichtung würde womöglich auch das Gefühl, ausgebeutet zu werden, verhindern und die Bereitschaft steigern, den Vorschlägen ernsthaft Zeit, Nachdenken und Beachtung zu schenken. Und schließlich (und das ist vielleicht am wichtigsten) würde die Forschung selbst davon profitieren, dass sie wissenschaftliche Erkenntnisse liefert, die auf Fakten und wissenschaftlichen Methoden basieren anstatt auf Egoismus, Stolz, Renommee und Selbstwert.

Natürlich würde es auch weiterhin viele Ablehnungen von Gutachter:innen geben, jedoch bestünde deren Rolle in erster Linie darin, konstruktive Verbesserungsvorschläge zu machen und eine Veröffentlichung zu empfehlen, anstatt Fehler zu identifizieren oder die Autor:innen persönlich anzugreifen. Ich denke, dass jede Zeitschrift, die eine solche Vorgehensweise umsetzt, zahlreiche Autor:innen anziehen würde. Wir sollten versuchen, den vernichtenden Charakter des Peer-Review-Verfahrens in etwas konstruktiveres umzuwandeln.