Distributed Peer Review: Studie zeigt Potential für schnellere und demokratischere Begutachtung
peterschreiber.media via stock.adobe.com
Eine neue RoRI-Studie zum Einsatz von Distributed Peer Review (DPR) in der VolkswagenStiftung zeigt, wie das Begutachtungsverfahren Förderentscheidungen beschleunigen und sie demokratischer machen kann.
Traditionell begutachten Gremien mit externen Expert:innen Förderanträge in zeit- und ressourcenintensiven Verfahren. DPR geht einen anderen Weg: Die Antragstellenden einer Ausschreibungsrunde begutachten sich gegenseitig. Dieser Ansatz wurde ursprünglich entwickelt, um die Forschungszeit an astronomischen Teleskopen fairer und effizienter zu verteilen, wird aber inzwischen auch in anderen Förderbereichen getestet.
Die VolkswagenStiftung erprobt das Verfahren in ihrer Förderinitiative "Aufbruch – Neue Forschungsräume für die Geistes- und Kulturwissenschaften" - und setzt das Verfahren damit erstmals in einem sozialwissenschaftlichen Setting ein. Die wissenschaftliche Begleitforschung für das Experiment hat das Research on Research Institute (RoRI) übernommen. Die jetzt veröffentlichten Studie vergleicht das DPR-Verfahren mit der von der Stiftung in derselben Antragsrunde parallel eingesetzten "konventionellen" Panelbegutachtung. Mit spannenden Ergebnissen.
Zentrale Ergebnisse des Vergleichs DPR-Panelbegutachtung
- Weniger Begutachtungsaufwand: Im Durchschnitt sank die von einer einzelnen Person aufgewendete Zeit für Reviews um rund 60 Prozent. Wird zusätzlich die Teilnahme an der Panel-Sitzung berücksichtigt, reduzierte sich die kombinierte individuelle Zeit sogar um etwa 87 Prozent.
- Mehr Aufmerksamkeit pro Antrag: Pro Antrag wurde unter DPR mindestens dreimal so viel Zeit für die inhaltliche Prüfung aufgewendet wie typischerweise im konventionellen Verfahren.
- Vergleichbare Qualität: Die neuen Bewerter:innen aus dem Kreis der Antragstellenden setzten die Bewertungskriterien mit derselben Konsistenz um wie erfahrene Panel-Mitglieder.
- Hohe Übereinstimmung: 8 von 10 der durch DPR zur Förderung vorgeschlagenen Anträge erreichten in der konventionellen Spur die finale Panelphase.
- Positive Resonanz: 83 Prozent der geförderten und 60 Prozent der nicht geförderten Antragstellenden äußerten sich positiv zur Teilnahme an künftigen Ausschreibungen mit DPR. Die Einreichungen stiegen zwischen der ersten und zweiten DPR-Runde um 18 Prozent; insgesamt gingen etwa 140 Anträge ein – ein Plus gegenüber den Vorjahren.
Einordnung der Ergebnisse
Die Studie geht über reine Machbarkeitsprüfungen hinaus: Durch den Parallelvergleich beider Verfahren auf denselben Anträgen ermöglicht sie eine direkte, belastbare Gegenüberstellung. Das RoRI betont: DPR könne die Zeit bis zur Begutachtung und Förderentscheidung verkürzen und zugleich hilfreiches, konstruktives Feedback für alle Beteiligten liefern – unabhängig vom Ausgang des Verfahrens. Insgesamt unterstreicht das Experiment das Potenzial von DPR als Weiterentwicklung des etablierten Peer-Review-Prinzips in einem stärker "demokratischen" statt "gatekeependen" Modus.
Blick über den Tellerrand
Auch andere Förderorganisationen testen bzw. skalieren DPR – unter anderem UK Research and Innovation, die US-amerikanische National Science Foundation und das National Institute of Food and Agriculture sowie der niederländische Forschungsrat. Viele Erfahrungen sind im neuen Leitfaden "Applicants as Reviewers: A Guide to Distributed Peer Review" zusammengefasst, der auf der RoRI-Website verfügbar ist.
