Illustration einer Lotterie Kugelmaschine
Interview

Hohe Akzeptanz für Projektauswahl per Lotterie

Im Interview berichten Dr. Dagmar Simon und Dr. Martina Röbbecke von Evaconsult über erste Ergebnisse aus ihrem Begleitforschungsprojekt zum teilrandomisierten Verfahren in der Förderinitiative "Experiment!".

In ihrer Förderinitiative "Experiment!" unterstützt die VolkswagenStiftung Wissenschaftlerinnen und Wissenschaftler, die besonders innovative und risikoreiche Forschungsideen in den Natur-, Lebens- und Technikwissenschaften erkunden. Seit 2017 ermittelt die Stiftung einen Teil der geförderten Projekte über eine teil-randomisierte Auswahl per Los – zusätzlich zu Entscheidungen durch eine unabhängige Jury. In ihrem wissenschaftlichen Begleitforschungsprojekt untersuchen Dagmar Simon und Martina Röbbecke die Effekte dieses Verfahrens. Ein Zwischenbericht.

Loskugeln Ziehung

8 Thesen für ein Loselement

Die Thesen basieren auf Erfahrungen mit dem Verfahren und auf ersten Ergebnissen aus der Begleitforschung.

Mehr erfahren

Was war Ihr erster Gedanke, als Sie davon hörten, dass die VolkswagenStiftung geförderte Projekte per Los auswählen möchte? 

Dagmar Simon: Mutig, das war mein erster Gedanke, notwendig mein zweiter. In der Wissenschaftsforschung wird schon seit Jahrzehnten darauf hingewiesen, dass Peer Review als das anerkannte Bewertungssystem in der Wissenschaft auch seine "Tücken" hat: vor allem die konservativen Bewertungsmaßstäbe – gefördert wird häufig sogenannte "Mainstreamforschung –, die mangelnde Übereinstimmung in den Urteilen von Gutachterinnen und Gutachtern und geschlechtsspezifische Urteilsverzerrungen werden immer wieder thematisiert. Und wissenschaftspolitisch ist in den letzten Jahren verstärkt die Überlastung des Begutachtungssystems beklagt worden –  ausgelöst nicht zuletzt durch das exponentielle Wachstum der Wissenschaft und der Drittmittelförderung, deren Anträge nun mal begutachtet werden müssen. 2017 hat auch der Wissenschaftsrat empfohlen, über Losverfahren als ergänzendes Verfahren zum Peer Review nachzudenken. Die VolkswagenStiftung hat nicht nur nachgedacht, sondern gehandelt.  

Dr. Dagmar Simon

Dr. Dagmar Simon

Hat sich die Idee aus Ihrer Sicht bewährt?

Dagmar Simon: Das ist wahrscheinlich zu früh, um hierzu generalisierbare Aussagen zu treffen. Ich möchte hier die Sicht der befragten Geförderten einnehmen. Sie sehen in dem Losverfahren bessere Chancen für riskante Forschung, für mehr thematische und methodische Diversität, Chancen für die in der Jury schwach vertretenen Fächer, aber auch  – wenn auch zu einem geringeren Teil - die Gefahr eines geringeren Reputationsgewinns bei einer Bewilligung. Sie schätzen die Praxis, dass die VolkswagenStiftung nicht veröffentlicht, wer via Peer Review bzw. Losverfahren gefördert wird, hätten damit allerdings mehrheitlich auch keinerlei Probleme. Insofern sehen wir hier eine breite Akzeptanz.  

Wie sind Sie für Ihr Begleitforschungsprojekt vorgegangen?

Martina Röbbecke: Wir konzentrieren uns in der Begleitforschung auf zwei Themenfelder: Zum einem auf "riskante" Forschung und die Frage, ob es mit der Förderlinie "Experiment!" gelingt, riskante und originelle Forschungsfragen zu identifizieren. Dieses Ziel stand ja in den Anfangsjahren von 2013 bis 2016 im Zentrum der Förderinitiative und ist schon deshalb ambitioniert, weil bei der Förderung riskanter Forschung große Unterschiede zwischen den verschiedenen Fächergruppen berücksichtigt werden müssen. Zum anderem untersuchen wir, welche Wirkungen die beiden verschiedenen Auswahlverfahren haben, denn die Geförderten sind teilweise durch Peer Review und teilweise durch ein Losverfahren ausgewählt worden. 

Dr. Martina Röbbecke

Dr. Martina Röbbecke 

Die üblichen Erfolgskriterien wie etwa Publikationen in angesehenen Fachzeitschriften sind nur begrenzt aussagefähig, da die Zeitspanne zwischen Ende der Förderung und Erhebung dafür oftmals zu kurz ist. Außerdem ist davon auszugehen, dass "riskante" Forschungsprojekte, die auch scheitern können oder nur auf Umwegen zu Teilergebnissen führen, zwar wichtig für die weiteren Forschungsarbeiten oder die wissenschaftliche Karriere sind, sich jedoch nicht rasch in Publikationsaktivitäten niederschlagen. Um die verschiedenen Fördereffekte kennen zu lernen, stützen wir uns daher im Wesentlichen auf Befragungen der Geförderten und ihre Einschätzungen. Die Auswertung der Online-Befragungen und der Interviews erlaubt uns schon jetzt, wichtige Effekte der Förderlinie zu beobachten und auch disziplinenspezifische Wirkungen zu identifizieren.

Illustration Forscher balanciert auf Seil

In ihrer Initiative "Experiment! – Auf der Suche nach gewagten Forschungsideen!" setzt die VolkswagenStiftung zusätzlich zu den Juryentscheidungen ein teil-randomisiertes Verfahren ein.

Mehr erfahren

Was hat Sie bei Ihrer Begleitforschung am meisten überrascht?

Dagmar Simon: In den Interviews haben wir die Geförderten gefragt, ob es denn für ihr Forschungsvorhaben eine alternative Fördermöglichkeit bei den bekannten öffentlichen Forschungsförderorganisationen gegeben hätte. Die übereinstimmende Antwort aus den Lebens-, Natur- und Ingenieurwissenschaften war eindeutig nein. Ohne einen direkten Bezug auf den State of the Art in den jeweiligen Disziplinen und dem Nachweis eigener Publikationen zu dem Vorhaben hätte ihrer Meinung nach eine Einreichung keinerlei Chancen gehabt. Auch eine Realisierung durch die Grundfinanzierung an den Universitäten oder außeruniversitären Forschungseinrichtungen wurde mehrheitlich skeptisch betrachtet. Und wir haben es keineswegs mit unerfahrenen Wissenschaftlerinnen und Wissenschaftlern zu tun.  72 Prozent der Geförderten aus der Online-Befragung 2019 hatten bspw. erfolgreich Drittmittel eingeworben.

Ihre Einschätzung hat uns in dieser Eindeutigkeit schon frappiert. Denn neues riskantes und noch nicht abgesichertes Wissen ist essentiell für den wissenschaftlichen Fortschritt. Es wird sehr spannend werden, die Wirkungen dieser Forschungsförderung und ihrer Bedeutung für das Wissenschafts- und Innovationssystem mit wissenschaftspolitischen Akteuren zu diskutieren.  

Können Sie sich ein randomisiertes Verfahren auch für andere Förderangebote vorstellen?

Martina Röbbecke: Schon heute gibt es in Deutschland, aber auch in anderen Ländern, ein großes Interesse an der Förderlinie "Experiment!". Das ist nicht verwunderlich, da die VolkswagenStiftung damit gleich mehrere strukturelle Probleme des Wissenschaftssystems aufgegriffen hat, die beispielsweise neben der Überlastung des Gutachtersystems über Fragen der Interdisziplinarität auch Karriereperspektiven des wissenschaftlichen Nachwuchses berühren.

Unsere bisherigen Ergebnisse zu "Experiment!" zeigen bereits jetzt, dass ein randomisiertes Verfahren darauf eine Antwort geben kann – allerdings nur unter bestimmten Rahmenbedingungen. So hängt die bisher beobachtete hohe Akzeptanz der Geförderten sicherlich auch damit zusammen, dass die Fördersumme relativ klein und die Laufzeit begrenzt ist.

Außerdem haben sicherlich auch andere Elemente des Auswahlverfahrens wie etwa der geringe Aufwand für die Antragstellung dazu beigetragen, dass das Interesse der Bewerberinnen und Bewerber weiterhin hoch ist. Wir werden in unseren Untersuchungen die förderlichen Rahmenbedingungen für randomisierte Verfahren weiter im Blick behalten.

Wie geht es jetzt weiter?

Martina Röbbecke: Wir wollen unsere ersten Ergebnisse baldmöglichst mit anderen Wissenschaftlerinnen und Wissenschaftlern diskutieren. Dafür und für einen Erfahrungsaustausch mit internationalen Gästen planen wir einen Workshop zur Mitte 2021, zu dem auch Vertreterinnen und Vertreter von Förderorganisationen und aus der Wissenschaftspolitik eingeladen werden sollen. Vor allem aber werden wir weitere Interviews mit den Geförderten führen und mit ihnen auch die Auswirkungen der Corona-Pandemie auf ihre Forschungsarbeiten erörtern.

Lostrommel

Teil-randomisiertes Verfahren

Infografik, Hintergründe, Reaktionen und Begleitforschung zu einem ungewöhnlichen Auswahlverfahren.

Mehr erfahren
Grafik Breakthroughs of the year 2020

Teil-randomisiertes Verfahren unter den "Breakthroughs of the year" bei "Falling Walls"

Das teil-randomisierte Verfahren der VolkswagenStiftung war unter den 10 Finalisten des Wettbewerbs "Breakthroughs of the year 2020" der Falling Walls Foundation in der Kategorie "Science and Information Management". 

Mehr erfahren

Mehr zum Thema