Externe Evaluationen

Die VolkswagenStiftung versteht sich als "lernende Organisation". Qualitätssicherung ist für sie ein zentrales Thema. Das gilt insbesondere für das Kerngeschäft der Stiftung: die Wissenschaftsförderung. In allen Stufen des Förderprozesses – von der Entwicklung neuer Förderangebote, über die Antrags- und Begutachtungsverfahren, das begleitende Monitoring laufender Fördervorhaben bis zum Abschluss einzelner Fördervorhaben oder ganzer Förderangebote – sind Verfahren der Qualitätssicherung etabliert.

Zusätzlich hat die Stiftung 2005 das Instrument der "externen Evaluationen" eingeführt. Unabhängige Expert(inn)en hinterfragen dabei Ideen, Konzepte, Instrumente und Verfahren der Stiftung. Die externen Evaluationen dienen dazu, Funktionsfähigkeit und Zielerreichung von Förder- und Managementmaßnahmen zu bewerten und Zukunftsperspektiven aufzuzeigen. 

Evaluationen setzen dabei – wie die Grafik zeigt – oberhalb von Einzelprojekten auf Ebene der Förderinitiativen, der Förder- und Managementbereiche sowie der gesamten Institution an.

Der in der Stiftung entwickelte Evaluationsansatz vereint methodisch-qualitative Standards mit spezifischen Freiheitsgraden je Evaluationsgegenstand. Wichtigster Grundsatz für Evaluationen ist, diese anlass- und bedarfsorientiert durchzuführen.

Folgende Standards gelten für alle Evaluationsverfahren:

Terms of Reference: Die Ziele und der Rahmen einer Evaluation werden in konkreten Fragen formuliert.

Selbstbericht: Der IST-Zustand, die Problemlagen und die stiftungseigenen Zukunftsvisionen zum Evaluationsgegenstand werden in einem Bericht zusammenfassend dargestellt.

Evaluationspanel: Ein spezifisch für jede Evaluation rekrutiertes Panel besteht aus bis zu sieben exzellenten externen Expert(inn)en, die offen für neue Ideen, Methoden und den Blick über disziplinäre Grenzen sind.

Zeitpunkt der Evaluation: Evaluationen werden üblicherweise im Laufe (mid-term) von Maßnahmen durchgeführt, um Empfehlungen direkt umsetzen zu können. In Einzelfällen führt die Stiftung resümierende ex-post-Evaluationen durch. Die Gesamtevaluation der Institution erfolgt etwa alle acht bis zehn Jahre.

Methoden: Innerhalb eines Evaluationsverfahrens werden immer mehrere Methoden zur Erkenntnisgewinnung genutzt, wie z. B. Teilnahme an Symposien, Befragungen und Tiefeninterviews.

Bewertung: Die Bewertung durch das Evaluationspanel erfolgt überwiegend qualitativ (peer review); ergänzend werden quantitative Indikatoren genutzt (informed peer review).

Ergebnispräsentation: Die Evaluationsergebnisse und -empfehlungen werden dem Kuratorium und der Geschäftsleitung der Stiftung in einer Kuratoriumssitzung durch die/den Panelvorsitzende(n) präsentiert und diskutiert.

Umsetzung: Der evaluierte Arbeitsbereich legt dem Kuratorium in der auf die Präsentation folgenden Sitzung eine detaillierte Stellungnahme zu den Ergebnissen und Empfehlungen der Evaluation vor.

Organisatorisch hat sich die Stiftung folgenden Rahmen gesetzt:

Dauer: Evaluationsverfahren haben inklusive einer intensiven Vorbereitung eine Dauer von neun bis zwölf Monaten.

Kosten: Evaluator(inn)en erhalten für ihre Arbeit eine Aufwandsentschädigung in Form eines Sitzungsgeldes und eine Erstattung ihrer Reisekosten.

Involvierte Stiftungsmitarbeiter(innen): Die Vorbereitung und organisatorisch-methodische Begleitung der Evaluation und des Panels erfolgt durch die Mitarbeiterin für Evaluation. Die Erstellung des Selbstberichtes ist Aufgabe des zu evaluierenden Bereichs. Der Generalsekretär ist an jeder Evaluation konzeptionell beteiligt.

Transparenz: Evaluationen dienen dem stiftungsinternen Lernen. Die Evaluationsberichte werden nicht veröffentlicht.

Evaluationen der VolkswagenStiftung

Bis Mitte 2017 hat die Stiftung Evaluationen von zehn Förderinitiativen sowie fünf Förder- und Managementbereichen abgeschlossen. 2011/2012 stellte sie sich einer ersten Gesamtevaluation; 2019/2020 soll die zweite Gesamtevaluation folgen.

Eine Evaluation zum Förderhandeln startet im September 2017. Evaluationen zur Vermögensanlage und zu den Bereichen Finanzen & Verwaltung sind für 2018/2019 geplant.

Publikationen

Saß, U. (2017): Externe Evaluationen brauchen internes Vertrauen, in: duz – Deutsche Universitätszeitung, 06/2017, S. 61-63.

Reinhardt, A., Saß, U., Heidler, R. (2016): Evaluation with sound judgment: Conference on "Evaluation of research funding: Review, insight, outlook”, in: fteval-Journal  for Research and Technology Policy Evaluation, Issue 42, November 2016, S. 44-47.

Saß, Uta (2014): Wir wollen es wissen: Warum Stiftungen fragen (sollten), wie sie wirken, in: Stiftung  & Sponsoring 04/2014, S. 18-20.

Saß, Uta (2010): Evaluationen – Instrumente der Qualitätssicherung der VolkswagenStiftung, in: Zeitschrift für Evaluation (ZfEv) 1/2010, S. 143-152.