Skip to content

Forschungsprojekt E-Valuate

Wie wird das Regierungshandeln wirkungsvoller?

Der Koalitionsvertrag der Ampel-Regierung von 2021 formuliert das Leitbild eines digitalen, lernenden Staats. Der Staat kann aber nur lernen, wenn klar formuliert ist, welche Wirkung er mit seinen Maßnahmen erzielen möchte und wenn analysiert wird, ob diese Wirkung erreicht wird.

Teilen
Grafik: Eigene Darstellung Agora Digitale Transformation

Forschungsprojekt E-Valuate

Mit E-Valuate fördert das BMDV anwendungsorientierte Forschung für den lernenden Staat. Ziel des Forschungsprojekts E-Valuate ist es, Arbeitsmethoden und Vorgehensweisen für Wirkungsorientierung in der Ministerialverwaltung auf Bundesebene zu entwickeln. Dies erfolgt anhand der Begleitung der Umsetzung der Digitalstrategie der Bundesregierung. Es werden praktisch anwendbare Konzepte mit sechs Maßnahmenteams bis Ende 2025 erprobt und weiterentwickelt und die Erkenntnis der Öffentlichkeit zur Verfügung gestellt.

Bei der Umsetzung wird geprüft, ob und wie Daten- und KI-gestützte Analysemethoden einen Mehrwert für Wirkungsorientierung erzielen können. Das Forschungsprojekt führt keine klassische Wirkungsmessung für die Digitalstrategie der Bundesregierung oder einzelne Digitalisierungsmaßnahmen durch. Von den Erkenntnissen aus dem Projekt sollen über die Digitalstrategie hinaus vor allem zukünftige Strategieprozesse der Regierung und ihre Umsetzung in politische Maßnahmen profitieren. Die Umsetzung des Projekts erfolgt durch den Thinktank Agora Digitale Transformation gGmbH.

Derzeit sind digitalpolitische Ziele oftmals sogenannte Output-Ziele, beispielsweise: „Wir digitalisieren 575 OZG-Leistungen“. Wirkungs-Ziele gehen einen Schritt weiter und formulieren eine gesellschaftliche Veränderung. Diese Ziele zu formulieren und messbar zu machen ist schwer. Mittlerweile gibt es jedoch zahlreiche Erfahrungen aus Unternehmen, Behörden und NGOs im In- und Ausland, wie Wirkungsorientierung und -analyse bei der Umsetzung von Digitalisierungszielen gelingen können. Staatliche Akteure können auf diesen Erfahrungen aufbauen und sie selbst weiterentwickeln, um eine nachhaltige digitale Transformation zu ermöglich und das Leitbild des digitalen, lernenden Staates zu erreichen.

In der Umsetzung von Digitalpolitik spielt Wirkungsorientierung, gegebenenfalls unter Einbeziehung von Data Science und KI-Methoden, bisher keine zentrale Rolle. Deshalb wurde im Monitoringkonzept der Digitalstrategie des Bundes verankert, dass Methoden zur Wirkungsorientierung für die Maßnahmen der Strategie entwickelt werden. Die Informationen zur Projektförderung sind hier zusammengefasst.

Projekt-Durchführung

In der ersten Phase des Forschungsprojekts steht die Ursachenanalyse im Mittelpunkt der Arbeit. Auf dieser Basis werden praktikable Konzepte zur Wirkungsorientierung digitalpolitischer Maßnahmen entwickelt. In der zweiten Phase werden sechs Maßnahmen-Teams aus der Digitalstrategie bei der Implementierung und Weiterentwicklung dieser Methoden begleitet und die Ergebnisse allen Interessierten zur Verfügung gestellt.

Grafik: Eigene Darstellung Agora Digitale Transformation

Wie arbeiten wir bei E-Valuate?

Wir entwickeln Innovationen für eine bessere Wirkung der Digitalpolitik – evidenzbasiert und unabhängig von tagespolitischen Vorgaben. Wir arbeiten gemeinsam mit Politik und Ministerialbürokratie, beginnend mit kleinen Lösungen, die wir (wenn sie sich bewähren) skalieren. Wir verbinden wissenschaftliche Problemanalyse mit nutzungszentrierter Lösungsentwicklung und Data Science/KI-Methoden. Dazu arbeiten wir mit einem breiten Netzwerk aus Expert:innen zusammen und bauen auf umfangreiche Erfahrungen aus dem In- und Ausland im Bereich der Wirkungsorientierung und -analyse.

Wie wirkt E-Valuate?

Grafik: Eigene Darstellung Agora Digitale Transformation


Wirkungsorientierung leben

Wirkungsorientierung kann in allen Planungsphasen eines Vorhabens verankert werden. In der Vorbereitungs-/ Strategiephase, sollte eine Wirkungsanalyse durchgeführt werden, in der ein Wirkungsmodell erstellt wird. Wirkungsanalyse beschreibt den Vorgang, in dem ein theoretisches Modell (Wirkungsmodell) erstellt wird. Dieses stellt eine kausale Verbindung zwischen einer Ursache (Input) und deren Wirkung (Impact) her. In der Planungsphase dient es dazu, ein konkretes Vorhaben vorzubereiten und zu entscheiden, wie dieses Vorhaben für die Erreichung einer gesellschaftlichen Wirkung am besten umgesetzt werden kann (bspw. Förderprogramm vs. Gesetzgebungsprogramm). In der Umsetzungsphase wird das Wirkungsmodell durch die Anwendung von Methoden zum wirkungsorientierten Arbeiten kontinuierlich nachgeschärft. Das bedeutet, dass in regelmäßigen Abständen anhand von empirischen Daten überprüft wird, ob das Vorhaben auf die definierte Wirkung zusteuert oder nicht. In diesem Zuge werden auch die getroffenen Annahmen überprüft und Hypothesen nachgeschärft.

Wenn das Vorhaben abgeschlossen ist, wird das Wirkungsmodell in der Nachbereitungsphase überprüft. Das bedeutet, das wissenschaftlich untersucht wird, ob das definierte Wirkungsmodell in der Empirie anhand von Daten bestätigt werden kann und ob die gewünschte Wirkung eingetreten ist. Ein kausaler Zusammenhang zwischen der Umsetzung eines Vorhabens und der gesellschaftlichen Wirkung lässt sich in den meisten Fällen nur mit intensiver wissenschaftlicher Auseinandersetzung mit der Thematik und mithilfe der richtigen Datengrundlage herstellen. Deshalb ist der Begriff Wirkungsanalyse oftmals zutreffender als Wirkungsmessung. Ob ein Modell tatsächlich empirisch bestätigt werden kann und die beschriebenen Kausalitäten zutreffend sind, muss mit quantitativen und/oder qualitativen Analysemethoden untersucht werden. Eine einfache Korrelation zwischen Ursache und Wirkung reicht für eine erfolgreiche Wirkungsanalyse nicht aus. Diese umfangreiche Untersuchung kann beispielsweise durch eine externe Evaluation erfolgen. Die Erkenntnisse aus der Nachbereitung fließen anschließend in die Vorbereitungs-/Strategie-Phase des nächsten Vorhabens ein.

Grafik: Eigene Darstellung Agora Digitale Transformation

Mitmachen

Ein zentraler Aspekt von E-Valuate ist es, gemeinsam mit den Menschen in der öffentlichen Verwaltung zu arbeiten, um Arbeitsmethoden und Vorgehensweisen für Wirkungsorientierung zu entwickeln, zu testen und in den Arbeitsweisen zu verankern. Deshalb stellen wir hier Arbeitshilfen für Wirkungsorientiertes Arbeiten zur Verfügung und haben wir die "NExT-community Wirkungsvolle Verwaltung" und das "ForumOKR" mitgegründet.

Arbeitshilfen für Wirkungsorientiertes Arbeiten
NExT-community Wirkungsvolle Verwaltung

Als gemeinnützige Plattform aus der Verwaltung für die Verwaltung vernetzt NExT e.V. Beschäftigte im öffentlichen Dienst und gestaltet gemeinsam mit ihnen die digitale Transformation der Verwaltung. Wenn Sie im öffentlichen Dienst arbeiten und sich für wirkungsvolle Verwaltung einsetzen, schauen Sie doch auf der Community-Seite vorbei oder melden sich direkt für den Email-Verteiler an.

ForumOKR

Das "ForumOKR" ist ein Vertrauensraum, in dem Gestalter:innen und interessierten Personen aus der öffentlichen Verwaltung zusammenkommen, um sich über wirkungsorientiertes Arbeiten speziell mit der Methode Objectives & Key Results (OKR) auszutauschen. Es biete Impulse zur Arbeit mit OKR, Erfahrungs- und Methodenaustausch, die Möglichkeit voneinander und miteinander zu lernen und sich zu vernetzen. Das ForumOKR wird gemeinsam vom Cyber Innovation Hub der Bundeswehr (CIHBw) und der Agora  Digitale Transformation organisiert. Das Auftakttreffen fand am 19.10.2023 beim CIHBw in Berlin statt. Das nächste Treffen wird Anfang 2024 stattfinden. Wenn Sie in der öffentlichen Verwaltung arbeiten und über die Aktivitäten des ForumOKR informiert bleiben möchten, tragen Sie sich gerne in unseren Verteiler ein.

Wirkungsglossar

Evaluation

Evaluation beschreibt die wissenschaftliche Bewertung von Maßnahmen oder Produkten hinsichtlich ihrer gesellschaftlichen Wirkungen im Rahmen einer einmaligen Untersuchung. Dazu werden zunächst die intendierten Wirkungen bzw. der intendierte Nutzen für bestimmte Zielgruppen definiert, aus denen wiederum Bewertungskriterien und -indikatoren abgeleitet werden können. Bei einer Evaluation kommen verschiedene quantitative und qualitative sozialwissenschaftliche Methoden zum Einsatz. Für eine gute Evaluation ist es wichtig, die genutzten Methoden auf die evaluierte Maßnahme anzupassen. Die Ergebnisse der Evaluation sollen dazu dienen, die Maßnahmen weiterzuentwickeln und zu verbessern.

Monitoring

Das Monitoring umfasst einen kontinuierlichen Prozess der Überwachung, Kontrolle und Auswertung bestimmter Aktivitäten, Systeme, oder Prozesse. Dazu werden in regelmäßigen Abständen Daten zu den ausgewählten Aktivitäten, Prozessen, und Fortschritten gesammelt, um einen kontinuierlichen Überblick über den Projektfortschritt zu erhalten. Dabei können verschiedenen Datengrundlagen und Methoden der Datenerhebung zum Einsatz kommen. Das Ziel des Monitorings im Rahmen der wirkungsorientierten Steuerung ist es, Projektaktivitäten während der Umsetzung anzupassen, um die intendierten Wirkungen zu erreichen.

Objectives and Key Results (OKR)

OKR ist eine agile Methode des Projektmanagements und es besteht aus drei zentralen Elementen: Strategie, Objektives und Key Results. Die Strategie fasst die Mission und die langfristigen Ziele zusammen, an denen sich die Objectives sowie die Key Results orientieren sollen. Die Objectives sind einzelne Etappenziele auf dem Weg zur Erreichung der Strategie. Diese Objectives werden durch einzelne Key Results messbar gemacht.

Wirkung

Wenn wir von Wirkung sprechen, meinen wir einen klar definierten gesellschaftlichen Nutzen oder eine gesellschaftliche Veränderung im Vergleich zum Status Quo. Anstelle von Wirkung, werden oft die Begriffe Outcome oder Impact genutzt. Wirkung (Outcome und Impact) wird durch den Einsatz staatlicher Ressourcen (Input) und dessen direkte Ergebnisse (Outputs) ausgelöst. Der kausale Zusammenhang zwischen Ressourceneinsatz und Wirkung kann in einem Wirkungsmodell visuell dargestellt werden

Wirkungsanalyse / Wirkungsmessung

Wenn man untersuchen möchte, ob eine politische Maßnahme auch tatsächlich die gewünschte gesellschaftliche Wirkung erzielt, ist es notwendig, einen kausalen Zusammenhang zwischen der Maßnahme und der Wirkung herzustellen. Mit anderen Worten: man muss sich sicher sein können, dass die beobachtete Wirkung tatsächlich auf diese Maßnahme und nicht auf andere Maßnahmen oder gar auf ganz andere, nicht berücksichtigte Ereignisse zurückgeführt werden kann. Eine Korrelation reicht für eine erfolgreiche Wirkungsanalyse nicht aus, denn sie beschreibt lediglich, wie sich die Werte von zwei beobachteten Variablen zueinander verhalten. Eine positive Korrelation zwischen zwei Variablen liegt vor, wenn höhere Werte von Variable A mit höheren Werten von Variable B einhergehen (wenn Variable A steigt, steigt auch Variable B). Eine negative Korrelation liegt vor, wenn höhere Werte von Variable A mit niedrigeren Werten von Variable B einhergehen (wenn Variable A steigt, sinkt Variable B). Dabei ist jedoch nicht eindeutig, ob Variable A einen Einfluss auf Variable B ausgeübt hat oder umgekehrt, also ob es einen sogenannten Kausalzusammenhang gibt. Ein kausaler Zusammenhang zwischen einem Vorhaben und dem Impact lässt sich in den meisten Fällen nur schwer herstellen. Deshalb ist der Begriff Wirkungsanalyse oftmals passender als Wirkungsmessung. Für eine erfolgreiche Wirkungsanalyse ist entscheidend, dass der kausale Zusammenhang zwischen einem Vorhaben und der intendierten Wirkung mit quantitativen und oder qualitativen wissenschaftlichen Analysemethoden hergestellt werden kann

Video: Korrelation vs. Kausalität

Wirkungsmodell

Ein Wirkungsmodell visualisiert den kausalen Zusammenhang zwischen Ressourceneinsatz und eingetretener Wirkung. Anderer Begriffe für Wirkungsmodell sind Wirkungslogik oder Wirkmodell. Es gibt verschiedene Typen von Wirkungsmodellen. Ein einfacher und deshalb häufig verwendeter Typus ist das IOOI-Modell. Dieses beschreibt die Elemente Input, Umsetzung, Output, Outcome und Impact. IOOI-Modelle fassen die wesentlichen Komponenten eines Vorhabens zusammen und konzentrieren sich auf die wichtigsten Effekte, wodurch sie für alle Beteiligten und Betroffenen verständlich sind. Die Zusammenhänge zwischen den vier Elementen werden meist durch Pfeile dargestellt. Aufgrund des vereinfachenden und deskriptiven Charakters der IOOI-Modelle fehlt die analytische Tiefe. Die zugrundeliegenden Annahmen und genauen Zusammenhänge sind nicht explizit beschrieben. Zudem fehlen oft klare Indikatoren für die Operationalisierung der Elemente.

Grafik: Eigene Darstellung Agora Digitale Transformation
Wirkungsorientierung

Wirkungsorientierung beschreibt einen Prozess, also die Arbeitsmethoden und Arbeitsweisen, die zur Erreichung eines Ziels genutzt werden. Methoden für wirkungsorientiertes Arbeiten helfen dabei, Vorhaben auf die angestrebten gesellschaftlichen Wirkungen auszurichten und während der Umsetzung kontinuierlich nachzusteuern. Eine etablierte Methode für Wirkungsorientierung ist „Objectives and Key Results“. Die wirkungsorientierte Steuerung in der Verwaltung fokussiert sich auf das Wirkungsziel öffentlicher Dienstleistungen. Seit über drei Jahrzehnten sind international verschiedene Modelle zur wirkungsorientierten Steuerung unter unterschiedlichen Namen, wie Performance-Oriented Management, Performance-Based Budgeting, Results-Oriented Management oder Outcome-/Output-Based Budgeting, verbreitet. Hierbei steht der Gedanke im Vordergrund, dass das Ziel staatlichen Handelns die zu erreichende Wirkung ist und nicht nur das bloße Tätigwerden der Verwaltung. Wirkungsorientierte Steuerung ist somit die konsequente Weiterentwicklung von Management in öffentlichen Verwaltungen. Um wirkungsorientierte Verwaltungssteuerung erfolgreich umzusetzen, müssen Aktivitäten, Ressourcen und Steuerung auf den Nutzen für die Gesellschaft ausgerichtet werden. Dieser Prozess ist langfristig und ressourcenintensiv und stellt auch innovationsstarke Verwaltungen und Staaten vor erhebliche Herausforderungen. Besonders anspruchsvoll ist die konsequente Verbindung von Wirkungszielen und -daten mit der Budgetierung. Methoden für Wirkungsorientierung zeichnen sich dadurch aus, dass klare Ziele definiert werden, diese mit Indikatoren unterlegt werden, die Indikatoren in regelmäßigen, kurzen Abständen (bspw. alle drei Monate) überprüft werden und die Planung des Vorhabens darauf aufbauend angepasst wird.

Ziele

Ein Ziel beschreibt den Soll-Zustand einer Gegebenheit im Vergleich zum IstZustand. Ein Ziel ist erreicht, wenn der angestrebte Soll-Zustand und der Ist-Zustand deckungsgleich sind. Im Kontext von Wirkungsorientierung können Ziele auf unterschiedlichen Stufen formuliert werden. Dies wird anhand des IOOI-Modells deutlich. So können Ziele sowohl als Output-Ziele (bspw. „Die Veranstaltung zum Thema gesunde Ernährung ist durchgeführt“), Outcome-Ziele (bspw. „Die Teilnehmer:innen der Veranstaltung stellen Ihre Ernährungsgewohnheiten um“) oder Impact-Ziele („Die Anzahl der Herz-Kreislauf-Erkrankungen unter den Teilnehmer:innen an der Veranstaltung ist geringer als in einer Vergleichsgruppe“) formuliert werden.

Publikationen

18.12.23
Wirkungsorientierung in der Ministerialverwaltung verstehen und umsetzen: Ein anwendungsorientierter Leitfaden für wirksame Projekte. Version 1.
Vivien Benert, Benedikt Göller
Download PDF
19.10.23
Hypothesenpapier E-Valuate. Der Lernende Staat. Mit Wirkung gestalten, am Beispiel der Digitalstrategie der Bundesregierung
Benedikt Göller
Download PDF
27.04.23
Methoden und internationale Gute Praktiken der Wirkungsmessung transformativer Programme und Strategien im öffentlichen Sektor
Dr. Andreas Obser
Download PDF

Ansprechpersonen

Agora Digitale Transformation Newsletter

Wer sich für unsere Arbeit interessiert, kann sich hier für unseren Newsletter eintragen.

* Pflichtfelder