Forschungsprojekt E-Valuate

Als gemeinnützige Plattform aus der Verwaltung für die Verwaltung vernetzt NExT e.V. Beschäftigte im öffentlichen Dienst und gestaltet gemeinsam mit ihnen die digitale Transformation der Verwaltung. Wenn Sie im öffentlichen Dienst arbeiten und sich für wirkungsvolle Verwaltung einsetzen, schauen Sie doch auf der Community-Seite vorbei oder melden sich direkt für den Email-Verteiler an.

Das "ForumOKR" ist ein Vertrauensraum, in dem Gestalter:innen und interessierten Personen aus der öffentlichen Verwaltung zusammenkommen, um sich über wirkungsorientiertes Arbeiten speziell mit der Methode Objectives & Key Results (OKR) auszutauschen. Es biete Impulse zur Arbeit mit OKR, Erfahrungs- und Methodenaustausch, die Möglichkeit voneinander und miteinander zu lernen und sich zu vernetzen. Das ForumOKR wird gemeinsam vom Cyber Innovation Hub der Bundeswehr (CIHBw) und der Agora  Digitale Transformation organisiert. Das Auftakttreffen fand am 19.10.2023 beim CIHBw in Berlin statt. Das nächste Treffen wird Anfang 2024 stattfinden. Wenn Sie in der öffentlichen Verwaltung arbeiten und über die Aktivitäten des ForumOKR informiert bleiben möchten, tragen Sie sich gerne in unseren Verteiler ein.

Wenn wir von Wirkung sprechen, meinen wir einen klar definierten gesellschaftlichen Nutzen oder eine gesellschaftliche Veränderung im Vergleich zum Status Quo. Anstelle von Wirkung, werden oft die Begriffe Outcome oder Impact genutzt. Wirkung (Outcome und Impact) wird durch den Einsatz staatlicher Ressourcen (Input) und dessen direkte Ergebnisse (Outputs) ausgelöst. Der kausale Zusammenhang zwischen Ressourceneinsatz und Wirkung kann in einem Wirkungsmodell visuell dargestellt werden

Ein Wirkungsmodell visualisiert den kausalen Zusammenhang zwischen Ressourceneinsatz und eingetretener Wirkung. Anderer Begriffe für Wirkungsmodell sind Wirkungslogik oder Wirkmodell. Es gibt verschiedene Typen von Wirkungsmodellen. Ein einfacher und deshalb häufig verwendeter Typus ist das IOOI-Modell. Dieses beschreibt die Elemente Input, Umsetzung, Output, Outcome und Impact. IOOI-Modelle fassen die wesentlichen Komponenten eines Vorhabens zusammen und konzentrieren sich auf die wichtigsten Effekte, wodurch sie für alle Beteiligten und Betroffenen verständlich sind. Die Zusammenhänge zwischen den vier Elementen werden meist durch Pfeile dargestellt. Aufgrund des vereinfachenden und deskriptiven Charakters der IOOI-Modelle fehlt die analytische Tiefe. Die zugrundeliegenden Annahmen und genauen Zusammenhänge sind nicht explizit beschrieben. Zudem fehlen oft klare Indikatoren für die Operationalisierung der Elemente.

Wenn man untersuchen möchte, ob eine politische Maßnahme auch tatsächlich die gewünschte gesellschaftliche Wirkung erzielt, ist es notwendig, einen kausalen Zusammenhang zwischen der Maßnahme und der Wirkung herzustellen. Mit anderen Worten: man muss sich sicher sein können, dass die beobachtete Wirkung tatsächlich auf diese Maßnahme und nicht auf andere Maßnahmen oder gar auf ganz andere, nicht berücksichtigte Ereignisse zurückgeführt werden kann. Eine Korrelation reicht für eine erfolgreiche Wirkungsanalyse nicht aus, denn sie beschreibt lediglich, wie sich die Werte von zwei beobachteten Variablen zueinander verhalten. Eine positive Korrelation zwischen zwei Variablen liegt vor, wenn höhere Werte von Variable A mit höheren Werten von Variable B einhergehen (wenn Variable A steigt, steigt auch Variable B). Eine negative Korrelation liegt vor, wenn höhere Werte von Variable A mit niedrigeren Werten von Variable B einhergehen (wenn Variable A steigt, sinkt Variable B). Dabei ist jedoch nicht eindeutig, ob Variable A einen Einfluss auf Variable B ausgeübt hat oder umgekehrt, also ob es einen sogenannten Kausalzusammenhang gibt. Ein kausaler Zusammenhang zwischen einem Vorhaben und dem Impact lässt sich in den meisten Fällen nur schwer herstellen. Deshalb ist der Begriff Wirkungsanalyse oftmals passender als Wirkungsmessung. Für eine erfolgreiche Wirkungsanalyse ist entscheidend, dass der kausale Zusammenhang zwischen einem Vorhaben und der intendierten Wirkung mit quantitativen und oder qualitativen wissenschaftlichen Analysemethoden hergestellt werden kann

Video: Korrelation vs. Kausalität

Wirkungsorientierung beschreibt einen Prozess, also die Arbeitsmethoden und Arbeitsweisen, die zur Erreichung eines Ziels genutzt werden. Methoden für wirkungsorientiertes Arbeiten helfen dabei, Vorhaben auf die angestrebten gesellschaftlichen Wirkungen auszurichten und während der Umsetzung kontinuierlich nachzusteuern. Eine etablierte Methode für Wirkungsorientierung ist „Objectives and Key Results“. Die wirkungsorientierte Steuerung in der Verwaltung fokussiert sich auf das Wirkungsziel öffentlicher Dienstleistungen. Seit über drei Jahrzehnten sind international verschiedene Modelle zur wirkungsorientierten Steuerung unter unterschiedlichen Namen, wie Performance-Oriented Management, Performance-Based Budgeting, Results-Oriented Management oder Outcome-/Output-Based Budgeting, verbreitet. Hierbei steht der Gedanke im Vordergrund, dass das Ziel staatlichen Handelns die zu erreichende Wirkung ist und nicht nur das bloße Tätigwerden der Verwaltung. Wirkungsorientierte Steuerung ist somit die konsequente Weiterentwicklung von Management in öffentlichen Verwaltungen. Um wirkungsorientierte Verwaltungssteuerung erfolgreich umzusetzen, müssen Aktivitäten, Ressourcen und Steuerung auf den Nutzen für die Gesellschaft ausgerichtet werden. Dieser Prozess ist langfristig und ressourcenintensiv und stellt auch innovationsstarke Verwaltungen und Staaten vor erhebliche Herausforderungen. Besonders anspruchsvoll ist die konsequente Verbindung von Wirkungszielen und -daten mit der Budgetierung. Methoden für Wirkungsorientierung zeichnen sich dadurch aus, dass klare Ziele definiert werden, diese mit Indikatoren unterlegt werden, die Indikatoren in regelmäßigen, kurzen Abständen (bspw. alle drei Monate) überprüft werden und die Planung des Vorhabens darauf aufbauend angepasst wird.

Evaluation beschreibt die wissenschaftliche Bewertung von Maßnahmen oder Produkten hinsichtlich ihrer gesellschaftlichen Wirkungen im Rahmen einer einmaligen Untersuchung. Dazu werden zunächst die intendierten Wirkungen bzw. der intendierte Nutzen für bestimmte Zielgruppen definiert, aus denen wiederum Bewertungskriterien und -indikatoren abgeleitet werden können. Bei einer Evaluation kommen verschiedene quantitative und qualitative sozialwissenschaftliche Methoden zum Einsatz. Für eine gute Evaluation ist es wichtig, die genutzten Methoden auf die evaluierte Maßnahme anzupassen. Die Ergebnisse der Evaluation sollen dazu dienen, die Maßnahmen weiterzuentwickeln und zu verbessern.