Unser Forschungsprojekt E-Valuate - Auf dem Weg zum lernenden Staat

Im E-Valuate Projekt erarbeiten wir praxisorientierte Empfehlungen für eine wirkungsorientierte Ministerialverwaltung. Der Koalitionsvertrag der Ampel-Regierung von 2021 formuliert das Leitbild eines Lernenden Staats. Um den Lernenden Staat für die Digitalpolitik in Deutschland Realität werden zu lassen, braucht es die wirkungsorientierte Ministerialverwaltung.

Was sich hinter dem Begriff wirkungsorientierte Ministerialverwaltung versteckt, wie diese erreicht werden kann und welche Möglichkeiten Künstliche Intelligenz und datenbasiertes Arbeiten dabei bieten, erforschen wir im E-Valuate-Projekt. Das Projekt ist Teil des Monitoringkonzepts der Digitalstrategie der Bundesregierung und wird vom Bundesministerium für Digitales und Verkehr (BMDV) gefördert.

Wirkungsorientierung bedeutet, das Richtige, richtig tun. Und zwar dauerhaft, anhand von Daten. Dieser Satz hat es in sich: Was ist das Richtige? Woher weiß man, dass man etwas richtig macht? Kann man das irgendwie messen? Besonders relevant werden diese Fragen, wenn der Staat sie für seine eigene Arbeit stellt.

Was ist das Richtige?

Wenn der Staat etwas tut, hat das normalerweise Auswirkungen auf Gesellschaft und Wirtschaft. Wie der Begriff Auswirkung schon sagt, „wirkt“ staatliches Handeln. Der Staat erzielt also eine Wirkung. Welche Wirkung er erzielen möchte, wird im politischen Entscheidungsprozess festgelegt: Auf Bundesebene in Bundestag und Bundesrat und in den Vereinbarungen des Koalitionsvertrags. Was „das Richtige“ (also das politische Ziel) ist, wird im demokratischen Aushandlungsprozess vereinbart. Für die Digitalpolitik der Bundesregierung sind diese Ziele in strategischen Rahmendokumenten festgehalten, beispielsweise der Digitalstrategie, der Datenstrategie, der KI-Strategie und der internationalen Digitalstrategie.

Um seine Ziele („das Richtige“) zu erreichen, erlässt der Staat klassischerweise Gesetze. Das bedeutet, er definiert den Rahmen, in welchem sich Wirtschaft und Gesellschaft entfalten können. Unter anderem im Kontext der Digitalpolitik nutzt er neben der Gesetzgebung (bspw. dem Mobilitätsdatengesetz) noch andere Werkzeuge. So setzt er beispielsweise eigene IT-Projekte für die Verwaltungsdigitalisierung um (OZG), legt Förderprogramme im Bereich Künstliche Intelligenz auf (bspw. KI-Förderung des BMDV) und nutzt Kommunikationskampagnen zur Information der Bevölkerung (bspw. Homepage zur Digitalstrategie der Bundesregierung).

Für all diese Vorhaben setzt der Staat Ressourcen ein – sei es das Wissen und die Arbeitszeit der Beamt:innen, die Referentenentwürfe schreiben oder Steuergelder, um Dienstleister für IT-Entwicklung oder Agenturen für Kommunikationsmittel zu bezahlen.

Wie macht man es richtig und woher weiß man das?

Wenn der Staat ein politisches Ziel erreichen möchte, weiß er nicht genau, welche Wirkung sich dadurch entfalten wird. Das liegt daran, dass auch der Staat nicht in die Zukunft blicken kann. Natürlich gibt es zahlreiche Expert:innen, die in die Planung, Umsetzung und Nachbereitung staatlichen Handelns involviert sind – sei es in den Bundesministerien, im Parlament oder bei Dienstleistern und Interessengruppen. Sie bringen ihr Wissen und ihre Erfahrungen ein, um im Idealfall das bestmögliche Vorhaben durchzuführen. Besonders im Bereich Digitalpolitik befindet sich der Staat in einem Umfeld, das aufgrund extrem schneller Entwicklungen und Innovationen konstanten Veränderungen unterliegt. Deshalb ist es besonders in diesem Bereich wichtig, empirische Daten zu nutzen, beispielsweise aus Befragungen, Experimenten und Studien, um jederzeit zu wissen, ob das aktuelle Vorgehen, immer noch „das Richtige“ ist.

Wirkungsorientiertes Arbeiten heißt, anhand empirischer Daten kontinuierlich zu überprüfen, ob man auf dem richtigen Weg zu einem Ziel ist. Und wenn die Antwort Nein lautet, den Weg anzupassen.

Auch das Evaluieren und Lernen nach Abschluss eines Vorhabens sind Teil des Wirkungsorientierten Arbeitens. Beispielsweise ist es das gesellschaftspolitische Ziel der Initiative YouCodeGirls, dass mehr Frauen in IT-Berufen arbeiten. Die Berufsentscheidungen von Frauen beschreiben aber ein Phänomen, dass sich nur mittel- bis langfristig verändern lässt – alleine deshalb, weil zwischen Geburt und Berufsentscheidung einer Person Jahre bis Jahrzehnte vergehen.

Ob der Staat die richtigen Instrumente nutzt, um dieses gesellschaftspolitische Ziel zu erreichen, weiß er nur anhand regelmäßiger, empirischer Untersuchungen. Teil dieser Untersuchungen sind auch Evaluationen von staatlichen Instrumenten. Für Förderprogramme sollten diese die Frage beantworten, welchen Beitrag sie zum Ziel geleistet haben.

Lernen aus empirischen Daten

Aufgrund der Digitalen Transformation stehen den Menschen, die in den Bundesministerien arbeiten, heutzutage zahlreiche Arbeitsmethoden und Werkzeuge zur Verfügung, die es früher nicht gab. Sie können auf mehr empirische Daten zugreifen, diese mithilfe von Machine Learning und KI analysieren und aufbereiten und deshalb bessere Entscheidungen treffen. Sollten gewisse Annahmen nicht eintreten, kann der Staat die Gründe analysieren und hieraus für die Zukunft lernen.

Wirkungsorientiertes Arbeiten für den Staat lässt sich nicht per Gesetz verordnen. Die politischen Entscheidungsträger:innen brauchen praktisch umsetzbare Erfahrungen und Empfehlungen, welche Ansätze in welchem Kontext funktionieren und welche nicht. Um praxisrelevante Empfehlungen zu entwickeln, arbeitet das Team von E-Valuate eng mit sechs zentralen Projekten aus der Digitalstrategie der Bundesregierung zusammen:

• Civic Coding
• Aufbau Dateninstitut
• Ökosystem für Mobilitätsdaten
• umwelt.info
• Mission KI
• YouCodeGirls

Warum diese sechs Pilotprojekte?

Die Auswahl der Projekte erfolgte in einem offenen Verfahren. Das Angebot, Teil von E-Valuate zu werden, haben wir an die über 140 Projekte aus der Digitalstrategie der Bundesregierung ausgesprochen.

Zahlreiche Projektteams aus der Digitalstrategie der Bundesregierung haben das Angebot angenommen und gemeinsam mit E-Valuate an einem zweistündigen Wirkungs-Workshop teilgenommen. Anschließend haben sowohl die Projekte als auch das Team von E-Valuate evaluiert, ob sie im Praxislabor in den Jahren 2024 und 2025 zusammenarbeiten möchten oder nicht.

Wie arbeiten wir zusammen?

In der ersten Phase des Praxislabors (2024) führen wir mit allen Projekten jeweils drei intensive Workshops durch. Ziel ist zu verstehen, wo sie bei der Wirkungsorientierung stehen und zu identifizieren, welche Herausforderungen ihnen begegnen.

In der zweiten Phase des Praxislabors (2025) analysieren wir die Erfahrungen und bereiten diese als praxisorientierte Empfehlungen auf.

Mit allen Projektteams finden monatliche Check-Ins statt. Diese dienen dem kontinuierlichen Austausch darüber, wie sich Wirkungsorientierung im Projektalltag verankern lässt.

Woran arbeiten die Projekte?

Communities

Gemeinsam mit starken Partnerorganisationen betreuuen wir im Rahmen des E-Valuate-Projekts derzeit drei communities.

Arbeitshilfen

Du fragst dich, wie Du nun Wirkungsorientierung im Arbeitsalltag anwenden kannst? Mit dem Leitfaden Wirkungsorientierung in der Ministerialverwaltung verstehen und umsetzen haben wir eine Praxishilfe entwickelt, um möglichst vielen Menschen in der Verwaltung wirkungsorientiertes Arbeiten zu ermöglichen. Anhand zahlreicher Beispiele aus dem Projektkontext möchten wir einen einfachen Zugang zur Wirkungsorientierung schaffen. Unten findest du Templates, um wirkungsorientiert zu Arbeiten.

Einführung: "Bayes’sche Netze: Machine Learning für Kausalanalysen bei Wirkungsorientierung in R"

Eine Herausforderung bei Wirkungsanalysen ist es, den Kausalzusammenhang zwischen Ursachen, also einzelnen Handlungsschritten, und den erzielten Wirkungen messbar zu machen. Hier können sogenannte Bayes’sche Netze (BN) helfen. Bayes’sche Netze sind ein Machine-Learning-Verfahren, dass die Kausalzuammenhänge zwischen Variablen in einem Datensatz in Form eines Netzwerkgraphen darstellt und mit Daten hinterlegt. Dieses Vorgehen eignet sich besonders gut für Wirkungsanalysen, da die grafischen Darstellungen in ihrer Form einer Theory of Change sehr ähneln. Die Programmiersprache liefert eine einfache und kostenfreie Möglichkeit, Bayes’sche Netzwerke zu berechnen. Hier geht es zur Einführung in die Umsetzung von Bayes’schen Netzen in R für Personen, die mit der grundsätzlich Logik von R vertraut sind.

Im Forschungsprojekt E-Valuate untersuchen wir, wie wirkungsorientiertes Arbeiten in der Verwaltung gelingt. Die Erkenntnisse werden als praxisorientierte Empfehlungen für politische Entscheidungsträger:innen aufbereitet. E-Valuate wird vom Bundesministerium für Digitales und Verkehr (BMDV) im Rahmen der Digitalstrategie der Bundesregierung gefördert. Das Forschungsprojekt läuft von Januar 2023 bis Dezember 2025. Informationen zur Projektförderung sind hier zusammengefasst.

Das erste Jahr – Verstehen

Ohne zu wissen, woran man ist, kann man keine Fortschritte machen und entsprechend wenig produktive Unterstützung anbieten. Daher war das erste Jahr von E-Valuate dem Verstehen der beteiligten Akteure in der Ministerialverwaltung gewidmet. Wir haben zahlreiche Gespräche geführt und den Verwaltungsmitarbeitenden zugehört. Daraus entstand ein Hypothesenpapier, das die Arbeitshypothesen zum Stand des wirkungsorientierten Arbeitens in der Ministerialverwaltung formuliert. Das Hypothesenpapier bildet den roten Faden für unsere wissenschaftliche Arbeit. Darüber hinaus haben wir den Blick auf andere Staaten gerichtet und eine Studie zu Best Practices in der Wirkungsmessung von politischen Strategien beauftragt.

Wie wirkt E-Valuate?

Konzepte wie „wirkungsorientiertes Arbeiten“, „lernender Staat“, und „Evaluation politischer Maßnahmen“ erfordern ein hohes Maß an Transparenz. Diese Transparenz ist notwendig, damit staatliches Handeln Wirkung entfalten und den größtmöglichen Mehrwert für die Gesellschaft erbringen kann. Wir bei E-Valuate legen diese Maßstäbe auch an uns selbst an. Deshalb veröffentlichen wir unser Wirkungsmodell und schärfen dieses während der Projektlaufzeit kontinuierlich. Um unsere eigene Wirkung zu steigern, arbeiten wir im Projekt mit Objectives and Key Results und erheben laufend Daten (vom Nutzer:innen-Feedback nach Workshops bis zu Panelbefragungen). Das hilft uns dabei, unsere Arbeitsvorlagen anzupassen und auf die Bedürfnisse der Pilotprojekte zu reagieren.

Umfragen und Daten

Um die Wirkung des E-Valuate-Projekts zu analysieren, führen wir quantitative Online-Befragungen durch. Diese Befragungen werden in mehreren Wellen durchgeführt. Der erste Erhebungszeitraum lief vom 27.02.2024 bis zum 22.04.2024. Zielgruppe sind Personen in der Ministerialverwaltung, die Projekte umsetzen oder Dienstleister, die sie dabei unterstützen. Der nächste Untersuchungszeitraum ist für Frühjahr 2025 geplant.