Die Entwicklung von Indikatoren kann sehr anspruchsvoll sein, und allzu oft werden M&E-Expertinnen und Experten nicht in den Prozess miteinbezogen. Das hat zur Folge, dass M&E-Teams oft mit kniffeligen und komplexen Indikatoren arbeiten müssen. Auf der Grundlage unserer Erfahrungen stellen wir in diesem Artikel einige Beispiele für schwierige Indikatoren vor. Außerdem geben wir Anregungen für die Berichterstattung und die Darstellung des Fortschritts dieser Indikatoren.
Ideale Indikatoren
Idealerweise sollte ein Indikator nur einen Aspekt abdecken. Dann ist es einfach, den Fortschritt in einem Diagramm darzustellen, weil es einen klaren und eindimensionalen Verlauf des Fortschritts gibt. Wenn der Indikator beispielsweise lautet: „Drei nationale Gesetze für sichere Arbeitsbedingungen in der verarbeitenden Industrie verabschiedet“, dann ist der Indikator bei der Verabschiedung eines Gesetzes zu 33 %, bei zwei Gesetzen zu 66 % und bei drei Gesetzen zu 100 % fortgeschritten. Dies ist sowohl in Berichten als auch visuell leicht zu vermitteln:
In der Praxis haben wir es jedoch oft mit Indikatoren zu tun, die mehr als einen Aspekt beschreiben, d. h. es gibt ein explizites oder implizites „und“. Wenn es der Kontext zulässt, ist es in der Regel am besten, einfach alle Einzelheiten anzugeben. Manchmal kann es aber auch notwendig sein, den Fortschritt in einer einzigen Zahl zusammenzufassen. Wie kann man dies tun? Hier sind einige Beispiele und Vorschläge.
Kumulative Aspekte
Ein Beispiel für einen Indikator mit kumulativen Aspekten wäre: „Eine Geschäftsprozesslandkarte wurde für 4 Dienstleistungen unter Verwendung eines strukturierten Analysemechanismus entwickelt“.
Das Produkt, das wir zählen, ist eine fertige Geschäftsprozesslandkarte. Wir wollen vier davon. Aber es gibt eine zweite Bedingung, nämlich dass sie unter Verwendung eines strukturierten Analysemechanismus entwickelt werden. Zunächst einmal müssten wir genauer definieren, was dieser Analysemechanismus ist. Aber dann handelt es sich nicht wirklich um einen zusätzlichen Aspekt, sondern um eine notwendige implizite Bedingung, d. h. wir können eine Geschäftsprozesslandkarte nur zählen, WENN sie unter Verwendung dieses festgelegten Mechanismus entwickelt wurde. Jede Geschäftsprozesslandkarte, die auf eine andere Weise entwickelt wurde, wird nicht gezählt. Die Fortschrittsmessung ist also immer noch eindimensional:
„Eine abgeschlossene Geschäftsprozesslandkarte“ UND ‚Sie wurde unter Verwendung des strukturierten Analysemechanismus entwickelt‘ = 25% Fortschritt.
Summierbare Aspekte
Ein Beispiel für einen Indikator mit additiven Aspekten könnte lauten: „80 % der Begünstigten geben an, dass der verbesserte Kochherd weniger Brennholz verbraucht und weniger Rauch erzeugt“.
In diesem Fall stehen wir vor der Herausforderung, dass es sehr gut möglich ist, dass ein Begünstigter in unserer Umfrage angibt, dass der Herd zwar weniger Rauch erzeugt, aber immer noch die gleiche Menge an Brennholz verbraucht wie der normale Herd. Wir haben nun zwei Möglichkeiten:
1. Die Bedingungen gelten nur dann als erfüllt, wenn ein Nutznießer beide Verbesserungen meldet. Jeder Begünstigte, der nur eine der beiden Verbesserungen meldet, wird also für diesen Indikator nicht gezählt (Fortschrittsoption 1 in der untenstehenden Grafik).
2. Wir berechnen den Durchschnitt. Angenommen, 50 % der Begünstigten berichten, dass der Herd weniger Brennholz verbraucht, aber 90 % berichten, dass er weniger Rauch erzeugt. Dann beträgt der Gesamtfortschritt (50% + 90%) / 2 = 70% (Fortschrittsoption 2).
Mehrere Zielwerte
Ein Indikator mit mehreren Zielwerten könnte wie folgt lauten: „Von den 1000 Jugendlichen, die an den Jobtrainings teilgenommen haben, befinden sich 50 % innerhalb von 8 Monaten nach Trainingsende in einer qualifikationsbezogenen, abhängigen oder selbständigen Beschäftigung“.
Das Problem dabei ist, dass wir zwei Zielwerte haben: Einerseits haben wir die absolute Zahl der geplanten Begünstigten (1000) und andererseits den Anteil von ihnen, der nach Abschluss des Jobtrainings eine Beschäftigung findet (50%). Es ist also durchaus möglich, dass wir eine Beschäftigungsquote von 50 % für die Begünstigten erreichen, aber insgesamt nur 600 statt 1000 junge Menschen erreichen. Wie können wir also den Fortschritt bei diesem Indikator melden und sichtbar machen?
Entweder wir melden beide Zahlen, oder
1. Wenn wir gezwungen sind, uns für eine Hauptfortschrittszahl zu entscheiden, könnten wir den Geber fragen, was wichtiger ist: die absolute Zahl der jungen Menschen, die mit der Berufsausbildung erreicht wurden, oder der Prozentsatz der jungen Menschen in Beschäftigung. Wenn der Prozentsatz der erwerbstätigen Jugendlichen wichtiger ist, könnten wir z. B. berichten, dass 55 % eine Beschäftigung gefunden haben, und einen Hinweis hinzufügen, dass wir nicht die gesamte erwartete Anzahl von Jugendlichen erreicht haben (siehe Fortschrittsoption 1 in der Abbildung unten).
2. Wir können die Fortschrittswerte beider Ziele zu einem einzigen zusammenfassen, indem wir den Durchschnitt nehmen. Zum Beispiel,
- Wir haben nur 600 statt 1000 erreicht (600 / 1000 = 60% Fortschritt)
- Ihre Beschäftigungsquote betrug 55% (55% / 50% *100 = 110% Fortschritt)
Daraus ergibt sich ein durchschnittlicher Fortschritt von (110%+60%)/2 = 85% (siehe Fortschrittsoption 2 unten).
Untergruppen
Beispiel: „Die Zufriedenheit der Nutzer öffentlicher Dienstleistungen (davon 20 % Frauen und 10% aus sozial schwachen Gruppen) hat sich um 30 % erhöht.“
Angenommen, wir haben klar definiert, wie wir die Zufriedenheit der Nutzer messen wollen und wie wir die Verbesserung um 30 % berechnen wollen: Wir stehen immer noch vor dem Problem, dass wir eine Hauptzahl (für alle Nutzer) und zwei Zahlen für die beiden Untergruppen angeben müssen.
Nun können wir entweder:
1. Nur die Hauptzahl berichten (Fortschrittsoption 1 in der Darstellung unten).
2. Den Durchschnitt der drei Zahlen nehmen. Der knifflige Teil ist: wie genau? Einfach die drei Fortschrittszahlen durch drei dividieren? Das würde bedeuten, dass die Hauptzahl und die Untergruppen gleich wichtig sind. Allerdings ist die Hauptzahl wahrscheinlich wichtiger als die beiden Untergruppen. Wir könnten also einen Gewichtungsfaktor einführen: Die Hauptzahl würde doppelt so viel wiegen wie jede der Untergruppen. Die Fortschrittszahl würde also wie folgt berechnet werden: ((Fortschritt alle Nutzer * 2) + Fortschritt Frauen + Fortschritt gefährdete Gruppen)/4 (siehe Fortschrittsoption 2 in der Abbildung unten).
Indikatoren in WebMo
Die Standardversion unserer Monitoring-Software WebMo bietet verschiedene Arten von Indikatoren. Für quantitative Indikatoren eignet sich der Basis-/Ziel-/Aktualitätsindikator. Er ermöglicht es Ihnen, Daten zu verschiedenen Zeitpunkten zu erheben und den Verlauf über die Zeit darzustellen. Die Daten können disaggregiert eingegeben werden, unterteilt in Klassen wie Altersgruppen oder Geschlecht. Der Meilensteinindikator kann sowohl für quantitative als auch für qualitative Daten verwendet werden. Sie können eine beliebige Anzahl von Meilensteinen auf dem Weg von der Basislinie zum Ziel definieren. Auf der Output-Ebene können Sie Aktivitätsindikatoren auswählen, die den Fortschritt der dem Indikator zugeordneten Aktivitäten messen. Für knifflige Indikatoren gibt es mit unserer maßgeschneiderten Version von WebMo keine Grenzen. Wir verfügen über langjährige Erfahrung in der Erstellung von Indikatorenblättern, die den Bedürfnissen unserer Kunden entsprechen, ganz gleich wie komplex ihre Indikatoren sind.
