Die Ausarbeitung von Indikatoren kann sehr herausfordernd sein, und viel zu oft sind keine M&E-Experten daran beteiligt. Das hat zur Folge, dass M&E-Teams häufig mit schwierigen Indikatoren umgehen müssen. In diesem Artikel geben wir Ihnen auf der Grundlage unserer Erfahrung als M&E-Berater einige Beispiele für komplexe Indikatoren und zeigen Ihnen auf, wie Sie den Fortschritt dieser Indikatoren darstellen und in der Berichterstattung wiedergeben können.
Ideale Indikatoren
Idealerweise sollte ein Indikator nur einen Aspekt des Programms einbeziehen. In diesem Fall ist es leicht, den Fortschritt in einem Diagramm darzustellen, da es eine eindeutige und eindimensionale Fortschrittskurve gibt. Wenn der Indikator beispielsweise vorgibt, dass "drei nationale Gesetze für sichere Arbeitsbedingungen in der Fertigungsindustrie verabschiedet" werden, dann zeigt der Indikator bei der Verabschiedung eines Gesetzes einen Fortschritt von 33 Prozent an, bei zwei Gesetzen 66 Prozent und bei drei Gesetzen 100 Prozent. Dies kann sowohl in Berichten als auch in einem Diagramm leicht dargestellt werden:
In der Praxis haben wir es jedoch oft mit Indikatoren zu tun, die mehr als einen Aspekt abbilden, d. h. es gibt ein ausdrückliches (oder verstecktes) "und". In der Regel ist es – wenn möglich – am besten, alle Einzelheiten aufzuführen. Manchmal ist es jedoch erforderlich, den Fortschritt in einer Zahl zusammenzufassen. Wie geht man dabei vor? Hier einige Beispiele und mögliche Herangehensweisen.
Kumulative Aspekte
Ein Beispiel für einen Indikator mit kumulativen Aspekten wäre: "Eine Geschäftsprozesskarte wird für jeweils 4 Dienstleistungen unter Verwendung eines strukturierten Analysemechanismus erstellt."
Das zu zählende Ergebnis ist eine fertige Geschäftsprozesskarte. Wir möchten vier davon fertigstellen. Es gibt jedoch eine zweite Bedingung, nämlich dass sie unter Verwendung eines strukturierten Analysemechanismus entwickelt wurden. Zunächst müssten wir genauer definieren, was dieser Analysemechanismus eigentlich vorsieht. In diesem Fall handelt es sich jedoch nicht wirklich um einen zusätzlichen Aspekt, sondern um eine notwendige und implizierte Voraussetzung. Das bedeutet, dass wir eine Geschäftsprozesskarte nur dann zählen können, WENN sie unter Verwendung dieses festgelegten Mechanismus entwickelt wurde. Jede Geschäftsprozesskarte, die auf andere Weise entwickelt wurde, wird nicht gezählt. Die Fortschrittsanzeige ist also nach wie vor eindimensional:
"Eine fertige Geschäftsprozesskarte" UND "Sie wurde unter Verwendung des strukturierten Analysemechanismus entwickelt" = 25% Fortschritt
Summierbare Aspekte
Ein Beispiel für einen Indikator mit additiven Aspekten wäre: "80% der Begünstigten berichten, dass der verbesserte Kochherd weniger Brennholz verbraucht und weniger Rauch erzeugt".
Hier besteht die Gefahr, dass die Befragten angeben, dass der Herd zwar weniger Rauch erzeugt, aber immer noch die gleiche Menge an Brennholz verbraucht wie der bisherige Herd. Nun gibt es zwei Möglichkeiten:
1. Wir betrachten die Bedingungen nur dann als erfüllt, wenn ein Begünstigter beide Verbesserungen gemeldet hat. Jeder Begünstigte, der nur eine der beiden Aspekte meldet, wird bei diesem Indikator nicht berücksichtigt (Option 1 in der untenstehenden Grafik).
2. Wir berechnen den Durchschnitt. Angenommen, 50 % der Begünstigten geben an, dass der Kochherd weniger Brennholz verbraucht, während 90 % angeben, dass er weniger Rauch erzeugt. Dann beträgt der Gesamtfortschritt (50% + 90%) / 2 = 70%.
Mehrere Zielwerte
Ein Indikator mit mehreren Zielwerten könnte wie folgt lauten: "Von den 1000 Jugendlichen, die an den Jobtrainings teilgenommen haben, befinden sich 50% innerhalb von 8 Monaten nach Ende der Trainings in einer qualifikationsbezogenen, abhängigen oder selbständigen Beschäftigung."
Das Problem dabei ist, dass wir zwei Zielwerte haben: Zum einen die Zahl der geplanten Begünstigten (1000) und zum anderen der Anteil derer, die nach Abschluss der Jobtrainings eine Beschäftigung finden (50%). Es ist also sehr gut möglich, dass wir zwar eine Beschäftigungsquote von 50 % für die Begünstigten erzielen, aber insgesamt nur 600 statt 1000 junge Menschen erreichen. Wie sollen wir also den Fortschritt bei diesem Indikator ermitteln und veranschaulichen? Entweder wir nennen beide Zahlen, oder:
1.Wenn wir uns für eine einzige Kennzahl entscheiden müssten, könnten wir den Geber fragen, welcher Aspekt wichtiger ist: die Zahl der jungen Menschen, die mit den Jobtrainings erreicht wurden, oder der Anteil derer, die eine Beschäftigung gefunden haben. Wenn der Anteil der Beschäftigten wichtiger ist, können wir z. B. berichten, dass 55 % eine Beschäftigung gefunden haben, und dann einen Vermerk hinzufügen, dass wir die erwartete Gesamtzahl der Personen nicht erreicht haben (siehe Option1 im Bild unten).
2.Wir können die Fortschritte beider Ziele in einem einzigen Wert zusammenfassen, indem wir den Durchschnitt berechnen:
1) Wir haben nur 600 statt 1000 erreicht (600 / 1000 = 60% Fortschritt)
2) Ihre Beschäftigungsquote betrug 55% (55% / 50% *100 = 110% Fortschritt)
à Daraus ergibt sich ein durchschnittlicher Fortschritt von (110%+60%)/2 = 85% (siehe Option 2 im Bild).
Untergruppen
Beispiel: "Die Zufriedenheit der Empfänger von öffentlichen Dienstleistungen (davon 20 % Frauen und 10 % aus sozial schwachen Gruppen) ist um 30 % gestiegen."
Nehmen wir an, dass wir klar definiert haben, wie genau die Zufriedenheit der Dienstleistungsempfänger gemessen wird und wie die 30%ige Steigerung berechnet wird. Dann stehen wir immer noch vor dem Problem, dass wir eine Gesamtzahl (aller Dienstleistungsempfänger) und die zwei Zahlen für die beiden Untergruppen angeben müssen. Nun können wir entweder:
1. Nur die Hauptzahl angeben (Option 1 in der Abbildung unten).
2. Den Durchschnitt der drei Zahlen verwenden. Doch wie genau? Einfach die drei Fortschrittszahlen durch drei teilen? Das würde bedeuten, dass die Hauptzahl und die Untergruppen gleich gewertet werden. Die Hauptzahl ist aber wahrscheinlich wichtiger als die beiden Untergruppen. Wir könnten also einen Gewichtungsfaktor in die Rechnung aufnehmen: Die Hauptzahl ist dann doppelt so wichtig wie die Untergruppen. Der Fortschritt würde also wie folgt errechnet werden: ((Fortschritt alle Empfänger* 2) + Fortschritt Frauen + (Fortschritt sozial schwache Gruppen)/4)) (siehe Option 2 in der Abbildung unten).
Indikatoren in WebMo
Die Standardversion unserer Monitoring-Software WebMo bietet verschiedene Arten von Indikatoren an. Bei unserem rein quantitativen Indikator (Baseline/ Target /Current) können Daten aufgeschlüsselt eingegeben werden, zum Beispiel nach Alter oder Geschlecht. Er ermöglicht es Ihnen, Daten zu verschiedenen Zeitpunkten zu sammeln und sich die Historie im Zeitverlauf anzeigen zu lassen. Der Meilensteinindikator kann sowohl für quantitative als auch für qualitative Daten verwendet werden. Sie können beliebig viele Meilensteine auf dem Weg von der Ausgangsbasis zum Ziel definieren. Auf der Output-Ebene können Sie mit dem Aktivitätenindikator den Fortschritt der dem Indikator zugeordneten Aktivitäten messen. Mit einem maßgeschneiderten WebMo sind der Indikatorenvielfalt keine Grenzen gesetzt. Wir haben über zehn Jahre Erfahrung in der Anpassung an verschiedene Indikatorentypen – unabhängig von ihrer Komplexität.
