Ehrenamt hat vor allem ein Ziel: Wirkung zeigen. Vereine müssen daher genau wissen, welche Maßnahmen und Projekte die gewünschte Wirkung haben – und welche nicht. Aber woran erkennst du, ob deine Aktivitäten die gewünschte Wirkung erzielen? Häufig lässt sich das nicht so einfach fassen. Indikatoren können aber Hinweise darauf geben, ob ein Projekt auf dem richtigen Weg ist. Wir zeigen dir verschiedene Indikatoren und ihre Qualitätsmerkmale und bauen eigene Indikatoren-Sets.
Aufgezeichnet am: 28.09.2022
Was sind unsere Ziele für heute?
Wir wollen lernen, wie sich eben Ziele sinnvoll mit Indikatoren hinterlegen lassen, wie ihr, ohne jetzt dass ihr ein wissenschaftliches Institut sein müsst, eine kleine Wirkungsanalyse planen und umsetzen könnt, auf welche Daten es dabei ankommt, wie ihr vielleicht auch einen Datenerhebungsplan aufsetzt und worauf ihr bei der Datenauswertung so ein bisschen achten solltet.
Genau. Und bevor wir uns da aber im Detail mit befassen, schauen wir, wie gesagt, noch mal so ein bisschen zurück auf das, was wir bisher schon gelernt haben.
Im Schnelldurchlauf: Warum ist es wichtig, sich grundsätzlich mit Wirkungen und mit Wirkungsorientierung, Wirkungstransparenz – also sprich, dass man nach innen wie nach außen weiß, worauf man eigentlich als Organisation oder Projekt hinarbeitet – auseinanderzusetzen?
Eben damit Mitarbeitende motiviert sind, damit Fördernde wissen, was mit ihrem Geld passiert und was dabei sozusagen rauskommt, wenn sie sozusagen in euch investieren.
Genau, dass ihr eben überzeugen könnt und dass ihr aber eben auch vor allen Dingen – und das eigentlich im Schwerpunkt – euer Angebot verbessern könnt und vielleicht auch, indem ihr wisst, was besonders ein großer Dreh- und Angelpunkt bei euch im Projekt ist, das immer wieder anpasst und verbessert und sowohl für eure Zielgruppen als auch für euch selbst besser macht, weil man eben seine Ressourcen dann auch in das steckt, was wirklich wichtig ist.
Genau. Wirkungen sind definitorisch, jetzt haben wir gesagt, Veränderungen vor allem bei der Zielgruppe, die man in den Blick nimmt, aber natürlich letztendlich auch in der Gesellschaft, denn meistens wollen wir gesellschaftlich was verändern. Wirkungen sind dabei Folgen von dem, was ihr in eurem Projekt mit eurer Organisation tut. Genau, aber das Stichwort ist eben wirklich eine Veränderung.
Genau. Und es macht Sinn, die Wirkungslogik seiner eigenen Organisation zum Beispiel mit Hilfe einer EUI-Wirkungskette darstellen zu können, also einmal für sich selbst zu reflektieren, aber eben auch nach außen hin kommunizieren zu können, sprich zu sagen: Also, wir wollen am Ende diese gesellschaftliche Problematik in Angriff nehmen, indem wir diese Vision, diese Veränderung gesellschaftlich anstreben. Und zwar konzentrieren wir uns dafür darauf, diese Veränderung bei der Zielgruppe zu erreichen, und das schaffen wir durch jene Leistungen, und dafür brauchen wir diese Ressourcen.
Genau. Ein bisschen umfassender kann man das Ganze mit dem Wirkungsmodell beschreiben, also eben indem man dann wirklich auch anfängt dabei zu sagen: Was ist denn eigentlich die grundsätzliche Problematik? Welche Bedürfnisse ergeben sich daraus? Wie gehen wir das eben an und wie tragen wir zur Lösung bei?
Das Ganze ist zirkulär, das heißt, wir müssen uns immer wieder damit befassen, weil unsere Welt ja nicht stehen bleibt und hoffentlich auch durch unsere Veränderungen bei den gesellschaftlichen Problemen sich hier was tut. Und das heißt, wir müssen eben immer wieder gucken: Ist das überhaupt noch so, wie wir das mal aufgenommen haben, als wir die Organisation oder das Projekt gestartet haben? Oder haben sich vielleicht die Bedürfnisse geändert? Oder gibt es vielleicht inzwischen einen besseren Ansatz, den wir wählen könnten?
Genau. Und wir sind natürlich in einer komplexen Welt zu Gange, deshalb ist hier dieses Umfeld auch noch mal im Hintergrund, dass man sich auch immer, dass man im Hinterkopf behält, dass man eben als Organisation nicht der einzige Faktor ist, der natürlich Einfluss auf Zielgruppen und auf ihr Handeln und ihr Denken nimmt.
Genau. Zielgruppen sind wirklich die Gruppen, bei denen wir eben eine Veränderung – also hier wieder das Stichwort Veränderung – erreichen wollen. Alle, die ansonsten noch wichtig sind für das Gelingen unseres Vorhabens, sind Stakeholder. Die können operativ auch mal kurz primär wichtig werden, aber eigentlich – und das haben wir dann an der mit der Zielgruppen-Matrix geübt – eben einmal einzuordnen, welche Zielgruppe denn für uns wirklich die primäre ist. Sprich, die Zielgruppe, für die die Organisation wirklich steht und brennt und warum eigentlich ihr vielleicht oder auch gerade eure Ehrenamtlichen gerne teilnehmen, also bei denen man ganz am Ende letztendlich was verändern will.
Die Checkfrage ist bei den Stakeholdern immer: Wenn ich mal alle anderen Gruppen ausschließe, wäre diese Gruppe wirklich noch eine? Also, würde unsere Organisation nur wegen dieser Gruppe bestehen? Wenn die Antwort Ja lautet, dann ist das eine Zielgruppe. Wenn die Antwort Nein lautet, dann ist es nur eine Stakeholder-Gruppe.
Genau. Dann haben wir uns im Ziel-Workshop oder im Ziel-Webinar "Definiere Wirkungsstrecke" angeschaut, die auch noch mal eine einfache Art ist und auch wieder die IUI-Kette einbaut, eine Wirkungslogik darzustellen. Hier rechts seht ihr wieder Outputs, Outcomes and Impacts. Hier drunter sind natürlich noch die Inputs, aber zur Vereinfachung haben wir hier nur die sieben Stufen, die von Stufe 1 bis 3 erstmal beschreiben, dass euer Angebot überhaupt stattfindet und auch wirklich eure Zielgruppen erreicht und diese zufrieden sind mit eurem Angebot. Und ab Stufe 4 geht es dann eben um die tatsächlichen Wirkungsziele, sprich die Veränderungen im Bereich Fähigkeiten, Wissen, Einstellung – also alles, was so tendenziell im Kopf passiert. Dann auf Stufe 5 das tatsächliche Handeln und in der Folge hoffentlich auch auf Stufe 6 die Lebenslage. Und wenn es oft genug passiert und vielleicht skaliert wird, dann ja, ändert sich vielleicht tatsächlich auch auf Stufe 7 die Gesellschaft.
Genau. Heute wollen wir uns jetzt aber eben das Thema Wirkungsanalyse einmal genauer anschauen. Ich habe das auch die letzten Webinare schon einzeln mal gesagt, wir sprechen immer lieber von Wirkungsanalyse als von Wirkungsmessung, weil es am Ende nur eine Annäherung an die Realität sein kann. Wie bei jeder guten Forschung, ja, egal wie gut man das macht, ist es mehr, dass es nicht die eine Realität gibt. Aber bevor wir hier zu stark ins Philosophische abdriften, gucken wir mal, wo wir uns hier befinden. Das habe ich jetzt heute zum ersten Mal für euch mitgebracht.
Das geht mal ein bisschen daran, was eigentlich so eine wirkungsorientierte Organisation alles so auf dem Schirm haben muss und was es eigentlich heißt, eine Organisation auch wirkungsorientiert zu steuern.
Und da kennt ihr jetzt schon einiges, nämlich genau den Anfang, wenn ihr auch an das Wirkungsmodell denkt: dass man sich am Anfang eben noch mal klarmacht oder eben noch mal überprüft, dann sagt: "Aktuell ist die Problemlage noch so, wie wir die mal wahrgenommen haben." Aha. Wenn wir das jetzt positiv umdrehen, was ist denn dann eigentlich unsere Vision? Was ist unser Leitbild? Wo wollen wir hin? Mit welcher Wirkungslogik, also mit welchem Ansatz, sind wir logisch überzeugt, dazu einen Beitrag leisten zu können? Um wen genau kümmern wir uns da deshalb? Und dann kommt eben schon der erste Schritt.
Woran würden wir denn das erkennen, dass wir die Leute erreichen und dass sich da auch wirklich das tut, was wir wollen, dass sich was verändert? Dann kommt natürlich – das ist alles, was man sich erstmal so auf theoretischer Ebene überlegt, anschaut und vornimmt – dann kommt natürlich die tatsächliche Umsetzung. Also, man macht eben seine Aktivitäten, man schaut, dass man möglichst nach seinen Wirkungshypothesen steuert, mit anderen kooperiert und so weiter. Und währenddessen oder eben danach, je nachdem, wann man damit anfängt – aber im Zweifel eigentlich währenddessen, weil man ja vorher und nachher möglichst erhebt – macht man eben auch eine Wirkungsanalyse. Das heißt, man erhebt auf die eine oder andere Art Daten und schaut die sich dann im Ergebnis auch ganz genau an.
Unterstreichen möchte ich hier das Partizipative, also dass man sich im Team dann wirklich auch anguckt: Was ist da rausgekommen? Deckt sich das mit eurer Wahrnehmung auch? Weil, wie gesagt, auch Daten immer mit Vorsicht zu genießen sind und man es gut reflektieren sollte.
Genau. Und genau auf der Basis dann eben auch entscheiden kann: Okay, wie wollen wir denn in der nächsten Zeit vorgehen? Und genau dann entsprechend kann man berichten und verbessern, also auch nach außen sagen: "Guck mal, das haben wir dieses Jahr so gemacht. Das ist unseres Erachtens jetzt nach unserer Analyse dabei rausgekommen. Hier sehen wir noch so ein bisschen Verbesserungsbedarf und da würden wir gerne im nächsten Jahr Ressourcen reinstecken." Aber natürlich auch motivierend sagen: "Guck mal, das hat schon geklappt." Und dann plant man aufs Neue. Bleibt also eben ein Kreislauf. Und wir schauen uns jetzt eben diesen Bereich Wirkungsanalyse an. Die Indikatoren entwickelt man natürlich möglichst auch vorher, die gehören am Ende natürlich zur Wirkungsanalyse dazu.
Genau. Und wir gucken uns hier nochmal das Beispiel an, das wir uns mehrere Male jetzt schon angeguckt haben, und zwar den Bildungsstürmer:in e.V. Hier ist dessen Wirkungstreppe, die ich noch mal kurz mit euch durchgehe: Also, hier ist die Aktivität, dass die Ferienlager stattfinden, dass dann tatsächlich auch wirklich sozial benachteiligte Kinder daran teilnehmen, dass die gerne daran teilnehmen, also zufrieden sind mit den Angeboten. Und die Veränderung, die erreicht werden soll, ist vor allen Dingen, dass die teilnehmenden Kinder ihre Stärken und Potenziale kennen, darauf aufbauend entsprechend dann auch eine passende Schulentscheidung treffen und dann eben auch einen ihren Potenzialen entsprechenden Bildungsabschluss erlangen können und dadurch das Bildungssystem in Deutschland langfristig gerechter gestaltet wird. Das ist so ein bisschen die grundsätzliche Wirkungslogik, genau, und das, worauf sie abzielen.
Wenn wir uns jetzt fragen, woran kann denn jetzt Herr Sommer erkennen, dass diese Ziele erreicht werden? Also sprich, oder auch, zu welchem Grad sie vielleicht erreicht werden? Manche, vielleicht ist da der e.V. schon auf dem richtigen Weg und bei anderen hapert es noch so ein bisschen. Wir stellen uns auch wieder vor, wir sind in diesem Gespräch mit Frau Hoffmann, also vielleicht einer Stiftungsvertreterin, die sagt: "Mensch, die sind ja... also klingt nach einer guten Idee, nach einer guten Organisation und nach einer wichtigen Problematik. Aber woran erkennen Sie denn jetzt genau, dass Sie diese Ziele, die Sie sich da gesetzt haben, erreicht haben?" Dann könnte Herr Sommer sagen: "Naja, anhand meiner Indikatoren."
Was sind denn Indikatoren? Das hatte Anna vorhin schon gesagt: Ein Indikator ist erstmal ein Hinweis, also es ist immer ein unvollständiger Anhaltspunkt. Er sagt es noch nicht hundertprozentig verlässlich für das Vorhandensein eines Sachverhaltes, dessen Vorliegen nicht unmittelbar beobachtbar ist. Es ist für uns so ein bisschen eine Hilfe, um um die Ecke zu schauen, ob was vorhanden ist, von dem wir hoffen, dass es da ist, nämlich Wirkung, Veränderung. In der Regel reicht ein Indikator nicht aus, um einen komplexen Sachverhalt hinreichend zu erfassen, da sind mehrere vonnöten. Also sprich, das hatte ich auch schon mal gesagt, so eine Art Prisma-Blick. Man versucht, dadurch dass man eine Wolke zu greifen versucht, an verschiedenen Punkten quasi in die reinzupieken und zu sagen: "Mensch, also hier kann ich drücken, da ist was. Hier kann ich drücken, das heißt, es sieht wahrscheinlich ungefähr so aus und ist tatsächlich das, was wir an Wirkung irgendwie erreichen wollen."
Genau. Irgendwie ein nettes, verspieltes Beispiel vielleicht dafür ist, dass gelbe Blätter an Bäumen ein Indikator für Herbst sind und vielleicht herumwirbelndes Laub auch ein Indikator. Also, oder genau, herumwirbelndes Laub ist ein Indikator für Wind, vielleicht auch für Herbst. Beide sind aber nicht ausreichende Indikatoren, denn ein Baum mit gelben Blättern kann auch einfach krank sein. Und genau, wenn die Blätter dann abfallen, kann das eben auch ein Hinweis für Krankheit sein. Und herumwirbelndes Laub kann im Zweifel zum Beispiel auch ein Hinweis für einen Laubbläser sein. Genau. Also, das soll einfach noch mal illustrieren, dass eben ein einzelner Indikator nicht ausreicht und wir mehrere brauchen, um zu schauen, ob unsere Ziele erreicht werden.
Es geht ja so ein bisschen darum, es geht ja um M&E, Monitoring und Evaluation. Also sprich, an wirklich allen Punkten eigentlich unseres Projektmanagements oder quasi unserer Wirkungslogik zu schauen: Funktioniert es so, wie wir uns das vorstellen? Also eben auch bei den Ressourcen, bei unseren Leistungen, nicht nur bei den Veränderungen. Also, ihr könnt wirklich für alle Punkte der Wirkungskette quasi Indikatoren entwickeln und anwenden.
Und man kann so ein bisschen zwei Arten von Indikatoren unterscheiden, nämlich direkte und indirekte. Und die direkten sagen quasi ziemlich, wie der Name schon sagt, direkt, ob jetzt ein Ziel erreicht ist. Also, zum Beispiel könnte das Ziel sein, die Kinder sollen einen Abschluss haben. Vielleicht, weiß ich nicht, der Zielwert könnte sein, 80 % sollen einen Abschluss erreicht haben, und dann ist der Indikator eben ganz klar der Anteil der Abschlüsse bei den Kindern.
Und indirekt ist es eben, wenn eine leichte Messung eben nicht wirklich möglich ist oder eben nur schwer. Das heißt, zum Beispiel könnte das Ziel lauten, wir möchten, dass die Kinder integriert sind. Und dafür könnten eben Indikatoren die Anzahl der Freunde sein oder eben die Anzahl der Aktivitäten, die sie vielleicht genau mit diesen Freunden auch unternehmen.
Ihr merkt schon, da geht es dann auch ganz stark in Definitionsfragen rein: Was bedeutet das eigentlich für uns? Was meinen wir, wenn wir sagen, wir möchten Integration fördern?
Genau. Die Kernfrage bei Indikatoren ist eben immer: Woran erkennen wir, dass ein Ziel erreicht ist oder eben auch nicht?
Genau. Und wozu dienen sie? Damit das, sollte ich mal so ein bisschen auffächern, was ich gerade gesagt habe. Das M&E quasi zum einen natürlich zur Nachverfolgung der Umsetzung von Aktivitäten, also dass eben sichergestellt wird nach Monitoring, dass sie wie geplant durchgeführt werden und dass sie eben auch wirklich zu den beabsichtigten Ergebnissen führen. Dann kann man eben die Ergebnisse an sich analysieren, also da schon mal schauen: Okay, in welcher Qualität sind denn jetzt unsere Ergebnisse vorhanden? Führt es wirklich zu dem, vielleicht gerade eben auch qualitativ, was wir wollen, oder vielleicht zu was anderem? Und letztendlich sollen sie natürlich auch so ein bisschen als Kompass dienen, zu sagen: Wo stehen wir denn und wo müssen wir vielleicht nachsteuern? Also, vielleicht eben, bis zu welchem Grad ist was auch erfüllt an Zielen?
Es hört sich gerade ein bisschen nach Wasserfall an. Ich hoffe, ihr kommt gut mit.
Insofern auch das erste Mal eine kleine interaktive Phase, auch wenn ihr hier in dem Sinne nicht antwortet. Aber es wäre hier mal die Frage: Wenn man jetzt nur kleine Ressourcen hat – und gerade stelle ich mir vor, bei einigen von euch ist das vielleicht so gegeben, wenn man mit Ehrenamtlichen arbeitet oder grundsätzlich gemeinnützig ist – hat man eben beschränkte Ressourcen. Das heißt, wenn ich mich jetzt trotzdem entscheiden muss – also, ich will eine Analyse machen, aber ich kann jetzt natürlich nicht das komplette Projekt oder die komplette Organisation untersuchen – auf welches Ziel solltet ihr euch dann fokussieren? Und in unserem Beispiel: Auf welches Ziel sollte sich Herr Sommer am ehesten fokussieren, wenn er eben die Wirkung der Ferienlager überprüfen möchte?
Ich löse das gleich einmal auf.
Die Antwort wäre im Zweifel eben vier und fünf, weil es da eben einfach um die Veränderungen bei den Zielgruppen wirklich geht, also tatsächlich um die Wirkung eben.
Genau. Und ich möchte noch mal hier darauf zurückgreifen, was wir zu den Zielformulierungen für Tipps mitgegeben hatten. Die gelten nämlich auch für die Indikatoren. Also, wenn wir uns gleich mal anschauen, wie man Indikatoren gut formuliert, dann könnt ihr das im Prinzip genau übernehmen. Die sollten idealerweise auch, natürlich umso mehr noch, SMART formuliert sein, also ganz konkret, ganz genau, spezifisch, möglichst eben messbar, natürlich auch akzeptiert – das sollte durch die Ziele schon vorgegeben sein –, realisierbar und, wenn ein Zeitrahmen noch gegeben werden kann, umso besser. Sollte es nicht ganz genau zu nennen sein, dann reicht quasi kein Zeitpunkt, dann gerne auch innerhalb eines bestimmten Zeitrahmens. Genau. Da ihr das jetzt ja schon kennt, springe ich ansonsten mal weiter.
Und wir gucken uns mal an, was jetzt zum Beispiel eben mögliche Indikatoren für unser Beispiel sein könnten, für den Bildungsstürmer:in e.V. Und ich gehe hier mal von unten nach oben:
Unser Ziel wäre, die Ferienlager finden regelmäßig statt. Was wäre hierfür ein Indikator? Naja, wie häufig und wie regelmäßig die Ferienlager eben stattfinden. Da setzen wir uns dann eben einen Zielwert und Zielwert ist nicht dasselbe wie ein Indikator, das zeige ich euch gleich auf der nächsten Folie.
Genau, dann das Ziel zwei ist, dass es wirklich sozial benachteiligte Kinder sind, also dass wir unsere Zielgruppe erreichen, nicht sozusagen irgendwelche Kinder, jetzt blöd gesagt, die an anderen Ferienlagern teilnehmen. Das heißt, wir gucken, okay, was ist vielleicht da auch der sozioökonomische Hintergrund bei unseren Teilnehmenden, so gut uns das im Rahmen des Datenschutzes möglich ist und für die teilnehmenden Familien auch angenehm und in Ordnung.
Genau, dann die sozial benachteiligten Kinder nehmen sehr gerne an den Ferienlagern teil. Woran könnten wir das erkennen? Daran, dass sie zufrieden sind, dass sie ihre Zufriedenheit äußern. Und vielleicht ist ein weiterer Indikator dafür, weil oftmals sind ja gerade vielleicht auch Kinder, wenn man die dann zum Beispiel direkt befragt, dann sagen die halt aus Nettigkeit: "Ja klar, das ist total super und macht voll viel Spaß." Wenn die aber die nächsten Male nicht kommen, dann könnte das ein Hinweis dafür sein, dass es ihnen vielleicht doch nicht so viel Spaß gemacht hat. Das heißt, hier haben wir schon zum Beispiel, wo ein Indikator sehr gut ergänzt werden kann, zumindest schon mal durch einen zweiten: die regelmäßige Teilnahme eben.
Genau. Woran erkennen wir, dass oder könnten wir erkennen, dass die Kinder ihre Stärken und Potenziale kennen? Naja, wenn sie sie konkret benennen können und vielleicht auch Selbstbewusstsein äußern.
Woran erkennen wir, dass sie passende Schulentscheidungen treffen? Vielleicht, indem sie ihre Entscheidung auch wirklich mit einem oder bis zu drei Argumenten wirklich gut begründen können. Und vielleicht auch hier wieder, dass sie Zuversicht einfach für ihre schulische Zukunft äußern oder diese Zuversicht auf irgendeine Art beobachten.
Woran erkennen wir, dass sie einen ihren Potenzialen entsprechenden Bildungsabschluss haben? Hier wäre ja das Ziel, dass es für sozial benachteiligte Kinder ein höherer Bildungsabschluss ist. Das heißt, wir würden uns da ein realistisches Ziel setzen, welcher Anteil da auch wirklich einen höheren Bildungsabschluss hat. Vielleicht auch, wenn man sagt, naja, höher ist jetzt nicht unbedingt den Stärken entsprechend, sondern vielleicht sind sie auch hier wieder besonders zufrieden und die Ausbildung passt. Nochmal so, hier merkt ihr schon, da könnte man in die Diskussion gehen, was hier ein geeigneter Indikator ist.
Und wenn man jetzt am Ende sagt, okay, unser Ziel ist eben, das Bildungssystem in Deutschland ist gerechter, eben weil auch sogenannte Arbeiterkinder mit hohen Bildungsabschlüssen vorhanden sind, in realistischem Umfang, könnte das zum Beispiel ein Indikator sein.
Genau.
Hier jetzt ein bisschen zu dieser Unterscheidung, weil man da eben schnell mal durcheinander kommt und das geht auch schon so ein bisschen in die Richtung Datenerhebungsplan. Man hat also immer ein Ziel. Also, um hier mal direkt reinzugehen, zum Beispiel, die Bewerbungstrainings sollen eben durchgeführt werden. Woran erkenne ich das? Naja, ich kann dokumentieren, gibt es eine bestimmte Anzahl an Bewerbungstrainings. Und dann setze ich mir aber – das ist erstmal der Indikator – und wie viele das sein sollen, das steht im Sollwert. Und der ist so ein bisschen abhängig davon, was man als Baseline hat, also was bisher so der Fall ist, quasi wovon man startet. Quasi hier wäre jetzt zum Beispiel die Baseline, bisher werden noch gar keine Bewerbungstrainings durchgeführt. Man startet vielleicht dieses Projekt neu und man nimmt sich jetzt als Zielwert vor, okay, im nächsten Schuljahr wollen wir zwei Bewerbungstrainings anbieten.
Und wie kommt man jetzt zu der Zahl? Das kann man da noch so ein bisschen argumentieren. Also zum Beispiel, es wurde der Bedarf für fünf Bewerbungstrainings festgestellt. Vor dem Hintergrund der vorhandenen Ressourcen, die ihr sicher, wie gesagt, auch kennt, die sind eben auch begrenzt, wurde der Sollwert aber zunächst auf zwei Trainings festgelegt. Aus denen kann man ja dann auch lernen und entsprechend vielleicht dann im nächsten Jahr bestimmte Dinge weglassen, dafür dann mehr Bewerbungstrainings zum Beispiel anbieten. Genau. Also, um das so ein bisschen zu unterscheiden und da ein bisschen eine Klarheit zu bekommen, was der Unterschied ist zwischen Zielen, Indikatoren und diesen Ziel- oder Sollwerten und wie man dazu zum Beispiel kommt.
Genau. Gerne das noch mal im Detail anschauen, wenn ihr die Folien im Nachhinein anguckt. Und auch noch mal als kleiner Hinweis: Natürlich, jetzt, wie gesagt, haben wir uns das so an der Wirkungstreppe, die jetzt einfach pro Stufe so ein Ziel nennt, eben angeguckt. Das muss ja auch für euch irgendwie in so einem kurzen Webinar greifbar bleiben. Aber klar ist eben auch, dass man natürlich jetzt als so eine Organisation schaut, dass man diese Ziele, wenn man sich wirklich jetzt eben zum Beispiel das Ziel auf Stufe 6 setzt, dass die Kinder eben einen ihren Potenzialen entsprechenden Bildungsabschluss treffen und vielleicht noch wichtig, erhalten, und vielleicht noch wichtiger für einen auf Stufe 5, dass sie wirklich eine passende Schulentscheidung treffen, dass man sich dann eben gemäß dem Problembaum, den wir auch schon hatten, den ihr vielleicht kennt – also sprich, wirklich genau zu gucken, warte mal, was führt denn alles dazu und wozu können unsere Ferienlager da alle beitragen? – Das heißt, man kann sich dann natürlich entsprechend auch noch konkrete Unterziele im nächsten Moment setzen. Okay, wenn sie das eigentlich haben, also jetzt zum Beispiel, wenn man sich auf Stufe 4 das anguckt, könnte man sich noch die Unterziele setzen: Okay, sie kennen noch so ein bisschen das deutsche Bildungssystem. Könnte man sich noch präzisieren, welche Bausteine genau, wie viele. Oder sie haben eine Vorstellung von verschiedenen Berufen, vielleicht können sie da fünf oder sowas nennen als Zielwert. Sie haben vielleicht ein konkretes Ausbildungsziel, was, wo man auch das Gefühl hat, das ist wirklich für sie begeisternd. Oder sie wissen eben auch, okay, wenn ich das hier schaffen will, diesen Bildungsweg wähle, welche Anforderungen sind damit verbunden. Oder wissen vielleicht auch so ein bisschen, haben Orientierung, wo sie sich zum Beispiel Unterstützung holen können und dass es auch die Möglichkeit von Stipendien gibt.
Genau. Also so kann man natürlich oder so sollte man im Idealfall eben seine Wirkungslogik auch noch mal ein bisschen runterbrechen oder sein Zielsystem sozusagen, was vielleicht da noch als Unterziele erreicht werden sollte an Veränderungen, ganz konkret.
Genau, damit eben die Wirkung auch wirklich erreicht wird, die man möchte. Und hier sind wir ja dann auch schon eben ganz, ganz nah an Indikatoren sozusagen dran. Genau.
[Musik]
Es wird immer oft gefragt dann, also kann ich mir vorstellen, dass das auch im Nachhinein jetzt noch kommt: "Ja, jetzt für unseren Fall, was meinst du, was sind denn da geeignete Indikatoren?" Oder gerade, wenn es um psychologische Indikatoren geht, das ist natürlich oftmals gar nicht so leicht, weil diese Dinge eben so schwer greifbar und eben auch natürlich so schwer messbar sind. Und was ich euch damit gebe, ist dieses Indikatoren-Set. Da könnt ihr eben auch im Nachhinein drauf gehen. Da sind also die Liste dieser Indikatoren-Sets, genau, das sind verschiedene Indikatoren-Sets gelistet, in die ihr einfach mal reinschauen könnt. Sind auch von von internationalen Organisationen, einfach um da ein bisschen Gefühl für und Inspiration für zu bekommen.
Worauf müssen wir also achten, wenn wir jetzt Indikatoren entwickeln? Es sollte eben klar sein, bei wem was erreicht werden soll, also schön die Zielgruppe am Anfang des Indikators und des Ziels nennen. Dann natürlich gucken, dass ihr für jedes Ziel eben auch mindestens mal einen Indikator habt, idealerweise eben mehrere, je nachdem, wie wichtig euch das Ziel ist und welche Ressourcen ihr habt, um das auch zu überprüfen alles. Und im besten Fall habt ihr wirklich einen Ausgangswert, also so eine sogenannte Baseline, damit ihr sagen könnt, also vor unserem Projekt ist das immer so und nach unserem Projekt ist es immer so. Das heißt, es ist eine große Wahrscheinlichkeit, dass vielleicht durch unser Projekt auch diese Veränderung passiert.
Genau.
Jetzt werfen wir einen kleinen Blick auch auf Methoden, auf Analysemethoden. Wenn also Frau Hoffmann uns immer noch nicht in Ruhe lässt und sich noch im Detail überzeugen will und fragt: "Klingt gut, woher bekommen Sie denn aber jetzt die Daten für diese Indikatoren?" Und dann könnte Herr Sommer sagen: "Da gibt es verschiedene Möglichkeiten. Es hängt natürlich auch von Ihnen ab, weil oft Förderinnen da eben auch spezielle Anforderungen haben."
Ich kann hier so dazu sagen, dass natürlich auch die Idee ist, dass Wirkungsorientierung eine Organisation nach vorne bringt und irgendwie kein Klotz am Bein sein sollte und dass sich da Gott sei Dank auch bei Förder:innen ganz viel tut in die Richtung, dass sie entweder dabei unterstützen bei der Analyse tatsächlich und dafür vielleicht auch sich auf langfristigere Förderungen einlassen, damit eben die Organisationen sich darauf einlassen können und sagen können: "Okay, wir schauen uns das wirklich auch gemeinsam an und sehen dann vielleicht auch transparent gemeinsam, wo es vielleicht noch nicht so läuft und wo wir vielleicht mehr Ressourcen reinstecken wollen." Aber dass sozusagen das Reporting an Fördernde dann zum Beispiel also eben nicht irgendwie zu einer wenig gewinnbringenden Aktion wird, sozusagen.
Genau. Es ist natürlich grundsätzlich, wenn man auf Methoden guckt, so, dass je belastbarer die Aussage sein soll, desto höher ist dann natürlich auch der Aufwand, den wir in unsere Methode stecken müssten, sage ich jetzt hier schon, weil es geht uns hier ganz stark eben um Verhältnismäßigkeit. Gerade, wie gesagt, im gemeinnützigen Bereich muss man einfach schauen.
Das steht hier unten auch bei den möglichen Auswahlkriterien: Was haben wir denn überhaupt für Kompetenzen, auch methodisch? Ist es überhaupt praktikabel? Können wir das machen? Haben wir vielleicht Partner:innen, mit denen wir das durchführen können? Was ist denn schon vorhanden, was wir einfach auch erstmal kommunizieren können? Und was ist, wie gesagt, vom zum Beispiel Blick auf den Datenschutz überhaupt zu analysieren?
Und dass man sich so ein bisschen, das haben wir euch deshalb dazu geschrieben, Albert Einstein in den Hinterkopf ruft: "Nicht alles, was zählt, kann gezählt werden, und nicht alles, was gezählt werden kann, zählt." Also, wie gesagt, hier so ein bisschen auch diese Grundskepsis sich behalten und sich nicht verrennen, weil wenn man mit Wirkungsorientierung anfängt, dann hat man eben oft ganz arg Lust auf dieses "Ja, was genau erreichen wir und das will ich jetzt, will ich jetzt einfach messen."
Und das ist aber eben oft einfach nicht so möglich, wie wir uns das vielleicht am Anfang mal erträumt haben. Und hier könnt ihr eben so ein bisschen sehen, von von einfach quasi und und ja, dadurch vielleicht nicht ganz so belastbar in in der Aussagekraft bis hin zu eben sehr aufwendig und dadurch ebenso aussagekräftig, wie es im wissenschaftlichen Bereich führt, so Randomized Control Trials zum Beispiel, sagen sicher euch auch was hier und da. Genau. Da könnt ihr also so ein bisschen schauen, okay, wir könnten mal anfangen mit einfach Beobachtungen, vielleicht zumindest von unseren Fachkräften, oder wir sammeln eben erst mal Anekdoten, machen eine Foto- und Videodokumentation. Und dann kann man eben irgendwann anfangen, okay, wir versuchen jetzt mal Befragungen und vielleicht immer auf die gleiche Art, immer bei der gleichen Person, also standardisiert durchzuführen und vielleicht auch mal extern. Aber genau, da muss man eben wirklich gucken, wo lohnt sich der Aufwand und was ist von unserer Seite aus machbar.
Genau. Und dann geht es eben darum zu gucken, welche Veränderungen wollen wir hier genau aufzeigen. Oftmals geht es natürlich um eine Veränderung von Vor- und Nachher, aber manchmal will man auch was anderes analysieren, eben zum Beispiel dieses Soll und Ist, ja? Also, wo befinden wir uns gerade, wenn man in die Richtung "Wir machen eine Analyse, um unsere Organisation zu verbessern und nachzusteuern" geht.
Oder man schaut und guckt, okay, kommt unser Angebot oder unser Projekt, hat das vielleicht bei bestimmten Subzielgruppen besonders gute Wirkung? Ist da vielleicht ein Unterschied zwischen Jungs und Mädels oder bestimmten Wohnorten?
Und kann dann eben auch gucken, ach so, und wenn wir zum Beispiel bei Projektvarianten das eben ein bisschen anders machen, wie ist denn dann die Veränderung? Oder Benchmarking: Wie stehen wir denn im Vergleich zu anderen Trägern da? Und da so ein bisschen recherchieren und sagen: "Schaut mal, keine Ahnung, wir sind echt besonders gut" oder so.
Genau. Also da einfach so ein bisschen schauen, welcher Vergleich der aussagekräftigste ist für die Frage, die man sich beantworten will oder die man beantworten können will.
Genau. Und das ist jetzt so ganz grundsätzliche noch mal eine Aussage dazu, was es grundsätzlich für Erhebungsmethoden gibt. Da kann man sich eben einfach fragen: Also, wenn ich es schlicht erfragen kann, dann eignet sich vielleicht auch tatsächlich eine Umfrage. Kann ich es, wie gesagt, vielleicht von Fachleuten oder von unseren Mitarbeitenden zumindest ein bisschen beobachten lassen? Dann gibt es eben auch die Beobachtung. Kann ich es vielleicht mal testen in einer Art Experiment? Oder kann ich es herauslesen, sprich, können wir in unsere, dokumentieren wir das ohnehin schon? Haben wir Teilnehmendenlisten oder gibt es dafür, gibt es vielleicht externe Dokumente, aus denen man herauslesen kann, wie groß eine Problematik zum Beispiel ist und wie klein sie bei uns im Vergleich ist.
Genau. Das sind so ein bisschen die grundsätzlichen Erhebungsmethoden.
Genau. Und man unterscheidet eben natürlich dann in den Daten, die dabei erhoben werden, zwischen qualitativen und quantitativen Daten. Und was wir hier so ein bisschen empfehlen, ist, dass ihr euch eher auf die qualitativen erstmal vor allen Dingen einschießt und mit den quantitativen dann sozusagen nacherhebt. Dass man nämlich im Zweifel erstmal anfängt, recht groß zu schauen, was haben wir denn so, also was kommt denn da so alles zurück an qualitativen Rückmeldungen, was sich tatsächlich tut, um einfach ein besseres, tieferes Verständnis eben zu haben. Genau, die haben eben diese beschreibende Funktion.
Das heißt, man kann eben also zum Beispiel Interviews führen oder eben mal grundsätzlich beobachten, was tut sich so alles, und da einfach sammeln. Und wenn man dann quasi sich das genauer angeschaut hat, das steht so auch nochmal auf der nächsten Folie, dann kann man anfangen zu clustern und sagen: "Mensch, ich glaube, wir haben hier ganz schön viel Wirkung vielleicht, und aber hier hat sich irgendwie auch was aufgetan." Und dann kann man anfangen, das quantitativ nachzufragen. Sprich, man kann genau nach diesen Clustern danach fragen und quasi eine Aussage vielleicht rausnehmen, wo die irgendwie häufiger auf diese Art vorgekommen ist, und dann das nächste Mal die Leute nur noch quantitativ zustimmen lassen, quasi: "Stimmt zu dem zu?" Und schauen, aha, wie viele Leute würden genau diese Aussage auch unterschreiben. Genau. Das heißt, da kommen dann eben eher standardisierte Fragebögen zum Beispiel oder einfach Zählungen eben zum Einsatz.
Genau. Das habe ich euch eigentlich quasi gerade schon gesagt, dass es eben oft sinnvoll ist, erstmal qualitativ zu starten und dann eben quantitativ zu gucken. Also erstmal zu schauen, verstehen wir das alles richtig, haben wir hier ein gutes Bild von der Gesamtlage, und dann zu schauen, okay, inwiefern tritt das wirklich so auf, wie wir das jetzt in unserer qualitativen Analyse wahrgenommen haben.
Genau. Und auch hier noch mal eine kleine aktive Phase: Jetzt möchte Herr Sommer tatsächlich Frau Hoffmann belegen, wie viele Kinder durch die Ferienlager ihre Stärken kennen. Welche Methode würdet ihr denn hier empfehlen? Wir haben zur Auswahl einmal eine Anekdotensammlung, sprich, man guckt, man lässt sich von Kindern das so ein bisschen erzählen und beschreibt das dann, das macht so ein Transkript in Textform. Oder wir haben standardisierte Kurzinterviews mit den Kindern und hat zumindest vielleicht schon mal Kategorien, in die man das irgendwie einteilt, was sie so, also eben clustert, was so gesagt wird. Oder man zählt die Kinder, die ihre Stärken kennen, also beschreibt quasi in Zahlen, so viele Kinder, jetzt zum Beispiel rechts beschrieben, kennen kaum ihre Stärken, kennen mindestens zwei Stärken oder kennen drei unterschiedliche Stärken.
Genau. Und hier gehe ich jetzt mal auch mit Blick auf die Zeit direkt in Richtung Antwort. Also, die Frage ist wirklich konkret: Wie viele Kinder kennen ihre Stärken? Das heißt, die konkrete, absolute, also oder ja, absolut im Sinne von Zahlen, absolute Zahlen-Antwort ist tatsächlich Nummer drei. Das heißt, es würde erstmal darum gehen, wirklich einfach nur zu zählen, bei wie vielen Kindern ist der Fall. Und idealerweise kann man das noch so ein bisschen spezifizieren, wie hier rechts, wie viele Stärken können denn die Kinder vielleicht nennen.
Aber natürlich sind die Anekdotensammlungen und die standardisierten Kurzinterviews dann das Fleisch, was man da eben auch so rum packt, ja? Also eben, um dann wirklich zu gucken, habe, weiß ich nicht, vielleicht nennen die Kinder jetzt da einfach nur irgendwelche Begriffe, die sie im Nachhinein gar nicht beschreiben können, weil sie die mal gehört haben. Also damit sozusagen schaut man noch mal, ist es dann wirklich so, wie wir uns das vorstellen.
Genau, und zeichnet eben dieses Prisma.
Genau. Was wären jetzt für die vorher genannten Indikatoren, das haben wir ja vorhin einmal uns zusammen angeschaut, tatsächlich dann jeweils auch die Erhebungsmethoden?
[Musik]
Da würde ich auch noch mal von unten nach oben hoch gehen. Wenn wir also schauen, wir wollten ja, dass die Ferienlager regelmäßig stattfinden. Dafür war unser Indikator Häufigkeit und Regelmäßigkeit. Wie können wir das machen, erheben? Naja, durch Monitoring, im Prinzip auch durch Dokumentenanalyse. Vielleicht hat man quasi einen Schichtplan, vielleicht auch gerade digital quasi, wo stattgefundene Ferienlager quasi von den veranstaltenden Leuten dokumentiert werden. Und genauso ist es eben auch bei Stufe 2 und 3, ob die Kinder teilgenommen haben und ob die regelmäßig teilgenommen haben, zum Beispiel. Lässt sich beides dann durch die Dokumente, die man intern eh schon hoffentlich hat, nachvollziehen. Und ob sie zufrieden sind, könnte man zum Beispiel durch eine Befragung machen, aber sicher auch durch Beobachtung, vielleicht wie fröhlich die Kinder sind oder ja, wie viel Spaß die auch wirklich vielleicht an den einzelnen Spielen oder sowas haben.
Genau.
Ob sie ihre Fähigkeiten kennen, kann man eben auch durch eine Befragung machen, aber vielleicht eben auch durch eine Beobachtung der Gruppenleitung. Vielleicht wählen diese in bestimmten Teamsituationen schon bestimmte Stärken, drängen sich da vielleicht auch sogar ein bisschen nach vorne, weil sie sich so drauf freuen, das zu machen, was sie irgendwie können.
Genau. Und dann natürlich auch, also da man jetzt die Entscheidung irgendwie gut begründen können sollte, dann kann man eben ja auch nicht nur die Kinder, sondern eben zum Beispiel auch die Eltern fragen. Auch hier wieder eine Beobachtung. Also genauso ist es eben auch mit den Bildungsabschlüssen. Und wenn man jetzt eben von der gesellschaftlichen Veränderung ausgeht, dann ist man natürlich auch wieder eher bei einer Dokumentenanalyse, sprich zu schauen, gibt es dafür irgendwelche Daten, auf die wir uns beziehen können.
Genau, die uns rausziehen können.
Als kleines Beispiel auch noch mal für so quasi dann eben auch tatsächlich die Kommunikation von solchen erreichten Wirkungszielen haben wir welche von dem Duke of Edinburgh's International Award mitgebracht und wollen da so ein bisschen hinweisen auf das, worauf auch die Grafik schon hinweist, nämlich diese zwei kleinen Pfeile. Das sind dann eben die Ergebnisse zum Beispiel von so Befragungen. Und da stimmen die Kinder dann eben zu, auf eine bestimmte, also in einem bestimmten Maß zu. Und man hat eben dieses "zu Beginn", also sprich die Baseline, und "gegen Ende" der Teilnahme am Programm. Und auf die Aussage "Ich fühle mich von Zeit zu Zeit richtig nutzlos" ist zum Glück eben ein ganz starker Rückgang zu verzeichnen, eben von zum Beispiel hier 46 auf sogar 19 Prozent.
Genau. Also nur noch mal als kleines Praxisbeispiel. Genau. Wenn wir auf Methoden gucken und uns da überlegen, was wir für Methoden wählen, dann schaut eben, dass es dazu passt, was ihr genau wissen wollt, worauf wir vorhin so ein bisschen geschaut haben. Also will ich sagen: "Guck mal, das funktioniert grundsätzlich, ist grundsätzlich, das wirkt"? Dann eher vielleicht Vorher-Nachher. Oder will ich eher gucken: "Warte mal, für mich vielleicht auch intern, welcher Ansatz funktioniert denn besonders gut? Vielleicht kann ich den mal so ein bisschen variieren und schauen, das funktioniert wohl besser." Oder haben wir auf eine bestimmte Gruppe eben mehr Wirkung, müssen wir die andere Gruppe vielleicht auf eine andere Art einbinden?
Genau. Also einfach gucken, was will ich denn eigentlich wirklich für eine Frage beantworten. Und ganz der Haupttipp da ist eigentlich, sich wirklich quasi schon innerlich mal eine Antwort zu geben. Also sagen wir einfach mal, da kommen 70 % raus, die sagen XY.
Was mache ich denn dann damit als nächstes? Also, was sagt mir das dann? Sage ich, weiß ich nicht, wenn es 80 sind, dann sind wir damit okay und fahren erstmal so weiter? Oder, ja, weiß ich nicht, rufe ich dann jemanden Bestimmtes an? Also, so kann man irgendwie checken, dass, also möglichst schon im Vorhinein. Meistens muss man leider doch, indem man die Umfragen zum Beispiel mehrere Male macht oder die Erhebungen, lernt man dann so ein bisschen: "Mensch, das sagt uns noch nicht genau, was wir eigentlich brauchen, um da dann überhaupt drauf reagieren zu können. Jetzt wissen wir, dass die vielleicht zufrieden sind, aber wir wissen eigentlich nicht genau, womit. Wir hätten eigentlich auch das vielleicht noch mal spezifizieren sollen" oder so. Das heißt, einfach schon mal rückwärts planen sozusagen und gucken, was mache ich dann im nächsten Schritt, je nachdem, was die Antwort ist.
Genau. Schaut, dass es verhältnismäßig bleibt für euch. Ihr habt eure Kernarbeit und auch eure Ehrenamtlichen wollen im Kern die Arbeit machen, für die ihr Herz schlägt. Das Orientierung eben und Wirkungsanalyse auch nur ein kleiner Teil von ist.
Aber wenn man da die richtigen Ziele und Indikatoren wählt, dann haben, glaube ich, auch viele Leute Lust drauf, sich das mal vor Augen zu führen und das wirklich mal zu prüfen. Und dann macht man das eben erst mal so gut man kann.
Und eben natürlich auch immer im Kopf behalten, dass Messen eben nicht bedeutet, das empirisch nachzuweisen, sondern erstmal halt nur zu erheben. Genau.
Und wenn es jetzt darum geht, da sind wir, kommen jetzt schon zum Ende, genau, wie ihr das Ganze jetzt planen könnt. Und da würde vielleicht Frau Hoffmann sagen: "Mensch, das sind ja ganz schön viele Optionen. Wie genau gehen Sie jetzt hier vor?" Dann könnte vielleicht Herr Sommer sagen: "Ja, wir haben das ganz genau geplant, dass wir das alles wirklich auch gewuppt kriegen, eben gerade auch mit unseren Ressourcen." Das heißt, ihr könnt euch ebenso auch, ähnlich wie ich es euch vorhin gezeigt habe, mit diesem Ziel, Indikator, Sollwert und Basiswert und warum wählt man vielleicht diesen Sollwert aus, das könntet ihr eben erweitern über: Okay, welche Methode nehmen wir da? Also zum Beispiel, okay, wir machen dann eine Umfrage oder wir machen dann eine Beobachtung.
Wo kommt es zum Beispiel her? Und vor allen Dingen, wer macht das und wie oft? Also, wer hat da den Hut auf? Und wann macht die Person das? Damit ihr dann auch gucken könnt, muss die Person da dran vielleicht auch erinnert werden? Muss sie damit, weiß ich nicht, vielleicht auch einen Fragebogen ausfüllen, je nachdem.
Und dann eben auch schon mitplanen, okay, wann werten wir das Ganze aus, damit man nicht sich einen Datenwust sammelt, aus dem dann am Ende nichts mitgenommen wird.
Genau.
Also auch nur da noch mal so kleine, kleine Tipps sozusagen, dass ihr schaut, dass bei jeder Treppenstufe vielleicht mindestens ein Ziel ist. Wie gesagt, im Zweifel fokussiert euch auf vier und fünf und dann eben dort auch wirklich jeweils ein Indikator dabei ist.
Genau, dass ihr eben schaut, dass euer Erhebungsdesign, eure Methode zu dem zusammenpasst, was ihr so an Datenquellen habt, also was ihr überhaupt euch anschauen könnt. Und dass vor allen Dingen Verantwortlichkeiten klar festgelegt sind und es nicht nur auf einer Person lastet. Genau. Und wertvoll ist natürlich, gerade mit Geldgeber:innen zum Beispiel auch im Vorhinein abzusprechen, was spannend wäre zu erheben und genau, was euch vor allen Dingen auch als Organisation in eurer Qualität weiterbringt.
Du fragst dich, wie du zeigen kannst, dass deine Projektarbeit wirklich etwas bewirkt? Wirkungsanalyse klingt kompliziert, muss es aber nicht sein. In diesem Webinar lernst du, wie du auch mit begrenzten Ressourcen herausfinden kannst, ob deine Ziele erreicht werden – und zwar so, dass es dich und dein Team wirklich weiterbringt.
Ehrenamt hat vor allem ein Ziel: Wirkung zeigen. Vereine müssen daher genau wissen, welche Maßnahmen und Projekte die gewünschte Wirkung haben – und welche nicht. Wirkungsorientierung ist ein entscheidender Ansatz , um Ziele klar zu definieren und die erzielten Wirkungen nachvollziehbar darzustellen. Wir zeigen dir den praktischen Nutzen und typische Herausforderungen der Wirkungsorientierung und entwickeln ein erstes eigenes Wirkungsmodell.