nachgefragt bei Annelie Lorber - Wirkungsevaluation Teil 1

“nachgefragt” ist das Interview-Format aus dem Projekt RessourcE. Bei nachgefragt gehen wir in den Austausch mit unterschiedlichen Projektbeteiligten. Sie teilen hier Ihr Know-How und Ihre Erkenntnisse mit uns. Los gehts.

Die Wirkungsevaluation im Projekt RessourcE – Wissenschaft und Praxis auf Augenhöhe

Im Interview plaudern Annelie Lorber von der Organisationspsychologie der Universität Bremen und Lye Samba, Geschäftsführer der PTS Logistics GmbH über die Umsetzung des Forschungsprojekts RessourcE aus dem Nähkästchen. Was genau ist eine Wirkungsevaluation und wozu ist sie wichtig? Welche Hindernisse lauern dabei in den Bereichen Forschung und Praxis? Und vor allem: Wie gelingt eine erfolgreiche Zusammenarbeit?

Teil 1 – Annelie Lorber über die wissenschaftliche Perspektive des Projekts

Das Video findet ihr auf unserem YouTube-Kanal.

Und hier das komplette Interview in Textform:

Hallo Annelie. Erzähl doch mal kurz, was du im Projekt RessourcE machst.

Ich bin an der Universität Bremen als wissenschaftliche Mitarbeiterin im Bereich Organisationspsychologie angestellt. Im Projekt habe ich zusammen mit meiner Kollegin Hannah Krüger so eine Art Doppelrolle. Wir arbeiten zum einen im Hub QUALI-L und entwickeln zusammen mit dem ITAS ein KI -Tool zur Potenzialerkennung und Kompetenzentwicklung von Personen in der Logistik. Zum anderen betreuen wir aber auch die Wirkungsanalyse des Projekts.

Was genau sind denn Wirkungsanalysen?

Bei Wirkungsanalysen geht es darum, einen Evaluationsgegenstand systematisch, transparent und auf Daten gestützt zu beschreiben und auch zu bewerten. Ein Evaluationsgegenstand kann zum Beispiel eine Politik sein, ein Projekt oder irgendeine Maßnahme –auch ein Workshop. Meistens ist es so, dass diese Evaluationsgegenstände auch öffentlich verantwortet oder finanziert werden – wie es ja bei unserem RessourcE-Projekt auch der Fall ist.

Warum werden Wirkungsanalysen durchgeführt?

Ich würde sagen, es gibt zwei Hauptgründe, warum man eine Wirkungsanalyse – oder man sagt auch Evaluation – durchführt. Der eine ist, dass man etwas optimieren möchte. Dann spricht man auch von einer formativen Evaluation. Das macht man dann häufig mittels qualitativer Methoden. Das heißt, man führt zum Beispiel Interviews mit den Personen, die an der Maßnahme teilgenommen haben und fragt: „Was kann man beim nächsten Workshop besser machen? Was hat dir gefallen, was lief vielleicht nicht so gut?“ Und so optimiert man dann die Maßnahme weiter. Der zweite Grund wäre, dass man etwas kontrollieren oder legitimieren möchte. Dann ist es eher eine summative Evaluation und das ist genau das, was wir bei RessourcE machen. Da geht man häufig mit quantitativen Methoden vor – also zum Beispiel mit einem Fragebogen, wo Personen etwas ankreuzen können. Das dient dazu, dass man kontrolliert, ob das Projekt – die Maßnahme – wirklich die Ziele erreicht, die es sich gesetzt hat. Wir haben ja zum Beispiel eine Vorhabenbeschreibung formuliert, dass durch das RessourcE-Projekt die Arbeitszufriedenheit bei den Menschen in Einfacharbeit steigen soll und das kontrollieren wir. Wir messen die Arbeitszufriedenheit an mehreren Zeitpunkten und sehen dann so eine Entwicklung.

Unter welcher Zielgruppe werden üblicherweise solche Wirkungsanalysen durchgeführt?

Ich würde sagen, es gibt keine übliche Zielgruppe. Das hängt ganz davon ab, welches Projekt oder welche Maßnahme man sich anschauen möchte. Wenn ich einen Workshop mit Einfacharbeitenden mache, dann ist das meine Zielgruppe. Wenn ich einen Workshop mit Managern mache, dann ist das meine Zielgruppe. Die Herausforderung bei uns im Projekt war, dass wir natürlich validierte Skalen für den Fragebogen verwenden wollen – und die kommen häufig aus der Psychologie.

Kannst du kurz erklären, was validierte Skalen sind?

Das sind Skalen, die quasi schon vorher von Forschenden entwickelt worden sind und die eben dahingehend überprüft worden sind, dass sie wirklich das Konstrukt messen, was sie messen sollen. Wenn Arbeitszufriedenheit gemessen werden soll, dann ist es auch Arbeitszufriedenheit und nicht Zufriedenheit mit meinem Chef. Also nichts Nahes, sondern dass es wirklich den Punkt trifft und auch immer messgenau ist.

Wahrscheinlich gibt es dann auch eine gewisse Vergleichbarkeit, weil man immer dasselbe Messinstrument und dieselbe Skala verwendet. Richtig?

Ja, genau. In der Psychologie spricht man auch häufig von sogenannten „weird samples“. Weird steht dabei für Western, Educated, Industrialized, Rich und Democratic. Das ist nicht die breite Masse an Arbeitenden, sondern eine spezielle Gruppe. Oft sieht man dann auch, dass es Stichproben sind, die aus Managern bestehen, aus Lehrer:innen oder selbst aus Psychologiestudierenden. Mit solchen Personen wurden eben die Skalen oder die Fragen entwickelt – auch auf dem Abstraktionsniveau mit Begriffen, die diese Zielgruppe versteht. Das passt dann vielleicht nicht immer zu Einfacharbeitenden. Es gibt auch Ausnahmen – zum Beispiel das Informelle Lernen, welches Julian Decius, der ja auch im Projekt ist, entwickelt hat. Das ist eine Skala, die sich wirklich auch an Blue Collar Workers – also Menschen in der Industriearbeit – richtet. Die große Herausforderung bei uns war aber schon erstmal, dass die Skalen für eine andere Zielgruppe formuliert oder entwickelt sind.

In unserem Projekt sind ja die Einfacharbeitenden ganz klar die Zielgruppe. Das war dann der Punkt, an dem ihr gemerkt habt, ihr müsst die Fragebögen eventuell ein bisschen anpassen und habt diese weiterentwickelt. Kannst du uns da ein bisschen mitnehmen?

Gerne. Wir haben erstmal damit angefangen, natürlich Skalen zu sammeln, zu schauen, welche Konstrukte relevant sind. Manche Skalen lagen auch erst auf Englisch vor – die wurden dann übersetzt. Dann haben wir in unserem Forschungsteam schon einmal drübergeschaut – was aus unserem Empfinden etwas unverständlich war, haben wir versucht, einfacher zu formulieren. Wir sind dann aber relativ schnell mit Natascha in Kontakt getreten, die uns da auch immer sehr wertvolle Tipps gegeben hat, was man denn so berücksichtigen sollte. (Redaktionelle Anmerkung: Natascha Buts ist im Projekt RessourcE Expertin für einfache und leichte Sprache.) Sie hat uns dann teilweise Dinge gesagt, die eigentlich im Nachhinein ganz logisch klingen. Dass man im Aktiv statt im Passiv formuliert, Satzanfänge immer wiederholt, wenn sie ähnlich sind, dass man keine Abkürzungen benutzt. Man schreibt also nicht „z.B.“, sondern schreibt die Wörter ganz aus. Dass man eine möglichst einfache Satzstruktur hat, die dann immer ist: Subjekt, Prädikat, Objekt. Damit man alles nachvollziehen kann. Dass man Ziffern schreibt statt Zahlworte, weil das natürlich nochmal einfacher zu verstehen ist – auch wenn man einen anderen sprachlichen Hintergrund hat.

Das ist ja auch noch ein Thema. Es hat ja nicht jede:r Deutsch als Erstsprache. Dann kann es durchaus eine besondere Herausforderung sein, wenn die Formulierungen sehr komplex sind, Fachsprache verwendet wird oder Sätze sehr lang sind. Das ist nicht ohne. Dementsprechend habt ihr dann genau darauf geachtet und den Fragebogen komplett umgestaltet oder angepasst, richtig?

Ja, genau. Das haben wir gemacht. Nach dieser ersten schon relativ großen Umgestaltung sind wir dann zusätzlich in kognitive Interviews gegangen. Das sind Interviews, wo man mit Freiwilligen darüber spricht, wie sie den Fragebogen verstehen. Verstehen sie den Fragebogen überhaupt? Dass man über die Interviews hinweg auch schaut, ob alle Leute etwas auf die gleiche Weise verstehen oder ob es Unterschiede in den Verständnissen gibt. Und natürlich, ob die Teilnehmenden den Inhalt, so wie wir es intendiert haben, verstehen. Oder gehen sie - auch wenn es vielleicht einheitlich ist - in eine komplett andere Richtung?

Ich glaube, man geht häufig davon aus, dass auch andere Leute sprechen und verstehen wie man selber spricht und versteht. Dass immer das ankommt, was auch ankommen soll. Wir wissen aber, dass das nicht so ist. Was habt ihr denn aus den Interviews gelernt oder was habt ihr daraus mitgenommen?

Ich muss sagen, ich war nach den ersten Interviews wirklich überrascht. Wir hatten zusammen mit Natascha schon viel Arbeit reingesteckt, und ich dachte: „Naja, so einigermaßen gut wird man das jetzt schon verstehen.“ Aber da haben wir dann tatsächlich nochmal großen Anpassungsbedarf gesehen. Vieles hat sich nochmal aufgetan. Deswegen haben wir dann auch eine zweite Runde an Interviews gemacht. Nach der ersten Runde haben wir den Fragebogen wieder verbessert, angepasst. In der zweiten Runde haben wir nochmal getestet, was schon besser lief. Was für mich interessant war, war, dass man die unterschiedlichen sprachlichen Hintergründe auch tatsächlich merkt. Auch, was für uns zum Beispiel so selbstverständlich ist, Umlaute wie Ä, Ü und Ö. Häufig waren Wörter, wo eben diese Buchstaben vorkamen, dann schwierig zu lesen. Da gab es dann Verständnisprobleme, weil man das in anderen Sprachen nicht so gewohnt ist. Ich komme aus der Organisationspsychologie. Für uns ist immer klar, was mit Organisation gemeint ist – im Sinne von Unternehmen, Firma. Aber Organisation ist natürlich auch ein Begriff, der sehr viel bedeuten kann und das haben wir in den Interviews gemerkt. Mehr im Sinne von – ich organisiere etwas, ich mache mir einen Plan. So wurde der Begriff dann zum Teil auch verstanden.

Ich habe gerade die beiden Fragebögen vor mir – die erste Variante und die letzte Variante. Da gibt es zum Beispiel die Frage: „Bei welcher Organisation arbeiten Sie?“ In der späteren Variante wurde „Organisation“ durch „Firma“ ersetzt. Weil ihr gelernt habt, dass die Leute mit dem Begriff viel mehr anfangen können?

Ja, genau. Wenn wir gemerkt haben, dass es Verständnisprobleme gibt, haben wir auch nachgefragt: „Was wäre denn ein Wort, das du benutzen würdest?“ Da kam dann eben Firma heraus. Was ich auch interessant fand, weil ich nicht dachte, dass Personen die in Pflegeeinrichtungen arbeiten, ihre Organisation als Firma sehen. Aber es ist tatsächlich auch ein Wort, das sie so gebrauchen.

Ich habe ich gehört, dass ihr den Fragebogen dann auch noch übersetzt habt. In welche Sprachen habt ihr den finalen Fragebogen genau übersetzt? Das ist ja nochmal jede Menge Aufwand.

Da hatten wir zum Glück einen Praxispartner, der uns mit Muttersprachler:innen, die unsere Übersetzung noch einmal kontrolliert haben, unterstützt hat. Für den Praxispartner haben wir dann auf Arabisch, Polnisch, Russisch, Englisch und Türkisch übersetzt.

Damit habt ihr sicherlich relativ viele Leute in den Betrieben, die ihr untersucht habt, befragen können, weil genau diese Sprachen dort am meisten vorherrschen. Hut ab, dass ihr da so viel Arbeit investiert habt. Und ich habe aber den Eindruck, dass es sich jetzt auch gelohnt hat.

Ja, das haben wir auch gemerkt. Es kam wirklich gut an.

Vielen Dank für den Einblick in deine Arbeit, Annelie.

Dieses Forschungs- und Entwicklungsprojekt wird durch das Bundesministerium für Bildung und Forschung (BMBF) gefördert und vom Projektträger Karlsruhe (PTKA) betreut.

Programm: „Zukunft der Wertschöpfung – Forschung zu Produktion, Dienstleistung und Arbeit“

Fördermaßnahme: „Regionale Kompetenzzentrum der Arbeitsforschung“

Die Verantwortung für den Inhalt dieser Veröffentlichung liegt bei den Autor:innen.

Hannah Thiele