3.3 Evaluieren: Qualifizierung rückblickend bewerten

Die Abschlussbefragung im Projekt roadMAP wurde im Nachgang zu den Qualifizierungsmaßnahmen und ggf. der zweiten Kompetenzmessung durchgeführt. Die Teilnehmenden wurden um Rückmeldung zu den Qualifizierungsmaßnahmen gebeten, aber auch zum Projekt und zu ihren Wünschen für zukünftige Qualifizierungen. Die Befragung wurde online durchgeführt (für eine Gruppe der schreibtischfernen Jobfamilie mit Papierbögen, die in das Online-Tool eingepflegt wurden). Insgesamt haben 41 Personen die Online-Befragung komplett abgeschlossen.

Nicht alle Jobfamilien waren vertreten: Die Verwaltung war mit 51 Prozent am stärksten repräsentiert – vor den Reinigungskräften (20 %), der sozialen Arbeit (10 %) sowie Erziehung und Ingenieurwesen (jeweils 7 %). 5 Prozent der Befragten ordneten sich keiner der abgefragten Jobfamilien zu. Leider war es nicht gelungen, alle Jobfamilien zur Teilnahme an der Abschlussbefragung zu bewegen. Eine Rolle spielte sicherlich auch eine gewisse Befragungsmüdigkeit im Verlauf des Projekts, zumal für manche die Abfragen inklusive eigener Feedback-Erhebungen durch die Anbieter der Qualifizierungsmaßnahmen sehr eng getaktet waren. Von den Befragten haben 71 Prozent an einer Qualifizierungsmaßnahme teilgenommen. Deren Bewertungen werden im Folgenden genauer betrachtet.

Hinsichtlich der Durchführung und der methodischen Konzepte reichten die Qualifizierungsangebote von klassischen Präsenzangeboten vor Ort über Online-Präsenz, Selbstlernmodule, die online zur Verfügung standen, bis hin zu neueren Ansätzen der Gamification, in denen Lernprozesse ähnlich einem Computerspiel virtuell ermöglicht werden. Die Verteilung der Befragten lag hier bei je fast einem Drittel bei E-Learning (31 %), Präsenz (vor Ort) (28 %) und Gamification (28 %). Auf weitere 10 Prozent entfielen andere Online-Angebote. Anbieter und Qualifizierungsformate, die im Projekt eine Rolle spielten, finden Sie in der Toolbox und im Artikel Weiterbilden: die richtige Lernform für jede*n.

Insgesamt waren die Teilnehmenden mit den Qualifizierungsmaßnahmen zufrieden, fast 60 Prozent vergaben die Schulnoten 1 und 2. Die eingesetzten Lehrmethoden und -materialien, die Art der Durchführung (online, Präsenz etc.), die zur Verfügung stehenden Lehrmaterialien sowie die Organisation der Veranstaltung wurden überwiegend in diesem Notenbereich bewertet. Lediglich die Möglichkeit der aktiven Teilnahme wurde schlechter bewertet, was auch daran liegt, dass die Angebote hier schon konzeptionell unterschiedlich angelegt waren.

Hinsichtlich der Bewertung der Qualifizierungsmaßnahmen und ihrer Inhalte ergeben sich vereinzelt Unterschiede, je nachdem, welches Lernformat die Befragten genutzt haben.

Für die Auswertung wurden nur Lernformate berücksichtigt, zu denen eine Rückmeldung von mehr als fünf Personen erfolgte.

Das waren E-Learning (Selbstlernmodule), Präsenz (vor Ort) und Gamification. Mittels einer Durchschnittsnote aus allen Bewertungen wurden diese drei Lernformate mit dem Gesamteindruck verglichen. Dabei zeigte sich, dass die Nutzenden der Selbstlernmodule die Qualifizierung insgesamt deutlich schlechter bewerteten: Während Gamification und Präsenz sich klar im Bereich „gut“ befanden, wurde von den Nutzenden der Selbstlernmodule nur ein „befriedigend“ vergeben.

Hinsichtlich der eingesetzten Lehrmethoden schnitt die Präsenzveranstaltung am besten ab, auch hier wurde das E-Learning am schlechtesten bewertet, rund einen Notenpunkt beträgt die Differenz. Hinsichtlich der Lernmaterialien gab es kaum Unterschiede und bezogen auf die Durchführung schnitt die Gamification etwas schlechter ab. Die Möglichkeit der aktiven Teilnahme und Diskussion wurde für die Präsenzveranstaltung am besten bewertet, hier schnitten die Selbstlernmodule mit „ausreichend“ mit Abstand am schlechtesten ab. Zum Teil ist das sicher dem Konzept „Selbstlernmodul“, das zeit- und ortsunabhängig bearbeitet werden kann, geschuldet. Es kann aber auch bedeuten, dass die aktiven Elemente, zum Beispiel Quizfragen, nicht ausreichend vorhanden oder nicht als solche wahrgenommen wurden.

Die Organisation der Veranstaltung wurde dort am positivsten bewertet, wo sie auch am relevantesten war (Präsenzveranstaltung). Die Bewertung der Inhalte ergab zum einen, dass durchweg die erlernten Inhalte nur in „ausreichendem“ Maße angewendet werden konnten, obwohl die Einschätzung der Passung zum Beruf (mit Ausnahme der Selbstlernmodule, die auch hier nur ein „befriedigend“ bekamen) deutlich positiver bewertet wurde. Das wiederum kann darauf zurückgeführt werden, dass möglicherweise in den Qualifizierungsangeboten Themen adressiert wurden, die im Arbeitsalltag (noch) nicht relevant waren, aber grundsätzlich schon auf die Tätigkeiten bezogen werden konnten. Der Umfang wurde überwiegend mit Noten zwischen 1 und 2 bewertet, die Bewertung der Selbstlernmodule war auch hier etwas zurückhaltender. Die Passung der Inhalte zur eigenen Erwartungshaltung war bei allen Lernmethoden ausgewogen und lag im Bereich von 2 bis 3.

Die Teilnehmenden der Befragung wurden ebenso wie die Interviewten gebeten, noch einmal Feedback zu den Qualifizierungsmaßnahmen zu geben. Erfreulich war die Rückmeldung, dass man es noch einmal machen würde. Des Weiteren wurde die Vielzahl an angebotenen Themen mit häufig flexiblen Nutzungsmöglichkeiten positiv hervorgehoben. Das war unter den Befragten auch tatsächlich so gegeben – bis auf eine Jobfamilie mit bürofernen Arbeitsplätzen, für die die Durchführung von reinen Online-Angeboten keine Option war.

Es gab auch Stimmen, die das breite Angebot oder die Tatsache, dass allen direkten Kolleg*innen das gleiche Angebot gemacht wurde, eher irritierend fanden. Sie waren davon ausgegangen, gezieltere, individueller zugeschnittene und weniger als oberflächlich empfundene Angebote als Konsequenz aus den Tests zu erhalten. Die Erwartung war, dass diese stärker auf die Beseitigung der diagnostizierten Defizite ausgerichtet wären. Damit lassen sich auch die sehr unterschiedlichen Rückmeldungen zu Zielgruppen der Angebote des Projekts erklären: Während manche annahmen, dass die digital weniger affinen Beschäftigten im Fokus stehen sollten, gingen andere davon aus, dass eher die IT-Beschäftigten adressiert wären. Das mag auch an den Angeboten selbst liegen. In den durchgeführten Interviews trat zutage, dass es einerseits Angebote gab, die die Teilnehmenden als zu trivial für den eigenen Bedarf ansahen (Einführung Excel). Die Flughöhe anderer Angebote wiederum wurde als zu hoch angesehen.

Es zeigten sich dabei auch Unterschiede in den Jobfamilien. Bei jenen mit eher verwaltungsferner Ausbildung (soziale Arbeit etc.) zeigten sich Beschäftigte durchaus zufrieden mit dem Angebot grundlegender Office-Kompetenzen, weil sie sich diese häufig selbst und nur anlassbezogen aneignen und sich „durchwursteln“. Andere, bei denen die tägliche Arbeit von Beginn an aus Excel-Tabellen besteht, sind mit einer Einführung in Excel nicht mehr zu begeistern. Manchen fiel angesichts der verschiedenen Angebote auch die Auswahl schwer. Außerdem wurde thematisiert, dass es vielleicht auch mehr verbindliche Qualifizierungsangebote geben sollte, damit sich niemand dauerhaft den Weiterbildungsprozessen entziehen könne.

Befragt nach der Wirkung der Teilnahme an Qualifizierungsmaßnahmen und des Projekts insgesamt, konstatierten die Teilnehmenden in erster Linie ein gestiegenes Interesse an der Entwicklung eigener Kompetenzen – gefolgt von dem Wunsch, an einem weiterführenden Angebot teilzunehmen. Die konkrete Verbesserung der eigenen digitalen Kompetenz wurde noch mit einem Notendurchschnitt von „befriedigend“ bewertet.

Es wurde abschließend nach Präferenzen für zukünftige Qualifizierungsmaßnahmen gefragt. Dabei ergaben sich folgende Ergebnisse:

Wünsche in Bezug auf Zeit:

Wünsche in Bezug auf den Ort:

Kürzere Formate gelten als besser planbar, weil sie sich leichter in den Arbeitsalltag integrieren lassen. Ein ganzer Tag Weiterbildungszeit wird oft als schwieriger empfunden, da dadurch mehr Zeit für andere Aufgaben verloren geht. Kurze Online-Schulungen (ein bis zwei Stunden) gelten als praktisch, um schnell neues Wissen zu erlangen oder Input zu bekommen. Die Möglichkeit, ortsunabhängig daran teilzunehmen, erleichtert den Austausch, gerade weil keine Anreise (auch nicht über kurze Distanzen) nötig ist. Online-Formate bieten zudem gute Tools zur Interaktion (geteilte Dokumente, digitale Whiteboards etc.), was den Lerneffekt erhöhen kann. Bei längeren Weiterbildungen (Tagesseminare, mehrtägige Workshops) wird Präsenz bevorzugt, weil der direkte Austausch und das informelle Gespräch in Pausen intensiver sind. Auch praktische Übungen oder gemeinsames Arbeiten an physischen Materialien (Post-its, Messe-Charakter etc.) profitieren von Präsenz, weil das Miteinander und die unmittelbare Interaktion gefördert werden.

Befragt nach den gewünschten Schwerpunkten im Themenkomplex „Digitalisierung“ (Mehrfachauswahl möglich), äußerten 71 Prozent, sie wünschten sich Angebote zu digitalen Kompetenzen im Allgemeinen, im Sinne von „Digitalisierung verstehen“, 48 Prozent Angebote zu konkreten Einzelanwendungen wie MS Office, und 52 Prozent interessierten sich für Fragen der Arbeitsorganisation. Angemerkt wurde, dass es schön wäre, Angebote zu den eigenen Lücken zu erhalten.

Aus den Interviews ließen sich weitere Aspekte, auf die zukünftige Gestaltung der Qualifizierung bezogen, ableiten. Es lässt sich festhalten, dass die Interviewten das Potenzial für Verbesserungen durch den Einsatz digitaler Technologien durchaus sehen (davon ist auch in der Befragung auszugehen, wenn sich die Hälfte arbeitsorganisationsbezogene Angebote wünscht), was damit zu tun hat, dass hier vor allem computernahe Jobfamilien beteiligt waren. Sie wünschen sich aber mehr Unterstützung und Weiterbildung, um diese Möglichkeiten optimal zu nutzen. Insbesondere werden folgende Aspekte hervorgehoben:

1. Bedarf an abteilungsübergreifenden Schulungen und Austausch:
   … mit dem Ziel, Erfahrungen und Lösungsansätze zu teilen und voneinander zu lernen. Viele Mitarbeitende haben unterschiedliche Herangehensweisen entwickelt, die nicht immer optimal sind. Regelmäßige interne Treffen mit den zuständigen IT-Mitarbeitenden könnten ebenfalls hilfreich sein.
2. Wunsch nach zielgruppenspezifischen Weiterbildungen:
   Ansprache von nur Einsteiger*innen und erfahreneren Nutzenden ansprechen. Die jüngeren Interviewten fühlen sich durch die bisherigen Angebote zu allgemeinen „Digitalkompetenzen“ unterfordert, die älteren Interviewten ebenso, wenn es sich um Standard-Office-Anwendungen handelte.
3. Grundsätzliches Interesse an Schulungen zu Standardprogrammen:
   … zum Beispiel MS Office (siehe auch Abschlussbefragung), um deren Funktionen besser auszuschöpfen und die Arbeit zu erleichtern. Das kann aber auch kollegial geschehen (siehe Punkt 1) und in Bezug auf ganz konkrete Anwendungsfälle. Auch der Einsatz von KI und Automatisierung in spezifischen Arbeitsbereichen wird als interessantes Thema gesehen.
4. Bedarf an mehr zeitlichen Ressourcen für den IT-Support:
   Viele Fragen und Probleme tauchen im Zuge der Nutzung von Technologien auf, die die zuständigen Beschäftigten stark belasten. Eine Aufstockung in diesem Bereich wird als wünschenswert gesehen. In den Bereichen, wo diese Kompetenzen zentral gebündelt sind, wird auch der Wunsch geäußert, die Fachkräfte direkt in den Bereichen anzusiedeln, wo sie benötigt werden.

Insgesamt zeigt sich, dass die Befragten offen für den Einsatz digitaler Technologien sind. Sie tun sich allerdings häufig schwer, konkrete Vorstellungen zu entwickeln, wie diese ihre Arbeit erleichtern und optimieren könnten. Dafür benötigen sie mehr Unterstützung und Weiterbildung, aber auch Freiräume zum Experimentieren und für einen zwanglosen Austausch mit Kolleg*innen sowie vereinfachte Möglichkeiten, kleinere hilfreiche Tools mit möglichst wenig Aufwand zu beschaffen.