2.5 Evaluation unterschiedlicher Kompetenztests

Das Projekt roadMAP hat sich zum Ziel gesetzt, praxisrelevante Empfehlungen zu geben, wie die Kompetenzentwicklung in der öffentlichen Verwaltung gestaltet werden kann. Laufende Evaluationen dokumentieren und belegen, welche Methoden erfolgreich waren, welche nicht – und warum Entscheidungen getroffen wurden. Das ist besonders für künftige Projekte oder Entscheider*innen wichtig. Eine kontinuierliche Evaluation sollte sicherstellen, dass die eingesetzten Tools und Methoden effektiv dabei helfen, das Vorgehen im Projekt transparent zu gestalten, Lernkurven zu dokumentieren und die Qualität der Ergebnisse zu erhöhen.

Bewertet wurden die Kompetenztests nach dem ersten Einsatz durch die Teilnehmenden mittels einer Online-Befragung. Dabei haben insgesamt 60 Personen teilgenommen und die Befragung abgeschlossen. Bis auf die Feuerwehr waren alle Jobfamilien vertreten, manche allerdings nur mit einzelnen oder geringen Rückmeldungen. Am stärksten vertreten waren Reinigungs- und Verwaltungskräfte sowie das Handwerk zu je ähnlichen Anteilen.

Insgesamt sind die Teilnehmenden eher zufrieden mit der Durchführung der Tests (55 %), allerdings sind nur 8 Prozent sehr zufrieden. Hier spielen verschiedene Faktoren mit hinein: die Organisation der Teilnahme, die Konzeption und die Fragen des Tests, die technische Funktionalität und auch das Gefühl, das der Test bei den Teilnehmenden hinterließ. Positiv bewertet wurde die Zuverlässigkeit der Tests, die 81 Prozent zufrieden stellte, davon sogar 57 Prozent voll und ganz. Auch gefiel die Durchführung der Tests der Mehrheit eher gut bzw. gut (67 %). Ein noch etwas größerer Anteil von 73 Prozent bewertete die Testdauer zu etwa gleichen Teilen als eher gut bzw. gut. Ein Spaßfaktor bestand bei der Durchführung des Tests dafür weniger; nur etwas mehr als ein Drittel stimmten der Aussage zu, der Test mache (eher) Spaß.

In der offenen Abfrage der Evaluation waren folgende Aspekte relevant:

1. Inhalte und Relevanz
   Viele Fragen erscheinen zu IT-spezifisch, greifen zu viele unbekannte Fachbegriffe auf oder haben keinen direkten Bezug zum Arbeitsalltag eines „normalen“ Users. Manche Fragen wirken zu willkürlich, sind nicht an das jeweilige berufliche Umfeld angepasst oder gehen weit über das benötigte Wissen hinaus. Für Expert*innen hingegen werden sehr spezifische Fachfragen gestellt.
2. Struktur und Verständlichkeit
   Die Trennung zwischen Selbsteinschätzung und Wissensfragen ist nicht immer klar nachvollziehbar; es besteht kaum inhaltlicher Zusammenhang. Das Auswertungskonzept wird als zu komplex oder undurchsichtig wahrgenommen.
3. Feedback und Lernerfolg
   Teilnehmende vermissen eine direkte Rückmeldung: Welche Fragen wurden falsch beantwortet und was wären die richtigen Lösungen? Eine solche Auswertung würde den Lerneffekt erhöhen.
4. Wunsch nach Anpassung an Berufsgruppen
   Es wird empfohlen, Fragen vorab auf bestimmte Arbeitsbereiche oder Berufsgruppen zuzuschneiden. Ein besserer Praxisbezug würde den Test aussagekräftiger und nutzbringender machen.
5. Mismatch zwischen Selbsteinschätzung und Wissensfragen
   Die Kluft zwischen Selbstbewertung und tatsächlichem Wissen wird als sehr groß empfunden. Teilnehmende überschätzen sich leicht, da die Antwortmöglichkeiten der Selbsteinschätzung (zum Beispiel im fit4internet-Test) ungenau oder zu optimistisch formuliert sind.

Insgesamt sprechen sich die Befragten dafür aus, das Format stärker an Berufs- und Alltagskontexte anzupassen, klarere bzw. realistischere Selbsteinschätzungsoptionen anzubieten und mehr Feedback zu den richtigen Antworten zu geben. Rund 45 Prozent der Befragten fühlen sich dennoch durch den Test motiviert, ihre digitalen Kompetenzen zu verbessern. Hinzu kommt ein Fünftel, das zumindest teilweise eine Motivation dazu verspürt. Vielleicht ist das auch einer der Gründe, warum die Teilnehmenden trotz der Einschränkungen des Tests überwiegend (73 %) ihren Kolleg*innen eine Teilnahme empfehlen würden. Und sie wären auch selbst bereit, regelmäßig (1 x im Jahr) an Kompetenztestungen teilzunehmen (73 %). Abschließend wurde noch nach Weiterbildungsmöglichkeiten und der Bewertung des Projekts zum damaligen Zeitpunkt gefragt. Dabei zeigte sich, dass zwar fast die Hälfte (48 %) ihre Weiterbildungsmöglichkeiten als gut (bzw. eher gut) bewertet, aber etwas mehr als ein Fünftel als weder gut noch schlecht und wiederum fast ein Drittel als eher nicht gut bzw. überhaupt nicht gut.

Die Kompetenztests zeigen, dass die Mehrheit der Teilnehmenden im Bereich der digitalen Kompetenzen als Einsteiger*innen und Anwender*innen eingestuft werden. Damit deuten die Ergebnisse auf geringere Unterschiede bei den digitalen Kompetenzen zwischen den verschiedenen Jobfamilien hin als ursprünglich angenommen. Der Digitalisierungsgrad des jeweiligen Bereichs scheint eine größere Rolle (auch innerhalb einer Jobfamilie) zu spielen.

Die meisten Kompetenztests, bestehend aus einer Selbsteinschätzung und einem Wissenstest, unterscheiden sich deutlich, insbesondere je detaillierter gefragt wird. Dabei wird ersichtlich, dass es hier – allerdings nicht in allen Jobfamilien und nicht bei allen Tests gleich große – Differenzen zwischen Selbsteinschätzung und tatsächlichem Wissensstand gibt. Zusätzlich gibt es Unterschiede zwischen Testtools, die in unterschiedliche Richtungen weisen. Die Differenzen zwischen Selbsteinschätzung und Wissenstest sind hinsichtlich der Kompetenzbereiche nicht gleich verteilt. Die Teilnehmenden weisen daraufhin, dass auch die Formulierung der Antwortmöglichkeiten zu dieser Diskrepanz beiträgt. Sie vermuten, dass diese bei der Selbsteinschätzung dazu verleitet, sich selbst zu überschätzen, weil sie sehr optimistisch formuliert seien.

Es gibt auch offensichtlich Bereiche, die besser eingeschätzt werden können als andere. Das stützen auch die Interviews: Während des Ausfüllens des Selbsteinschätzungstests ist die Referenz für die Teilnehmenden die Relevanz der jeweils abgefragten Kenntnisse für die eigene Tätigkeit sowie die innerliche Abfrage, ob die eigenen Kenntnisse im Alltag und im Vergleich mit anderen als ausreichend oder lückenhaft bzw. höher oder niedriger eingeschätzt werden. Dies kann von den objektivierten Ansätzen der Testentwicklung deutlich abweichen. Zudem spielt eine unterschiedliche Relevanz der adressierten Fragen in Arbeitsalltag und privatem Umfeld möglicherweise eine Rolle.

Inhaltlich zeigen die Ergebnisse der Wissenstests (und die Kommentierung in den Interviews), dass die Dinge, die im Alltag relevant sind bzw. in der täglichen Arbeit eine Rolle spielen, ganz gut bewertet werden können (sowohl in Bezug auf Können als auch auf Lücken). Schwieriger ist es, wenn Abfragen als nicht relevant angesehen bzw. nicht verstanden werden. Tatsächlich war die Verständlichkeit der Fragen kein kleines Thema. Selbst in der Verwaltung im engeren Sinn gab es einen großen Anteil, der die Fragen nur zum Teil als verständlich ansah. Der Anteil derjenigen, die Fragen unverständlich fanden, war in den „digitalisierungsfernen“ Jobfamilien stärker bis sehr stark ausgeprägt – was Fragen nach dem sinnvollen Einsatz von Kompetenzmessungstools aufwirft. Denn sie können nur messen, wenn die Fragen auch verstanden werden.

Diese Thematik ist eingebettet in die generelle Herausforderung, wie sich „digitale Kompetenzen“ operationalisieren lassen und welche Kompetenzen überhaupt in diesem Kontext sinnvoll sind (siehe auch den einführenden Artikel zu digitalen Kompetenzen). Die in den Tests verwendeten Operationalisierungen von digitaler Kompetenz zielen stark auf technikorientierte Kompetenzen ab, also die Bedienung von Hard- und Software und das Wissen um bestimmte Funktionen der IT-Architekturen, wenn zum Beispiel bestimmte Begriffe (Phishing, Makros, Screenshot, Booten, Social Bots, Staatstrojaner, Open Data etc.) abgefragt werden.

Der Vergleich der ersten Testung mit der zweiten war nur eingeschränkt möglich, weil nicht sichergestellt werden konnte, dass die gleichen Personen beide Tests absolvierten. Zudem gab es eine geringere Anzahl an Teilnehmenden bei der zweiten Testung. Das führte zu sehr uneinheitlichen Ergebnissen. Bei einem Testanbieter wurde zwischen dem ersten und zweiten Test sogar eine Abnahme des Kompetenzniveaus konstatiert. Wo es gelang, eine feste Gruppe durch die beiden Tests und eine Qualifikationsmaßnahme mitzunehmen, konnte allerdings ein – zumindest kleiner – Effekt der Verbesserung von Kompetenzen festgestellt werden. Hierbei müssen aber auch Lerneffekte berücksichtigt werden, die allein durch die Nutzung des Kompetenztests bedingt sind. Das heißt, es ist zu erwarten (jedenfalls bei den Testtools, die mit den gleichen Fragen operieren), dass allein der Versuch der Beantwortung und vielleicht das anschließende Nachschlagen oder Diskutieren mit Kolleg*innen einen Lernfortschritt bringt. Bei den Tests, die mit unterschiedlichen Fragesets operieren, ist es wiederum so, dass es bei der Beantwortung zu Zufallseffekten kommen kann – etwa wenn auf dem gleichen Wissensniveau eine Frage gestellt wird, die individuell leichter oder schwerer zu beantworten ist.

Für die meisten Jobfamilien gab es so viele Variablen, die Einfluss auf das Ergebnis nehmen konnten, dass eine wissenschaftlich exakte Evaluierung der Qualifikationsmaßnahmen nicht möglich war. Das Projekt konnte zeigen, dass die Anforderungen an ein solches Vorhaben sehr hoch sind und im Vorhinein abgewogen werden sollte, ob zwingend dieser Nachweis erbracht werden muss. Denn der Aufwand, ein solches Projekt für einzelne Gruppen durchzuführen und zu begleiten, ist nicht zu unterschätzen. In einem größeren Kontext ist es kaum ohne externe Unterstützung umsetzbar.