Kursangebot | | Instrumente der Evaluierung

Instrumente der Evaluierung

01. Was versteht man unter Evaluierung?

Evaluierung (auch: Evaluation, Erfolgskontrolle) ist die Überprüfung und Bewertung von Entwicklungsmaßnahmen hinsichtlich

  • ihres Inputs

  • ihres Prozesses

  • ihres Outputs.

Von zentraler Bedeutung bei der Erfolgskontrolle von PE-Maßnahmen ist der Transfer des Gelernten in die Praxis (Umsetzung vom Lernfeld in das Funktionsfeld). Inhalte und Erfahrungen von Qualifizierungsmaßnahmen, die keinen Eingang in die Praxis finden sind das Geld nicht wert, das sie kosten.

Es müssen daher im Rahmen der Evaluierung folgende Schlüsselfragen bearbeitet werden:

► Was sollte gelernt werden?Evaluierung der Lernziele
► Was wurde tatsächlich gelernt?Evaluierung der Lernprozesse und -methoden
► Was wurde davon behalten?Evaluierung des Lernerfolges
► Was wurde davon in die Praxis umgesetzt?Evaluierung des Anwendungserfolges
► In welchem Verhältnis stehen Aufwand und Nutzen zueinander?Evaluierung des ökonomischen Erfolges

Die Evaluierung eines PE-Prozesses ist mehr als die „bloße Kontrolle einer Bildungsmaßnahme“. Ebenso wie in anderen betrieblichen Funktionen ist sie ein geschlossenes System von Zielsetzung, Planung, Organisation, Durchführung und Kontrolle – mit den generellen Phasen:

1. Analyse der Ist-Situation
imported
Evaluierungssystem
2. Zielsetzung (Sollwert)
3. Vergleich von Soll und Ist (Abweichungsanalyse)
4. Ursachenanalyse
5. Entwicklung von Maßnahmen und Methoden
6. Kontrolle der Wirkung der durchgeführten Maßnahmen
→ Vgl. Anhang zu diesem Kapitel

02. Welche Methoden zur Evaluierung können eingesetzt werden?

Zur Erfolgskontrolle von Maßnahmen der Personalentwicklung sind vor allem vier Methoden geeignet:

imported

03. Wie wird die Kontrolle des Lernerfolgs durchgeführt?

Die Kontrolle des Lernerfolgs (auch: pädagogische Erfolgskontrolle im Lernfeld) wird über die Beantwortung folgender Fragen durchgeführt:

  • Was sollte gelernt werden?

  • Was wurde gelernt?

  • Was wurde davon im Lernfeld behalten?

Zu überprüfen sind also beispielweise die ausreichende und messbare Formulierung der Lernziele, ihre Übermittlung an den Mitarbeiter, der Vergleich der angestrebten Lernziele mit den tatsächlich vermittelten Lernzielen sowie die Wirksamkeit der im Lernfeld eingesetzten Methoden.

Die Absicherung des Lernerfolges wird durchgeführt:

  1. Vor der Maßnahme:

    → Gespräch Vorgesetzter – Mitarbeiter:

    Ziele und Inhalte der Maßnahme

  2. Während der Maßnahme:

    → Tests oder Prüfungen

  3. Nach der Maßnahme:

    → Befragung der Teilnehmer am Schluss der Maßnahme:

    strukturierte oder freie Seminar- bzw. Lehrgangsbewertung

    → Feedback-Gespräche:

    3.1

    Vorgesetzter – Mitarbeiter:

    • direkt nach Beendigung der Maßnahme

    • im Rahmen von Beurteilungs- und PE-Gesprächen

    3.2

    Vorgesetzter – Trainer:

    Selbsteinschätzung, Fremdeinschätzung der Teilnehmer, Einleitung von begleitenden Maßnahmen zur Umsetzung

Der Lernerfolg sagt noch nichts aus über den Anwendungserfolg, d. h. die Umsetzung der Lernzuwächse in der Praxis. Es gilt die Erfahrung aus der Kommunikationslehre:

„Gesagt heißt (nicht unbedingt) gehört.“

„Gehört heißt (nicht unbedingt) verstanden.“

„Verstanden heißt (nicht unbedingt) angewendet.“

Die Umsetzung des Gelernten in die Praxis kann mit folgenden Schwierigkeiten verbunden sein:

  • Lerninhalte, vereinbarte Lernziele und Methoden entsprechen sich nicht

  • Lernerfolge führen beim Mitarbeiter erst zu einem späteren Zeitpunkt zu Anwendungserfolgen (z. B. Transferblockaden, Transferhemmnisse)

  • die Praxis bietet kurzfristig keine Transfermöglichkeiten: neue Fertigkeiten können im Funktionsfeld nicht sofort erprobt werden.

Daher ist neben der Kontrolle des Lernerfolgs auch die Kontrolle des Anwendungserfolgs durchzuführen.

04. Wie erfolgt die Kontrolle des Anwendungserfolgs?

Die Kontrolle des Anwendungserfolgs beantwortet die Frage: „Welche der zu lernenden Inhalte konnten kurz- und mittelfristig in die Praxis umgesetzt werden?“

Die Anwendungskontrolle sollte unmittelbar nach der Qualifizierung im Lernfeld aber auch zu späteren Zeitpunkten erfolgen, da die Mitarbeiter sich in der Transferleistung unterscheiden; sie kann erfolgen über

  • Befragung der Mitarbeiter (Selbsteinschätzung)

  • Befragung des Vorgesetzten (Fremdeinschätzung)

  • Beobachtung und Bewertung im Rahmen der Leistungsbeurteilung

  • Erörterung im Rahmen von PE-Gesprächen:

    • Lernzuwächse im Bereich der Problembewältigung

    • verbesserte Sensibilisierung für neue Probleme und Lösungsansätze

    • Identifikationszuwächse (für die gestellte Aufgabe; für neu erlernte Methoden)

  • Follow-up-Maßnahmen: Arbeits-/Lerngruppen und Anschlussmaßnahmen bieten den Teilnehmern die Möglichkeit, Erfahrungen über den Transfer auszutauschen und zusätzlich erforderliche Maßnahmen einzuleiten.

05. Welche Möglichkeiten der Kostenkontrolle gibt es?

Die Kostenkontrolle setzt eine Erfassung aller Kosten voraus, die im Zusammenhang mit der Qualifizierung entstanden sind: Art und Höhe der Kosten sowie Zeitpunkt der Entstehung und verursachende Kostenstelle.

Hinsichtlich der Kostenart lassen sich folgende Beispiele nennen:

  • Kosten externer Maßnahmen (off the job), z. B.:

    Kursgebühren, Reisekosten, ausgefallene und bezahlte Arbeitszeit, Opportunitätskosten, anteilige Personal- und Verwaltungskosten usw.

  • Kosten interner Maßnahmen am Arbeitsplatz (on the job), z. B.:

    Unterweisung, Kosten innerbetrieblicher Referenten usw.

  • Kosten interner Maßnahmen außerhalb des Arbeitsplatzes (near the job), z. B.:

    Raumkosten, Honorare, Lehr- und Lernmittel usw.

  • Weitere Kosten können mit PE-Maßnahmen „into the job“, „out of the job“ und speziellen PE-Maßnahmen verbunden sein, z. B.: Einarbeitungsprogramme, Förderprogramme für Nachwuchskräfte, Auslandsentsendung, Laufbahn-PE. Die Kosten für ausgefallene Arbeitszeiten werden in der Praxis meist in Ansatz gebracht.

Im Rahmen der Kostenkontrolle können Kostenvergleichsrechnungen, Bildungsbudgets sowie Kennziffern (Kosten je Mitarbeiter) erhoben werden.

06. Kann man die Rentabilität einer Personalentwicklungsmaßnahme erfassen?

Die Kontrolle der Rentabilität von Qualifizierungsmaßnahmen (auch: ökonomische Erfolgskontrolle) wird in der Theorie meist anhand der folgenden Kennziffer dargestellt:

$$Rendite\; der\; Qualifizierung = \frac{[Wert\; der\; Qualifizierung – Kosten\; (in\; €)]}{Kosten\; der\; Qualifizierung} * 100$$

Beispiel

Hier klicken zum Ausklappen

Die Anzahl der Kundenreklamationen bei der Montage von Rasenmähern lag in der Berichtsperiode bei 12 pro 1.000 Stück Absatz. In einer Periode werden rd. 35.000 Stück gefertigt. Die Nachbearbeitungskosten pro Reklamation wurden vom Rechnungswesen mit 180,00 € beziffert (inkl. entgangener Gewinne aufgrund eines Negativimages).

Mit einem externen Trainer wurde eine Schulungsmaßnahme zur Qualitätsverbesserung in der Montage durchgeführt. Nach Abschluss der Maßnahme konnte im Laufe von zwei Monaten die Anzahl der Reklamationen auf 3 pro 1.000 Stück Absatz gesenkt werden.

Es entstanden folgende Qualifizierungskosten für die Schulung der 30 Montagemitarbeiter:

Feldarbeit des Trainers im Unternehmen:3 Tage à 1.100 €=3.300,00 €
Diagnose der Probleme und Abläufe   
Reisekosten des Trainers:  1.080,00 €
Honorar des Trainers:2 • 2 Tage à 1.200 €=4.800,00 €
Ausgefallene Arbeitszeit:   
30 Mitarbeiter • 16 Std. • 24 €/Std. =11.520,00 €
(Std.satz: inkl. Sozialkosten)   
Anteilige Verwaltungskosten: =5.000,00 €
Kosten, gesamt =25.700,00 €

Der ökonomische Wert der Qualifizierung ist die Differenz zwischen den Reklamationskosten vor und nach der Maßnahme:

Reklamationskosten vor der Maßnahme:12 • 35.000 : 1.000 • 180=75.600,00 €
Reklamationskosten nach der Maßnahme:3 • 35.000 : 1.000 • 180=18.900,00 €
Ökonomischer Wert der Qualifizierungsmaßnahme =56.700,00 €

Daraus ergibt sich:

$$Rendite\; der\; Qualifizierung = \frac{[Wert\; der\; Qualifizierung – Kosten\; (in\; €)]}{Kosten\; der\; Qualifizierung} * 100$$

$$= \frac{(56.700 – 25.700)\; *\; 100}{25.700} = 120,6 \%$$

Die Investition in die Qualifizierung hat sich „gelohnt“, die Rendite liegt bei 120,6 %. Die Kosten der Qualifizierung betragen ca. die Hälfte des Wertes der Qualifizierung bezogen auf ein Jahr. Daraus lässt sich ableiten: Die Kosten der Qualifizierung fließen bereits nach rd. einem halben Jahr über die eingesparten Reklamationskosten wieder zurück.

Obwohl das oben dargestellte Beispiel plausibel ist, lassen sich in der Praxis die ökonomischen Effekte einer Qualifizierungsmaßnahme oft schwer in Zahlen darstellen.

Der Meister ist also bei der Evaluierung von Personalentwicklungsmaßnahmen überwiegend darauf angewiesen, sich auf die Kontrolle der PE-Kosten sowie die Erfolgskontrolle im Lernfeld und im Funktionsfeld zu stützen.

07. Welchen Stellenwert haben Personalentwicklungsgespräche im Rahmen der Evaluierung? Welcher Gesprächsleitfaden ist zu empfehlen?

Das Personalentwicklungsgespräch dient u. a. der Vorbereitung und der Nacharbeit von Qualifizierungsmaßnahmen. Der Meister sollte die einzelnen Phasen der Evaluierung beherrschen und sich an dem folgenden Phasenverlauf orientieren (Leitfaden zur Evaluierung von PE-Maßnahmen):

  1. Formulierung der PE-Ziele

  2. Vorbereitungsgespräch:

    Festlegung/Vereinbarung der Lernziele mit dem Mitarbeiter

  3. Durchführung der PE-Maßnahme

  4. Feedback-Gespräch:

    PE-Gespräch nach Beendigung der Maßnahme; Auswertung; Umsetzungsmaßnahmen

  5. Umsetzung der Qualifizierungsergebnisse in die Praxis

  6. PE-Gespräch zur Transfersicherung:

    Sind Follow-up-Maßnahmen erforderlich? Gibt es Hemmnisse bei der praktischen Umsetzung?