Wenn Fach- und Führungskräfte den Eindruck gewinnen, dass sie ungerecht oder unsachgemäß beurteilt wurden, kann ein 360-Grad-Feedback große Konflikte erzeugen und das Arbeitsklima vergiften.
Aus diesem Grund ist die Qualität des Fragebogens so wichtig. Der Fachbegriff für die Messung der Qualität heißt Gütekriterien (Objektivität, Validität und Reliabilität).
Eine verständliche Erklärung dieser Kriterien enthält der Artikel „Qualitätsanforderungen an Fragebögen - Tipps zur Praxis“. Ein vereinfachtes Beispiel zeigen die Abbildung 1 und der Abschnitt "Was bedeutet Validierung?"
Fazit: Die Anforderungen an eine Stelle oder Aufgabe bestimmen, welche Fragen der Fragebogen enthalten sollte. Folglich gibt es Fragebögen für Führungskräfte (verschiedener Hierarchieebenen) und Fragebögen für Fachkräfte im Vertrieb, Marketing, Verwaltung oder Technik. Sie alle müssen anhand einer angemessenen Stichprobe auf Validität und Reliabilität getestet sein. Wichtig sind auch Vergleichsdaten: Was bedeutet es, wenn die Führungskompetenzen mit 3,7 bewertet werden, wenn man nicht weiß, wie die Führungskräfte von Wettbewerbern abgeschnitten haben? Siehe dazu auch das White Paper "Gütekriterien - Qualität von Befragungen und Interviews".
Beispiele für solche Fragebögen (einschließlich Angaben zu den Gütekriterien) finden Sie auf der Seite "Valide Diagnostik von Management- und Führungskompetenzen". Ein Fall folgt im nächsten Abschnitt:
„Validiert“ bedeutet, dass die Fragen empirisch auf Praxisrelevanz und Wirksamkeit (z. B. Einfluss einer Kompetenz auf den Führungserfolg) geprüft wurden und die geforderte "Qualität" aufweisen.
Beispielsweise hat eine Befragung von 14.348 Fach- und Führungskräften ergeben, dass Führungskräfte, die ihre Vorbildunktion wahrnehmen, bei ihren Mitarbeitern ein höheres Engagement und eine überdurchschnittliche Leistung bewirken.
Was ist aber ein (menschliches) Vorbild? Hier helfen Anekdoten von „großen“ Managern, subjektive Erfahrungen und Spekulationen von Trainern, Praktikern oder Journalisten nicht weiter.
Notwendig ist eine empirische Studie. Ein praktisches Beispiel zeigt die folgende Abbildung:
Abbildung 1: Beispiel für die Operationalisierung der Kompetenz "Vorbild sein"
aus einem validierten Fragebogen zum 360-Grad-Feedback
Erklärung: Kriteriumsvalidität (r = .93) bedeutet, dass zwischen der Vorbildfunktion eines Managers und dem Erfolg ein enger Zusammenhang besteht (Korrelationskoeffizient = 0,93). Dabei ist Erfolg definiert als eine Kombination aus Einkommen und Charaktereigenschaften herausragender Unternehmerpersönlichkeiten nach Csíkszentmihályi (Flow). Es sind Persönlichkeitsmerkmale mit einer hohen "Vorhersagekraft" (Fachbegriff Prognostische Validität). Siehe dazu den Persönlichkeitstest (Gießener Inventar der Persönlichkeit).
Mit der Reliabilität (Cronbachs Alpha und Trennschärfe) wird sichergestellt, dass Mehrdeutigkeiten, Gemeinplätze (Binsenweisheiten), Überschneidungen und zu abstrakte Aussagen vermieden werden, vor allem aber, dass der Fragebogen zuverlässige Ergebnisse liefert.
Das Beispiel aus der Abbildung oben zeigt, dass Validität - vereinfacht ausgedrückt - der Nachweis der Nützlichkeit (eines Fragebogens) in der Praxis ist. Für diesen Nachweis ist eine repräsentative Stichprobe notwendig.
Noch besser ist es, wenn man einen unternehmensspezifischen Fragebogen validiert. Eine andere Möglichkeit, mit der wir gute Erfahrungen gemacht haben, besteht darin, einen validierten Fragebogen auf die Situation des Unternehmens anzupassen.
Neben der Validität müssen noch die anderen Gütekriterien "Reliabilität" und "Objektivität" erfüllt sein. Die Gütekriterien sollen sowohl Kandidaten als auch Unternehmen vor unsachgemäßer Eignungsdiagnostik schützen.
Entscheidungen über die Auswahl und Entwicklung von Kandidaten haben in der Regel schwerwiegende Folgen. Aus diesem Grund wurden die Normen DIN 3343 und ISO 10667 entwickelt.
Zusammenfassend kann man feststellen: Ob die Ergebnisse einer 360-Grad-Befragung in der Praxis etwas bewirken oder nützlich sein können ist in erster Linie von der Qualität des Fragebogens abhängig (gemessen mit Gütekriterien wie Validität, Reliabilität und Objektivität). Hinzu kommt die Normierung, um verschiedene Personen oder Zielgruppen sinnvoll miteinander vergleichen zu können (Beispiel: Wie sind die Kompetenzen unserer Führungskräfte im Vergleich zu anderen Unternehmen oder zum Branchendurchschnitt?)
Im Falle von Kompetenzen ist Validität der Nachweis, dass bestimmte Verhaltensweisen (Aktionen) ein angestrebtes Ergebnis tatsächlich bewirken. Ein Beispiel ist die Frage,
Ohne Validierung bekommt man sehr allgemeine Aussagen, in die man alles Mögliche hineininterpretieren kann (siehe nachfolgendes Beispiel). Dieses Phänomen nennt man Barnum-Effekt, den die Astrologie und die Esoterik nutzen. Viktor Lau fand dafür den treffenden Begriff "Managementesoterik". Ein verbreitetes Beispiel ist der DISG Persönlichkeitstest.
Hier ein Beispiel für Fragen in einem 360-Grad-Feedback. Dieser Fragebogen hat sich als nutzlos erwiesen, bewirkte zahlreiche Konflikte und verschlechterte das Arbeitsklima.
Eine Unternehmensberatung verwendet folgende Fragen beziehungsweise Aussagen zur Beschreibung des Verhaltens einer Führungskraft. Sie ...
Diese Aussagen (Items) verstoßen gegen alle Qualitätsanforderungen und können daher keinen praktischen Nutzen liefern! Im Gegenteil: sie schaffen Verwirrung und schaden dem Arbeitsklima.
Jede Frage beziehungsweise Aussage enthält eines der folgenden Probleme:
Mit solchen Items ist eine Validierung gar nicht möglich. Die Aussagen erlauben nicht einmal eine rationale Diskussion, zum Beispiel darüber, was der Feedback-Nehmer an seinem Verhalten konkret verändern sollte. Was heißt zum Beispiel "gibt wichtige Impulse"?
Ein Beispiel aus einem validierten Fragebogen zeigt die Abbildung oben für die Kompetenz "Vorbild sein".
Es ist erstaunlich, dass in der Management-Praxis trotz dieses Wissens mit fragwürdigen Fragebögen gearbeitet wird (ganz anders in den Naturwissenschaften).
Dafür gibt es zahlreiche Erklärungen, die allerdings spekulativ sind, da es keine wissenschaftlichen Studien dazu gibt. Der wichtigste Grund dürften die hohen Kosten sein.
Eine Validierung erfordert in der Regel große Stichproben und wissenschaftlich qualifiziertes Fachpersonal. Dies können sich in der Regel nur (forschende) Hochschulen leisten. Und wenn sie einen solchen Fragebogen entwickeln, dann wird er kommerziell „verwertet“.
Unternehmen, die über validierte Fragebögen verfügen, oder selbst eine Validierung in Auftrag gegeben haben, wollen damit einen Wettbewerbsvorteil erzielen und halten den Fragebogen unter Verschluss. Meist sind es firmenspezifische Fragebögen, die den größten Nutzen bringen.
Es gibt einige kommerzielle Anbieter für standardisierte Fragebögen, die die Gütekriterien voll erfüllen. Die Lizenzkosten liegen im niedrigen vierstelligen Bereich. Trotzdem werden sie in der Praxis nicht eingesetzt. Das ist ein großes Rätsel, zumal fast alle Absolventen einer Hochschule Grundlagen der Statistik gelernt haben. Dennoch fallen sie auf die Werbeaussagen esoterischer Angebote herein (siehe Beispiele oben).
Es geht um die oben genannte Kompetenz „Vorbild sein“, die zusammenfassend mit Abbildung 1 veranschaulicht wurde. Die zentralen Fragen sind: Woran erkennt man eindeutig ein Vorbild im Alltag? Was kann eine Führungskraft im Alltag tun, um ihre Vorbildfunktion (besser) wahrzunehmen? Dazu ist es notwendig, diese Kompetenz zu operationalisieren, und zwar mit konkreten Verhaltensbeschreibungen, die man in der Fachsprache "Items" nennt. Hier sechs (von acht) solcher Items:
Thema Reliabilität
Frage: Woher weiß man, dass diese Verhaltensbeschreibungen die Vorbildfunktion einer Führungskraft tatsächlich „messen“?
Antwort: Eine Stichprobe von 14.348 befragten Fach- und Führungskräften hat dies bestätigt!
F: Sind alle Verhaltensbeschreibungen typisch für eine Führungskraft?
A: Ja, das besagt die Kennzahl Cronbach’s Alpha mit 0,96. Das Bedeutet, die Vorbildfunktion wird fast perfekt (1,0) beschrieben.
F: Messen alle Items notwendige Merkmale der Vorbildfunktion, oder sind es nur verschiedene Formulierungen des gleichen Inhalts? Überschneiden sich die Items? Sind einige überflüssig?
A: Alle Items messen die Vorbildunktion aus unterschiedlichen Perspektiven (sie ergänzen sich sinnvoll). Das bestätigt die Trennschärfe in Höhe von 0,63. Wenn man allerdings das Item „Fachkenntnisse …“ weglässt, verbessert sich die Trennschärfe auf 0,86. Das bedeutet, dass Fachkenntnisse für die Erfüllung der Vorbildfunktion nicht unbedingt notwendig sind. Das ist aber abhängig von der Branche, Hierarchieebene und Funktion. Eine Normierung verhindert eine rein formale oder schematische Interpretation. Siehe dazu das Thema Normierung.
Thema Validität
F: Ist die Vorbildfunktion „nur“ eine „wünschenswerte“ oder moralisch hoch angesehene Kompetenz oder Modeerscheinung, die dem Image der Führungskraft dient („nice to have“), oder ist sie notwendig für den Geschäftserfolg? Misst sie vielleicht „nur“ die Beliebtheit einer Führungskraft?
A: Die Vorbildunktion ist für den Geschäftserfolg notwendig, weil sie typisch ist für Eigenschaften herausragender Unternehmerpersönlichkeiten. Diese Eigenschaften wurden durch andere (unabhängige) internationale Studien und die eigene Untersuchung des Verhaltens von Geschäftsführern mittelständischer Weltmarktführer (Hidden Champions) ermittelt. Die Kennzahl dafür heißt Kriteriumsvalidität. Es ist die Korrelation zwischen unternehmerischem Erfolg und Vorbildfunktion (Korrelationskoeffizient = 0,93 von maximal 1,00).
Thema Normierung
F: Wie erkennt man "gute" (erfolgreiche) Führungskräfte?
A: Wenn eine Führungskraft mit 3,7 (auf einer Skala von 1 bis 5) bewertet wurde, kann das sehr gut oder sehr schlecht sein. Dazu braucht man Vergleichswerte wie zum Beispiel weibliche Führungskräfte im Alter über 36 Jahren, mit 5 Jahren Führungserfahrung, die in einem kleinen Unternehmen arbeiten und eine technische Ausbildung haben. Im Idealfall kann man Vergleichsdaten von Wettbewerbern (oder Tochtergesellschaften) heranziehen.
Zu den Einzelheiten siehe die Publikationen zur Transformationalen Führung und zu den Gütekriterien (Validität und Reliabilität) auf der Seite Publikationen.
Dies ist ein Beispiel für die Validierung einer Kompetenz. Der gesamte Fragebogen sollte nur validierte Kompetenzen, Persönlichkeitsmerkmale oder Wertvorstellungen der Kandidaten enthalten. In der Praxis haben sich zwei Möglichkeiten als sinnvoll erwiesen: (1) Entweder man entwickelt einen Fragebogen anhand der vorhandenen Führungsleitlinien, Werte und Kompetenzmodelle und validiert diese. Das ist nur bei größeren Unternehmen sinnvoll, die eine relativ große Stichprobe ermöglichen - oder (2) man verwendet bereits validierte Kompetenzen, Werte und Persönlichkeitsmerkmale und passt diese an die Bedürfnisse des Unternehmens an (ohne dass die Validität verloren geht).
Das Beispiel dürfte auch zeigen, dass eine Validierung viel Erfahrung, einen großen Aufwand und viel (wissenschaftlichen) Sachverstand erfordert. Aus diesem Grund sind kostenlose Fragebögen, die man im 360-Grad-Feedback einsetzen könnte, im Internet so gut wie gar nicht vorhanden. In der Regel wird ein kostenloser Fragebogen anhand willkürlich ausgewählter Fragen zusammengestellt, die oft plausibel klingen, aber keine sinnvollen Ergebnisse bringen können. Siehe dazu das Kapitel Gütekriterien mit negativen Beispielen (wie man es nicht machen sollte).
Ein Fragebogen für Mitarbeiter muss zum Fragebogen für Führungskräfte passen. Was bedeutet das? Führungskräfte beeinflussen durch ihre Vorbildfunktion sehr stark das Verhalten ihrer Mitarbeiter. Mit einem 360-Grad-Feedback kann man überprüfen, inwiefern es Führungskräften gelingt, das Verhalten ihrer Mitarbeiter zu verändern. Diesen Zusammenhang veranschaulicht die Abbildung „Führungskompetenzen und deren Wirkung auf Mitarbeiter (Führungserfolg)“.
Die Kernaussage: Mitarbeiter, die loyal sind, Selbstdisziplin zeigen, gern Neues lernen, einen Beitrag zum Teamgeist leisten, unternehmerisch denken und handeln, wachsende Verantwortung übernehmen und gewillt sind, ihre Fähigkeiten zu verbessern haben einen entscheidenden Einfluss auf den wirtschaftlichen Erfolg (Produktivität). Mit einem 360-Grad-Feedback kann man das Selbst- und Fremdbild der Mitarbeiter „messen“ und anschließend Verhaltensänderungen einleiten.
Dazu muss der Fragebogen für Mitarbeiter ein Spiegelbild des Fragebogens für Führungskräfte sein und die Verantwortungsebene berücksichtigen. Beispiele für solche Fragebögen finden Sie unter den folgenden Links:
Wenn Sie Unterstützung bei der Erstellung oder Validierung eines Fragebogens haben, stellen wir Ihnen unsere umfangreichen Praxiserfahrung gern zur Verfügung (siehe Referenzen). Nehmen Sie bitte Kontakt mit uns auf.