Fazit: Diese Anforderungen kann mur ein Fragebogen erfüllen, der anhand einer angemessenen Stichprobe auf Objektivität, Validität und Reliabilität getestet wurde. Siehe dazu auch das White Paper "Gütekriterien - Qualität von Befragungen und Interviews".
Beispiele für solche Fragebögen (einschließlich Angaben zu den Gütekriterien) finden Sie auf der Seite www.managementkompetenzen.de. Ein Fall folgt im nächsten Abschnitt:
„Validiert“ bedeutet, dass die Fragen empirisch auf Praxisrelevanz und Wirksamkeit (z. B. Einfluss einer Kompetenz auf den Führungserfolg) geprüft wurden und die geforderte "Qualität" aufweisen.
Beispielsweise hat eine Befragung von 14.348 Fach- und Führungskräften ergeben, dass Führungskräfte, die ihre Vorbildunktion wahrnehmen, bei ihren Mitarbeitern ein höheres Engagement und eine überdurchschnittliche Leistung bewirken.
Was ist aber ein (menschliches) Vorbild? Hier helfen Anekdoten von „großen“ Managern, subjektive Erfahrungen und Spekulationen von Trainern, Praktikern oder Journalisten nicht weiter.
Notwendig ist eine empirische Studie. Ein praktisches Beispiel zeigt die folgende Abbildung:
Abbildung: Beispiel für die Operationalisierung der Kompetenz "Vorbild sein"
aus einem validierten Fragebogen zum 360-Grad-Feedback
Erklärung: Kriteriumsvalidität (r = .93) bedeutet, dass zwischen der Vorbildfunktion eines Managers und dem Erfolg ein enger Zusammenhang besteht (Korrelationskoeffizient = 0,93). Dabei ist Erfolg definiert als eine Kombination aus Einkommen und Charaktereigenschaften herausragender Unternehmerpersönlichkeiten nach Csíkszentmihályi (Flow). Es sind Persönlichkeitsmerkmale mit einer hohen "Vorhersagekraft" (Fachbegriff Prognostische Validität). Siehe dazu den Persönlichkeitstest (Gießener Inventar der Persönlichkeit).
Mit der Reliabilität (Cronbachs Alpha und Trennschärfe) wird sichergestellt, dass Mehrdeutigkeiten, Gemeinplätze (Binsenweisheiten), Überschneidungen und zu abstrakte Aussagen vermieden werden.
Das Beispiel aus der Abbildung oben zeigt, dass Validität - vereinfacht ausgedrückt - der Nachweis der Nützlichkeit (eines Fragebogens) in der Praxis ist. Für diesen Nachweis ist eine repräsentative Stichprobe notwendig.
Neben der Validität müssen noch die anderen Gütekriterien "Reliabilität" und "Objektivität" erfüllt sein. Die Gütekriterien sollen sowohl Kandidaten als auch Unternehmen vor unsachgemäßer Eignungsdiagnostik schützen.
Entscheidungen über die Auswahl und Entwicklung von Kandidaten haben in der Regel schwerwiegende Folgen. Aus diesem Grund wurden die Normen DIN 3343 und ISO 10667 entwickelt.
Zusammenfassend kann man feststellen: Ob die Ergebnisse einer 360-Grad-Befragung in der Praxis etwas bewirken oder nützlich sein können ist in erster Linie von der Qualität des Fragebogens abhängig (gemessen mit Gütekriterien wie Validität, Reliabilität und Normierung).
Im Falle von Kompetenzen ist Validität der Nachweis, dass bestimmte Verhaltensweisen (Aktionen) ein angestrebtes Ergebnis tatsächlich bewirken. Ein Beispiel ist die Frage,
Ohne Validierung bekommt man sehr allgemeine Aussagen, in die man alles Mögliche hineininterpretieren kann (siehe nachfolgendes Beispiel). Dieses Phänomen nennt man Barnum-Effekt, den die Astrologie und die Esoterik nutzen. Viktor Lau fand dafür den treffenden Begriff "Managementesoterik". Ein verbreitetes Beispiel ist der DISG Persönlichkeitstest.
Eine Unternehmensberatung verwendet folgende Aussagen zur Beschreibung des Verhaltens einer Führungskraft. Sie ...
Ein solcher Fragebogen kann keinerlei nutzen für die Praxis bringen. Jede Aussage enthält eines der folgenden Probleme:
Der Versuch einer Validierung mit jeglicher Stichprobe ist weder möglich noch sinnvoll. Es ist noch nicht einmal eine rationale Diskussion über diese Themen möglich. Was heißt zum Beispiel "gibt wichtige Impulse"?
Ein Beispiel aus einem validierten Fragebogen zeigt die Abbildung oben für die Kompetenz "Vorbild sein".