Diskrepanz zwischen Anwendungshäufigkeit und Validität diagnostischer Verfahren am Beispiel der Personalauswahl

Diskrepanz zwischen Anwendungshäufigkeit und Validität diagnostischer Verfahren am Beispiel der Personalauswahl

Qualitäts und Kenntnisdefizite

• Qualitätsdefizite in der psychologischen Diagnostik werden vor Allem beim unsachgemäßen Einsatz psychologischer Tests befürchtet → unklar ob ein tatsächliches Qualitätsdefizit vorhanden ist, oder ob in anderen Bereichen vorhandene Qualitätsmängel hier nur deutlicher auffallen
• Psychologen sind nur selten in die Personalauswahl eingebunden (Beobachter und Testanwender)
• aufgrund der Menge an Personalentscheidungen lässt sich die Eignungsdiagnostik nicht ausschließlich von Psychologen bewältigen
• ebenfalls zu bedenken, dass der Status „Diplompsychologe“ keine Garantie für Mangel an Qualitätsdefiziten ist → Qualität lässt sich nicht an der Mitgliedschaft in einer Gruppe festmachen → Formulierung von Qualitätsstandards für die psychologische Diagnostik

Ansätze zur Qualitätssicherung und -optimierung der psychologischen Diagnostik

• Ansätze
  • zielen auf
    • den diagnostischen Prozess im Allgemeinen
    • auf die diagnostischen Verfahren
    • auf die Kompetenzen der diagnostisch Tätigen
  • bedienen sich der Mittel
    • der Richtlinie
    • des Beurteilungssystems
    • der Qualifizierung, Prüfung, Lizenzierung von Personen
• Richtlinien
  • Richtlinien zur Prozessgestaltung
  • Richtlinien zur Gestaltung und Anwendung von Verfahren
  • Richtlinien in denen die erforderlichen Kompetenzen der Anwender beschrieben werden
• für spezifische Tests finden sich vollständig ausgearbeitete Beurteilungssysteme
• in Bezug auf Kompetenzen kann unterschieden werden, ob die Anforderungen an die diagnostisch Tätigen lediglich in Richtlinien festgehalten werden oder ob darüber hinaus Qualifizierungsmaßnahmen mit ausgearbeiteten Curricula und / oder Prüfungs- und Lizensierungsangebote existieren → Konkretisierung / Umsetzung von eher allgemein gehaltenen Richtlinien

Richtlinien

• Richtlinienansatz ist weit verbreitet
• Standards für pädagogisches und psychologisches Testen
  • behandelt werden vor allem Leistungstests und Fragebogen
  • deutschsprachige Ausgabe der „Standards“ wurde 1998 veröffentlicht, die aktuellste Ausgabe der Standards (2001) liegt nicht auf deutsch vor
  • in der Version von 1985 werden sogenannte „Primäre Standards“ formuliert, die grundsätzlich erfüllt sein müssen
  • darüber hinaus gibt es weniger verbindliche, aber wünschenswerte „sekundäre Standards“
  • in eine dritte Kategorie fallen Standards, deren Relevanz in Abhängigkeit von der jeweiligen Situation variiert
  • die 264 Standards der aktuellen Auflage gliedern sich in drei Abschnitte
    • Testentwicklung, Evaluation und Dokumentation
      • 123 Standards zu Themengebieten
        • Validität
        • Reliabilität
        • Testentwicklung und Testrevision
        • Skalierung und Normierung
        • Testanwendung, Testauswertung, Ergebnisdarstellung
        • Dokumentation
    • Testfairness
      • es geht dabei beispielsweise um das Testen von Personen mit Behinderungen oder das Testen sprachlicher Minderheiten → Nachweis gefordert, dass mit einiger Wahrscheinlichkeit in den unterschiedlichen Gruppen das gleiche Konstrukt gemessen wird
    • Testanwendung
      • Eignungsbeurteilungen, die bei der Frage der Zulassung zur Berufsausübung abgegeben werden → Ausübung von Berufen nicht allein von Ausbildung abhängig, sondern von tatsächlicher Eignung
  • Code of fair testing practices in education → thematisiert die Fairness der Testung gegenüber Alter, Geschlecht, Behinderungen, ethnischer, nationaler und sprachlicher Herkunft sowie religiöser und / oder sexueller Orientierungen und dürfte in Deutschland im Kontext des Allgemeinen Gleichstellungsgesetzes (AGG) von Interesse sein
  • die Richtlinie „The Rights and Responsibilities of Test Takers: Guidelines and Expectations“ verdeutlicht was bei der Testung beachtet werden muss, um die Rechte der getesteten Personen zu wahren
  • die „Task Force on Test User Qualifications“ konzentriert sich auf die notwendigen Kompetenzen der Anwender → die als notwendig erachteten Kompetenzen werden in Abhängigkeit vom Anwendungskontext differenziert beschrieben
• Priciples for the validation and the use of personnel selection procedures
  • konzentrieren sich ausschließlich auf die Erfassung von Eignung und Leistung im beruflichen Kontext und auf die in diesem Kontext relevanten Themen
    → Anforderungsorientierung, Selektions- und Entscheidungsstrategien
• nationenübergreifende Ansätze
  • International Test Commission hat nationenübergreifende Richtlinien entwickelt
  • nach Ansicht der Kommission erfordert die Internationalisierung des Testmarktes internationale Richtlinien für die Testanwendung, wobei jedoch die Kontextbedingungen auf der jeweiligen nationalen Ebene zu berücksichtigen sind
  • durch die explizite Berücksichtigung der Anwendungskontexte soll es möglich werden, gleichzeitig lokal heterogene Anforderungen und international homogene Standards zu erfüllen
  • auf nationaler Ebene stellen internationale Richtlinien eine Art „benchmark“ für lokale Richtlinien und Qualitätsstandards dar
  • die von der ITC erarbeiteten International Guidelines for Test Use stellen Richtlinien dar, die eine fachlich kompetente Praxis der Testanwendung, sowie eine Verantwortung für eine ethisch korrekte Testanwendung vorschreiben → sollen auf Arbeitsproben und Eignungsinterviews angewandt werden können
  • die Guidelines for Test Translation and Adaption wurden für die Übertragung von monolingualen / -kulturellen Testformaten in andere Sprachen und Kukturräume entwickelt
  • bei der Übersetzung und Adaption von Verfahren ist auf eine eventuelle kulturelle Distanz zu achten, die sich in Bereichen wie Sprache, Familienstruktur, Religion, Lebensstil und Wertekanon manifestieren kann
  • die International Guidelines on Computer Based and Internet Delivering Testing thematisieren u.a. Anforderungen an den Datenschutz und an die Qualität der Tests, die technischen Voraussetzungen und die Frage der Verantwortlichkeiten für diese Art von Testungen
  • die EAPA entwickelt Richtlinien für den diagnostischen Prozess → handlungsleitende Prinzipien für den gesamten diagnostischen Prozess zur Verfügung gestellt
  • Diagnostizieren als ein komplexer Entscheidungsprozess begriffen, bei dem der Diagnostiker zunächst Fragen formuliert und dann zur Beantwortung dieser Fragen gezielt Daten sammelt und die Ergebnisse analysiert, interpretiert und kombiniert
  • Richtlinien für den diagnostischen Prozess gehen von einem allgemeinen Rahmenmodell der Diagnostik aus, das 4 Phasen umfasst
    • Analysieren des Falls
    • Organisieren und Berichten der Ergebnisse
    • Planen der Intervention
    • Evaluation und Nachuntersuchung
• von deutschen Organisationen herausgegebene Richtlinien
  • Berufsordnung für Psychologen → z.b. Pflicht zur gewissenhaften Berufsausübung, Bemühen um Sachlichkeit und Objektivität, Bewusstsein der sozialen Verantwortung
  • Grundsätze für die Anwendung psychologischer Eignungsuntersuchungen in Wirtschaft und Verwaltung → fordern die Verwendung wissenschaftlicher Verfahren, wenden sich gegen sachfremde Einflüsse bei Personalentscheidungen, sprechen sich für transparente Eignungsbeurteilungen aus
  • projektive und klinische Verfahren sollen den Grundsätzen zufolge für berufliche Eignungsbeurteilungen im Betrieb nicht genutzt werden → bei anderen Fragestellungen geeignet, können aber aus rechtlichen Gründen nicht ohne weiteres für berufliche Eignungsbeurteilung genutzt werden
  • bei der Durchführung der Verfahren zur Eignungsbeurteilung ist den Grundsätzen zufolge auf Transparenz Wert zu legen
  • die gesamte Situation der Eignungsbeurteilung für die beurteilten Personen soll transparent sein
  • in Richtlinien geht es nicht nur um das Wissen und Können, sondern auch um das „Dürfen“
  • Richtlinien zielen auf die Qualitätssicherung und -verbesserung der Arbeit, thematisieren aber auch ethische und moralische Aspekte → betonen die Verantwortung in Bezug auf die von der Arbeit Betroffenen
  • Richtlinien benennen die Verantwortlichkeiten der Diagnostiker und geben an für welche Bereiche seines Handelns, Zurückhaltung angezeigt ist
  • Berufsordnung für Psychologen betont die notwendigen fachliche Kompetenz und die Pflicht zur Fort- und / oder Weiterbildung
  • Standards der Assessment Center
    • sind speziell auf das AC zugeschnittene Richtlinien
    • orientieren sich am Prozess der AC Konstruktion und Durchführung
    • jeder Standard zielt auf einen Prozessabschnitt
    • nehmen eine Systemperspektive ein
    • es wird viel Wert darauf gelegt AC systematisch zu initiieren, in den jeweils gegebenen organisatorischen Rahmen zu integrieren und mit den Instrumenten der Personalentwicklung zu verknüpfen
    • 9 Standards der Assessment Center Technik
      • Auftragsklärung und Vernetzung
        • vor Entwicklung und Durchführung eines AC sind Ziele und Rahmenbedingungen des Auftrags sowie Konsequenzen für die Teilnehmer verbindlich zu klären und zu koomunizieren
      • Arbeits- und Anforderungsanalyse
        • Eignungsbeurteilung lässt sich nur mit einer exakten Analyse der konkreten Anforderungen sinnvoll gestalten
      • Übungskonstruktion
        • ein AC besteht aus Arbeitssimulationen
      • Beobachtung und Bewertung
        • Grundlage für die Eignungsdiagnose ist eine systematische Verhaltensbeobachtung
      • Beobachtungsauswahl und Vorbereitung
        • gut vorbereitete Beobachter, die das Unternehmen angemessen repräsentieren, sind am besten geeignet, fundierte und treffsichere Entscheidungen zu treffen
      • Vorauswahl und Vorbereitung
        • systematische Vorauswahl und offene Vorinformation sind die Grundlage für den wirtschaftlichen und persönlichen Erfolg im AC
      • Vorbereitung und Durchführung
        • eine gute Planung und Moderation des AC gewährleisten einen transparenten und zielführenden Ablauf des Verfahrens
      • Feedback und Folgemaßnahmen
        • jeder AC Teilnehmer hat das Recht auf individuelles Feedback, um so das Ergebnis nachvollziehen und daraus lernen zu können, nach dem AC sind konkrete Folgemaßnahmen abzuleiten und umzusetzen
      • Evaluation
        • Regelmäßige Güteprüfungen und Qualitätskontrollen stellen sicher, dass die mit dem AC angestrebten Ziele auch nachhaltig erreicht werden
  • Task Force on AC guidelines hat Richtlinien für AC erarbeitet, die aktuell um einen Abschnitt zum Thema „multi national adaptions of assessment centers“ erweitert werden
  • Kriterien für die Testbeurteilung → Kriterienkatalog nennt Aspekte, die bei der Beurteilung eines Verfahrens bedeutsam sind, dabei wird die Notwendigkeit, Umstände, Bedingungen und Zielsetzungen im Einzelfall zu berücksichtigen betont
  • beurteilungsrelevante Aspekte ziele auf Beurteilungen von Verfahren, stellen aber kein Beurteilungssystem im engeren Sinne dar
  • Kriterien für Testbeurteilung gemäß dem Katalog der Föderation Deutscher Psychologenverbände
    • Testgrundlage (Zielsetzung, theoretische Grundlagen, Nachvollziehbarkeit der Testkonstruktion)
    • Testdurchführung (Durchführungsobjektivität, Transparenz, Zumutbarkeit, Verfälschbarkeit, Störanfälligkeit)
    • Testverwertung (Auswertungsobjektivität, Zuverlässigkeit, Gültigkeit, Normierung, Bandbreite, Informationsausschöpfung, Änderungssensitivität)
    • Testevaluation (Ökonomie, Fairness, Akzeptanz, Vergleichbarkeit, Bewährung)
    • äußere Testgestaltung (Verständlichkeit des Testmanuals, Gestaltung der Testmaterialien, Übereinstimmung von Titel und werblicher Darstellung mit dem tatsächlichen Testinhalt)
  • Schweiz: „Labels“ der Diagnostikkommission → standardisierter Aufbau von Testrezensionen

Beurteilungssysteme für Tests

• Beurteilungssysteme sehen formalisierte Bewertungen der Tests vor
• das COTAN-System
  • Grundlage des Ansatzes sind formalisierte Systeme zur Verfahrensbeschreibung und -bewertung
  • Kriterien für die Testbeurteilung gemäß dem COTAN-System
    • Testkonstruktion (Transparenz des Anwendungsbereiches, des theoretischen Hintergrunds und der Operationalisierung)
    • Qualität
      • des Testmaterials
      • der Verfahrenshinweise
    • Normen
    • Reliabilität
    • Validität
      • Kriteriumsvalidität
      • Konstruktvalidität
  • Beurteilung erfolgt anhand vorgegebener Fragen, die alle Gutachter beantworten müssen
  • Gutachter haben die Aufgabe, die Fragen aufgrund der ihnen zur Verfügung stehenden Informationen zu beantworten und diese Antworten dann mit Hilfe einer vorgegebenen Beurteilungsskala zu bewerten
  • Informationsdefizite werden negativ bewertet → fehlen Informationen zur Beantwortung der Fragen oder liegen negative Informationen vor, führt das zu einem negativen Urteil
• das Testbeurteilungssystem des Testkuratoriums
  • das Testbeurteilungssystem des Testkuratoriums berücksichtigt explizit die DIN 33430