Begleit- und Folgemaßnahmen zur DIN 33430

Begleit- und Folgemaßnahmen zur DIN 33430

• die DIN 33430 allein erzielt keine ausreichende Wirkung → formuliert lediglich Wissensbestände → Wissen allein ist selten Auslöser für eine Verhaltensänderung → mithilfe von Begleit- und Folgemaßnahmen wird die DIN 33430 konkret anwendbar
• gemäß der „Goal Setting Theory“ sollten Ziele
  • anspruchsvoll
  • spezifisch
  • konkret
  • positiv formuliert werden
  • die Zielerreichung sollte in zeitlicher Nähe liegen
• die in der DIN 33430 genannten Ziele bleiben aber abstrakt
• Aussagen zur Prüfung der Zielerreichung werden nicht getroffen
• durch den Text der DIN 33430 allein erhalten Praktiker kein Feedback über die Qualität ihrer aktuellen Arbeit
• damit das abstrakte Ziel der DIN 33430 motivierend und handlungssteuernd werden kann, sollte es in Teilziele herunter gebrochen werden, außerdem sollten Mechanismen etabliert werden, die den Handelnden ein Feedback über die Diskrepanz zwischen Soll- und Istwert bzw. über die Zielerreichung geben → erfolgt über Checklisten, Lizenzen, Zertifikate, Beurteilungen durch Fachexperten

Checklisten zur DIN 33430

• Checklisten geben ein unmittelbares Feedback → DIN 33430 setzt einen Qualitäts-Sollwert
• die Wahrnehmung des Ist- und Sollwertes kann durch Checklisten unterstützt werden
• Checklisten zur DIN 33430 ermöglichen eine erste Prüfung und eine Überwachung der Qualität von Verfahren und deren Einsatz bei beruflichen Eignungsbeurteilungen
• die Anwendung kann auf mögliche Qualitätsmängel aufmerksam machen, so dass in der Folge die Ursachen mangelnder Qualität beseitigt werden können
• bisherige Checklisten
  • Leitfaden zur Konformitätsprüfung
  • PdZ-Screening
  • Checkliste zur DIN 33430
  • Themenkatalog des TÜV zur Umsetzung der DIN 33430
  → bilden DIN 33430 vollständig ab
• die Checkliste „DIN Screen“
  • die Checkliste DIN Screen setzt sich aus 318 Prüfaussagen zusammen, deren Grundlage die DIN 33430 ist → bildet alle normativen Aussagen der DIN 33430 ab
  • nicht berücksichtigt wurden das lediglich Informationszwecken dienende Glossar im Anhang und die Kapitel 1-3
  • DIN Screen beschreibt den Soll-Wert
  • die Qualitätsprüfer können in Selbst- und Fremdbeurteilung anhand von DIN Screen kontrollieren, ob die Anforderungen der DIN für einen konkreten Fall erfüllt sind
  • bei einem Prozess der beruflichen Eignungsbeurteilung, der den Anforderungen der DIN 33430 entspricht, ist daher zu erwarten, dass alle Aussagen zutreffend sind
  • Aussagen, die auf den zu prüfenden Prozess nicht zutreffen, indizieren zumindest weiteren Analysebedarf, häufig aber auch ein Qualitätsproblem
  • die in DIN Screen formulierten Prüfaussagen funktionieren als Indikator solcher möglichen Probleme, denen dann Abhilfe geleistet werden kann
  • durch die Anwendung der DIN Screen erhalten Praktiker somit im Sinne der Handlungskontrolle ein unmittelbares Feedback über die Qualität ihrer Arbeit
  • Fußnoten zur Erläuterung der DIN Aussagen
    • zur Erläuterung einiger Aussagen
    • teilweise der DIN 33430 entlehnt, teilweise als Interpretation ergänzt
    • hinter jeder Aussage ist in Klammern angegeben, auf welche Seite der DIN 33430 sich die Aussage bezieht
  • zur Erstellung der DIN Screen wurde der Text der DIN 33430 nicht nur in Einzelaussagen zerlegt, sondern auch thematisch geordnet
  • anders als die DIN 33430 orientiert sich die Gliederung der DIN Screen an dem Prozess der Eignungsbeurteilung und unterscheidet die folgenden Bereiche
    • Anforderungen an Verfahrenshinweise
    • Planung von berufsbezogenen Eignungsbeurteilungen
    • Auswahl und Zusammenstellung von Verfahren
    • Durchführung, Auswertung und Interpretation der Verfahrensergebnisse sowie Urteilsbildung
    • Dokumentation
    • Anforderungen an die Qualifikation der an der Eignungsbeurteilung beteiligten Personen
    → zu jedem Teilgebiet eine separate Checkliste, je nach Organisation kann es sinnvoll sein, dass die einzelnen Checklisten von jeweils anderen Qualitätsprüfern bearbeitet werden, die über besondere Expertise für den zu prüfenden Bereich verfügen
  • die DIN 33430 differenziert zwischen normativen Aussagen und nicht normativen Aussagen → DIN Screen gibt diese Unterscheidung wieder und differenziert 273 normative und 45 nicht normative Aussagen
  • die 6 Checklisten von DIN Screen sind so aufgebaut, dass zunächst die normativen Aussagen aufgelistet werden und anschließend die nicht normativen Aussagen
  • wird eine nichtnormative Aussage mit „nein“ beantwortet, stellt dies die Kompatibilität des Prozesses mit der DIN 33430 formal nicht in Frage, indiziert aber Optimierungpotential
  • sofern einzelne Anforderungen der DIN 33430 mehrere Themenbereiche betreffen, kommen sie in mehreren Listen vor → separate Nutzbarkeit der Listen sichergestellt
  • DIN Screen unfasst 310 eigenständige Aussagen, von denen 6 Aussagen in zwei Listen abgedruckt sind → insgesamt ergeben sich 318 Aussagen
  • unterschiedliche Perspektiven führen häufig aber nicht zwangsläufig zu gleichen Bewertungen → keine explizite Verknüpfung
  • die impliziten und expliziten Doppelungen von Aussagen wären problematisch wenn eine Bewertung anhand von Häufigkeitsauszählungen intendiert wäre, dies ist aber nicht der Fall
• Handhabung der Checkliste DIN Screen
  • die Aussage der DIN Screen V2 sind anhand einer zweistufigen Skala mit den beiden Ausprägungen „ja“ und „nein“ zu beantworten
  • zusätzlich wurde eine alternative Antwortmöglichkeit („nicht zu bewerten“) aufgenommen → kann gewählt werden, wenn Qualitätsprüfer sich aus unterschiedlichen Gründen außerstande sehen, ein Urteil zu der in Frage stehenden Aussage zu fällen → nur in Ausnahmefällen und schriftlich begründet zu verwenden
  • am Ende jeder Checkliste findet sich Platz für Anmerkungen, weitere Blätter können ergänzt werden
  • eine schriftliche Erläuterung ist vorgeschrieben, wenn die Kategorie „nicht zu bewerten“ gewählt wurde
  • darüber hinaus steht es den Prüfern frei, zu jeder Aussage Anmerkungen zu formulieren
  • damit die Anmerkungen sicher gefunden werden, sollte bei der entsprechenden Aussage das Kästchen „Anmerkungen“ angekreuzt werden
  • die Anmerkungen sind dann am Ende der Checkliste auf die vorbereiteten Blätter einzutragen, wobei jeder Anmerkung die Nummer der Aussage vorangestellt werden sollte, auf die sie sich bezieht
  • um die DIN Screen Aussagen zu bearbeiten, werden die jeweils notwendigen Informationen in Dokumenten nachgeschlagen
  • die der Prüfung zugrunde gelegten Dokumente werden auf der ersten Seite von DIN Screen vermerkt
  • in der äußersten rechten Spalte der DIN Screen V2 Checklisten sollte festgehalten werden, auf welcher Seitenzahl in dem Prüfdokument, die jeweils gesuchte Information gefunden wurde
  • Umgang mit Aufzählungen
    • einige Aussagen enthalten Aufzählungen
    • durch Unterstreichen ist kenntlich gemacht, wenn es sich dabei um logische „Und-Verknüpfungen“ handelt → jede Komponente / jeder Aspekt der Aufzählung muss erfüllt sein, damit die Aussage als zutreffend („ja“) gelten kann
  • Verzweigungsfragen
    • in 69 Fällen sind den zu bewertenden Aussagen „Verzweigungsfragen“ vorangestellt, um sicherzustellen, dass nur die für den jeweiligen Anwendungszweck relevanten DIN-Anforderungen geprüft werden
    • auch bei den Verzweigungsfragen ist es Aufgabe der Prüfer, ein Urteil zu fällen und diese Verzweigungsentscheidungen bei Bedarf nachvollziehbar werden zu lassen und zu verantworten
    • lautet die Antwort auf eine Verzweigungsfrage „nein“, so führt das dazu, dass eine oder mehrere Aussagen übersprungen werden
    • dass eine / mehrere Aussagen zu überspringen sind, wird grafisch verdeutlicht, indem das Kästchen, welches zum überspringen auffordert eckig ist, während die Mehrzahl der Kästchen rund ist
    • sofern kein Überspringen indiziert wird, wird einfach die nächste Aussage / Verzweigung in der Liste bearbeitet
    • zur Erleichterung der Auffindbarkeit und Kommunikation sind auch die Verzweigungsfragen durchnummeriert (V1-V69)
  • Hinweise auf Bewertungsverknüpfungen
    • es gibt 38 Hinweise auf sachliche Bewertungsverknüpfungen aufgrund von hierarchischen Beziehungen zwischen Aussagen
    • solche Bewertungsverknüpfungen werden auch als Hinweise explizit geregelt
    • die Hinweise beziehen sich immer auf die unmittelbar über dem Hinweis stehende Aussage
    • zur grafischen Veranschaulichung sind Kästchen, deren Ankreuzen das Ankreuzen weiterer Kästchen automatisch nach sich zieht, nicht rund sondern eckig gestaltet
    • zur Erleichterung der Auffindbarkeit und Kommunikation sind auch die Hinweise durchnummeriert (H1-H38)
  • die hinter einem Hinweis und einer Verzweigung angegebenen Nummern der Aussagen beziehen sich meist auf Aussagen innerhalb einer Checkliste → Checklisten-übergreifende Verknüpfungen werden explizit gekennzeichnet
  • Verzweigungsfragen können dazu führen, dass einige Aussagen für den zu prüfenden Fall nicht beurteilungsrelevant sind und folglich bei der Qualitätskontrolle außer Acht gelassen werden können
  • demgegenüber führen die Hinweise auf Verknüpfungen dazu, dass bei der Nicht-Erfüllung einer zentralen Anforderung zwangsläufig weitere Defizite sichtbar werden, die für die Qualitätskontrolle und -optimierung bedeutsam sind
• Separate Prüfung pro Verfahren und pro Checkliste
  • der Einsatz mehrerer Verfahren innerhalb einer Eignungsbeurteilung kann dazu führen, dass einzelne Checklisten mehrfach eingesetzt werden → separate Prüfung für jedes Verfahren
  • hinsichtlich der separaten Nutzung einzelner Checklisten ist zu bedenken, dass ein Prozess der Eignungsbeurteilung nur dann den Anforderungen der DIN 33430 entspricht, wenn alle Aspekte den Sollwerten entsprechend gestaltet werden → informativ einzelne Themenkomplexe separat auf ihre DIN-Kompatibilität hin zu prüfen
  • dem „Produkt“ Verfahrenshinweise kommt eine zentrale Bedeutung zu → Verfahrenshinweise, die der DIN 33430 genügen, gewährleisten nicht die Qualität des Gesamtprozesses aber die Kontrolle der Verfahrenshinweise erlaubt ein schnelles Negativ-Screening von Testverfahren und als Vorbereitungsstufe einer Testbeurteilung ohne selbst ein Testbeurteilungssystem zu sein
  • die Checkliste 1 der DIN Screen gilt offiziell als „Standard zur Information und Dokumentation von Instrumenten zur Erfassung menschlichen Erlebens und Verhaltens“ des Testkuratoriums der Föderation deutscher Psychologen
  • Unterteilung in Themenkomplexe ermöglicht es DIN Screen nicht nur als Leitfaden zur Qualitätskontrolle und Qualitätsoptimierung, sondern auch als Leitfaden für die Planung von Eignungsbeurteilungen zu nutzen
  • die Computerversion der DIN Screen (www.kersting-internet.de/DIN-Screen.html) bietet eine intelligente Checkliste mit automatischen Verzweigungen und Verknüpfungen
• Unterschiede zwischen der ersten und zweiten Version der DIN Screen (V1 vs. V2)
  • in der ersten Version wurden Aussagen mit „trifft zu“ bzw. „trifft nicht zu“ beantwortet, für die Antworten der Verzweigungsfragen waren keine Antwortmöglichkeiten vorgesehen
  • die zweite Version sieht die Antwortkategorien „ja“ und „nein“ vor und diese Antworten werden auch in den Verzweigungsfragen verlangt
  • in der zweiten Version wurde eine weitere Spalte (rechts außen) eingefügt → zur Angabe der Quelle
  • in der ersten Version gab es eine Inkonsistenz bei den Verzweigungsfragen → mal zog ein „nein“ ein Überspringen mit sich, mal ein „ja“
  • in der aktuellen Version wurde die Verzweigungsfrage V22 so umformuliert, dass jetzt ebenfalls ein „nein“ ein Überspringen nach sich zieht
  • darüber hinaus wurde eine falsche Verzweigung (V20) korrigiert und der Text der Verzweigungsfrage V21 gegenüber der ersten Version geringfügig modifiziert

• DIN Screen als Ausgangspunkt einer Initiative zur Qualitätsoptimierung
  • DIN Screen eignet sich für ein grobes Screening nicht aber für eine differenzierte Beurteilung der Qualität von Verfahren und deren Einsatz bei berufsbezogenen Eignungsbeurteilungen
  • die Bedeutsamkeit der Anforderungen variiert von Fall zu Fall → es erfolgt keine Auszählung von „ja“ und „nein“ sondern eine Bestimmung der Qualität
  • Qualitätsanforderungen haben selbst eine Qualität, sie sind angemessen, überzogen oder zu gering und zwar im Bezug auf den jeweiligen Anwendungszweck
  • DIN Screen als Ausgangspunkt eines Dialogs über Qualitätsoptimierung → keine statische Beurteilung sondern eine dynamische Qualitätsoptimierung

Fortbildungen und Lizenzprüfungen zur Personenlizenzierung für berufsbezogene Eignungsbeurteilungen nach DIN 33430

• die DIN 33430 fordert von den Personen, die in verantwortlicher Position an Eignungsbeurteilungen beteiligt sind, bestimmte Qualifikationen
• allerdings sieht die DIN 33430 keine Regelungen vor, wie die notwendigen Qualifikationen erworben und nachgewiesen werden können → Kritik an DIN 33430
• die Inhalte der Fortbildungen sowie der Lizenzprüfungen wurden unmittelbar aus den in der DIN 33430 formulierten „Qualitätsanforderungen an den Auftragnehmer und die Mitwirkenden“ abgeleitet
• die personenbezogenen Qualitätsanforderungen werden in der DIN 33430 überwiegend in Listenform präsentiert und sind mit Aufzählungszeichen versehen
• aus diesen Aufzählungen ergeben sich 35 Qualitätsanforderungen
• acht weitere Qualitätsanforderungen ergeben sich aus dem Fließtext der Seiten 10 und 11 der DIN 33430 → 43 Qualitätsanforderungen insgesamt
• diese 43 Qualitätsanforderungen stellen einerseits die Inhalte der Fortbildungen und andererseits den Stoff der Prüfung zur Personenlizensierung für berufsbezogene Eignungsbeurteilungen nach DIN 33430 dar
• die DIN 33430 unterscheidet zwischen Auftragnehmer einerseits und den Mitwirkenen andererseits
• Auftragnehmer ist eine organisationsinterne / -externe Person, die sich verpflichtet für einen Auftraggeber eine berufsbezogene Eignungsbeurteilung im Sinne der Norm durchzuführen → verantwortet, plant, gestaltet die Eignungsbeurteilung, stellt das Untersuchungssystem auf, wählt die Verfahren und die Mitwirkenden aus, organisiert den Prozess, führt die geplante Maßnahme durch, berichtet dem Auftraggeber über die Ergebnisse
• Mitwirkende sind an der Eignungsbeurteilung beteiligt, stehen unter Anleitung, Fachaufsicht, Verantwortung des Auftragnehmers, werden häufig als Assistent / Gehilfe bezeichnet
• der Umfang der in der DIN 33430 geforderten Kenntnisse variiert in Abhängigkeit vond er Funktion, die eine Person im Prozess der Eignungsbeurteilung einnimmt
• drei unterschiedliche Lizenzen
  • Lizenz MV für Mitwirkende an Verhaltensbeobachtungen
    • Kenntnisse über Rahmenbedingungen von Verhaltensbeobachtung und Verhaltensbeurteilung
    • Rahmenbedingungen von Eignungsinterviews
    • Kenntnisse über Verfahren zur Informationsgewinnung, über einschlägige Evaluation, über spezifizierte Bereiche aus dem Themenkontext Beobachtung und Beurteilung
    • Module 1 und 2 (Grundkenntnisse)
  • Lizenz ME für Mitwirkende an Eignungsinterviews
    • zusätzlich Kenntnisse zu den Themen Interviewklassifikation, Handhabung von Interviewleitfäden, Frage- und Formulierungstechniken, interviewbezogene Beurteilungskriterien, Fachbereiche und ihre rechtliche Zulässigkeit
    • Modul 3 (erweiterte Kenntnisse 1)
  • Lizenz A für Auftragnehmer
    • zusätzlich Kenntnisse zu Anforderungsanalysen, zu Verfahren und zu Eignungsbeurteilungen
    • Module 4-6 (erweiterte Kenntnisse 2)
• die Fortbildung und Lizenzprüfung wurden modular gestaltet, wobei 6 Module eingerichtet wurden
• Fortbildungen
  • die in der DIN 33430 geforderten Kenntnisse und Fertigkeiten können in einer modular aufgebauten Fortbildungsveranstaltung erworben werden
  • maximaler Trainingsbedarf 10 Tage
• Prüfungen zum Erwerb der Personenlizenzen für berufsbezogene Eignungsbeurteilungen nach DIN 33430
  • durch die erfolgreiche Absolvierung von Prüfungen kann eine „Personenlizenz“ für berufsbezogene Eignungsbeurteilungen nach DIN 33430 erworben werden
  • für die inhaltliche Gestaltung dieser Prüfungen wurde ein zweiköpfiger Lizenzprüfungsausschuss gebildet → beides Mitglieder vom Testkuratorium und vom Fördervorstand berufen
  • die Aufgaben des Lizenzprüfungsausschusses bestehen in der Festsetzung der Prüfungsaufgaben und in der Bestellung der Prüfer
  • jede Prüfung wird von zwei unabhängig voneinander arbeitenden Prüfern abgenommen
  • mit der Behandlung von Widersprüchen gegen Entscheidungen des Lizenzprüfungsausschusses wurde das Testkuratorium betraut
  • die organisatorische Durchführung der Lizenzprüfung obliegt der Deutschen Psychologen Akademie (DPA)
  • die Lizenzprüfung setzt sich aus mehreren Teilprüfungsleistungen zusammen, die durch schriftliche Klausurarbeiten zu erbringen sind
  • die einzelnen Teilprüfungsleistungen entsprechen den 7 Fortbildungsmodulen und -inhalten → 2 Teilprüfungsleistungen für die Lizenz MV (15 Fragen), 3 Teilprüfungsleistungen für die Lizenz ME (25 Fragen), 6 Teilprüfungsleistungen für Lizenz A (50 Fragen) → können gestaffelt absolviert werden
  • die Lizenzen sind auf 5 Jahre befristet, werden mit bestanden / nicht bestanden bewertet
  • eine Verlängerung einer bereits erworbenen Lizenz erfordert eine Verlängerungsprüfung
  • die Lizenzprüfung ist gebührenpflichtig, die Gebühren trägt der Kandidat
  • die Zulassung zur Lizenzprüfung ist nicht an bestimmte Ausbildungsabschlüsse gebunden, der vorherige Besuch der Fortbildungsveranstaltungen ist nicht notwendig
  • Personen, die eine Lizenz A anstreben benötigen einen Nachweis von „angeleiteten Praxiserfahrungen“
  • der Lizenzprüfungsausschuss führt ein Register der Personen, denen eine Lizenz zur berufsbezogenen Eignungsbeurteilung der Föderation Deutscher Psychologenvereinigungen ausgehändigt wurde

Zertifizierung

• Zertifizierungen werden häufig auf Basis der ISO 9001 durchgeführt
• die ISO 9001 stellt ein Qualitätsmanagementsystem dar → fokussieren nicht Produkte / einzelne Prozesse, sondern die systematische Gestaltung (Beherrschbarkeit) des organisatorischen Geschehens
• ein Qualitätsmanagementsystem ist ein Instrument der sogenannten Beschaffenheitsgestaltung
• mithilfe derartiger Systeme soll die Differenz von geforderter und realisierter Einheit so gering wie möglich gehalten werden
• das Qualitätsmanagementsystem beschreibt die Organisationsstruktur (Verantwortlichkeiten, Verfahren, Prozesse...), die zur optimalen Erfüllung der Qualitätsforderungen notwendig ist → im Qualitätsmanagementhandbuch dargestellt
  • Ziele
  • Richtlinien
  • System
• es wird zwischen dem geregelten und ungeregelten Bereich unterschieden
• geregelter Bereich → Gesetzgeber schreibt Prüfungen vor
• ungeregelter Bereich → keine vorgeschriebenen Prüfungen, Frage der Prüfung allein durch den Markt bestimmt