DIN
33430 und die Beurteilung der Qualität von Tests
- die DIN 33430 kann nicht als Testbeurteilungssystem genutzt werden, kann aber eine fundamentale Bedeutung für die Testbeurteilung erlangen
- Ausgangssituation
- mit der steigenden Einsatzhäufigkeit und Akzeptanz von Tests steigt auch der Bedarf nach Informationen über Tests und die Beurteilung von Tests
- der Testmarkt ist weitgehend intransparent → Informationen sind nur schwer auffindbar und von sehr heterogener Qualität
- Texte zu Informationen über Tests und Beurteilungen von Tests werden nicht zentral, sondern verstreut publiziert, wodurch der Zugriff erschwert wird
- Tests von rein kommerziell orientierten Organisationen bleiben weitgehend unberücksichtigt, einseitige Konzentration auf Tests, die an der Uni konstruiert wurden
- häufig werden Tests rezensiert, die in der Praxis vergleichsweise selten genutzt werden, während die in der Praxis häufig eingesetzten Tests nicht rezensiert werden
- Bedeutung der DIN 33430 zur Testbeurteilung
- die DIN 33430
- ist eine Prozess- und keine Produktnorm
- bezieht sich auf berufsbezogene Eignungsbeurteilungen, nicht auf Tests
- bezieht sich auf alle Verfahren der Eignungsbeurteilung
- die Verfahrenshinweise geben dem Anwender nach DIN 33430 eine Anleitung, wie mit dem einungsbeurteilenden Verfahren umzugehen ist, um gültige Ergebnisse zu erhalten
- außerdem geben die Verfahrenshinweise Informationen über alle theoretischen und empirischen Grundlagen des eignungsbeurteilenden Verfahrens einschließlich seiner Interpretation
- die Teilmenge der Aussagen der DIN 33430, die sich auch Verfahrenshinweise beziehen, wurde zur eigenständigen Checkliste „Anforderungen an Verfahrenshinweise“ zusammengefasst
- die DIN 33430 fordert von den Testautoren und / oder -vertreibern umfassende Informationen zu Konstruktion und empirischen Überprüfungen, sowie zur Anwendung, Auswertung, Interpretation der Verfahren
- es geht von der Forderung nach einer transparenten Informationspolitik über die Forderung nach umfassenden Informationen zu den empirischen Untersuchungen, aus denen die Verfahrenskennwerte abgeleitet wurden, bis hin zur Pflicht, über den empfohlenen Umgang mit nicht bearbeiteten Testaufgaben / Items zu informieren
- Verfahrenshinweise, die diesen umfangreichen Anforderungen nicht gerecht werden, entsprechen nicht der DIN 33430 → ein Prozess, bei dem ein Test mit derartig unzureichenden Verfahrenshinweisen eingesetzt wird, kann nicht der DIN 33430 entsprechen
- DIN 33430 beseitigt das Informationsdefizit, indem sie umfangreiche Informationen zum Verfahren einfordert → der DIN 33430 liegt ein Informationsansatz zugrunde
- erst auf Basis der geforderten Informationen entsprechend der genannten Checkliste kann ein Sachverständiger den Test bewerten
- Sachverständig ist, wer über die erläuterten Kenntnisse im Sinne der Qualitätsanforderungen der DIN 33430 an den Auftragnehmer erfüllt → einzelne Begleit- und Folgemaßnahmen sind miteinander verzahnt
- die Testbeurteilung erfolgt nicht nach der DIN 33430, sondern die Testbeurteilung erfolgt aufgrund von Informationen, die nach der DIN 33430 zu einem Test vorliegen müssen
- sind zentrale Informationen nicht vorhanden, führt dies automatisch zu einer negativen Beurteilung → DIN 33430 eignet sich zu einem raschen negativ Screening von Tests und als Vorbereitungsstufe einer Testbeurteilung ohne selbst ein Testbeurteilungssystem zu sein
- die DIN 33430 zielt auf eine Prozesslenkung, nicht auf eine Prüfung am Ende der Produktionskette
- nach der DIN 33430 ist nicht ein Test an sich problematisch, sondern der Gebrauch der von diesem Test gemacht wird, kann problematisch sein
- in diesem Sinne sind die Verfahrenshinweise auch eine Gebrauchsanweisung, die über das Produkt und seinen Gebrauchswert informiert
- für die Verfahrenshinweise sollen im Sinne eines Reporting diejenigen Informationen erarbeitet und systematisch sowie empfängerorientiert aufbereitet werden, die für eine Entscheidung über den Testeinsatz sowie für den Testeinsatz selbst notwendig sind
- das Testbeurteilungssystem des Testkuratoriums
- TBS-TK = Testbeurteilungssystem des Testkuratoriums
- umfasst 3 Stufen
- Stufe 1 → Prüfung der Informationsgrundlage nach DIN 33430
- nur diejenigen Aussagen der DIN 33430 relevant, die sich auf die Verfahrenshinweise beziehen und die über den Anwendungsbereich Eignungsbeurteilung hinweg Geltung beanspruchen können
- Grundlage der Prüfung auf Stufe 1 ist die Checkliste 1 der Publikation DIN Screen
- der Bericht über die Prüfung nach Stufe 1 kann sich auf Aspekte beschränken, zu denen die nach DIN 33430 geforderten Informationen in den Verfahrenshinweisen fehlen
- die erste Prüfstufe endet mit der Feststellung, ob er Test nach Ansicht der Rezensenten prüffähig ist
- ein Test, der in diesem Sinne nicht prüffähig ist, erhält ohne weitere Begutachtung eine negative Gesamtbeurteilung
- das Urteil zur Prüffähigkeit ist ein qualitatives Werturteil der Rezensenten und wird nicht allein aufgrund von Auszählungen der positiv und negativ beantworteten Aussagen in der Checkliste bestimmt
- Stufe 2 → Testbeschreibung nach einem vorgegebenen Raster und unter Berücksichtigung der Datenkompatibilität
- es erfolgt eine Testkategorisierung und es werden formale Datenbankangaben getroffen
- das Kategorisierungssystem des ZPID wird genutzt
- zur Wahrung internationaler Kompatibilität werden zusätzlich noch datenbankfähige Informationen im Sinne des EFPA Systems verlangt
- Stufe 3 → Testbeurteilung und Rezension durch zwei unabhängige Rezensenten auf der Grundlage einer Beurteilungsrichtlinie
- stellt die eigentliche Testbeurteilung dar
- Beurteilungsrichtlinie → Objektivität und Vergleichbarkeit der Rezensionen werden erhöht, obwohl die Beurteilung ein subjektives Werturteil der Rezensenten bleibt
- eine Bewertung allein aufgrund der nominellen Ausprägung der Testgütekriterien ist im TBS-TK System nicht vorgesehen
- die Beurteilung eines jeden Tests erfolgt durch zwei zunächst unabhängig voneinander arbeitende Reviewer
- es werden 7 Beurteilungskategorien vorgesehen, zu jeder Beurteilungskategorie sind die Nummern der Aussagen der DIN Checkliste DIN Screen eingetragen
- in vier Fällen müssen die Rezensenten zusätzlich zum Freitext ihre Beurteilung auf einer Skala ausdrücken
- die Beurteilungsskala sieht vier Abstufungen vor
- voll
- weitgehend
- teilweise
- nicht
- der Umfang des Rezensionstextes pro Kategorie ist ebenfalls geregelt
Ingen kommentarer:
Legg inn en kommentar