Development of a Toolbox for Psychological Test Development

Psychologische Tests und Fragebögen sind weit verbreitet, um unterschiedliche Eigenschaften von Personen zu erfassen. Beispiele für den Einsatz solcher Tests finden wir etwa in der klinischen Psychologie (z.B. der Demenzforschung), der Bildungsforschung (z.B. der PISA-Studie), der Verkehrspsychologie oder in Fragestellungen der Personalauswahl und –entwicklung. Professionell entwickelte Tests müssen zuverlässig interpretierbar sein und werden deshalb strengen Qualitätskontrollen unterzogen. Diese Qualitätskontrollen beinhalten in der Regel empirische Erhebungen mit den zu prüfenden Tests, um Aufschluss über ihre psychometrischen Eigenschaften wie etwa ihre Messgenauigkeit oder Aspekte ihrer Fairness zu gewinnen. Die Analyse dieser Datenerhebungen erfolgt dabei mit statistischen Methoden aus dem Gebiet der Psychometrie, welches sich an der Schnittstelle zwischen der Psychologie und der Statistik befindet.

Das vorliegende Projekt befasst sich mit der Entwicklung von neuen statistischen Methoden und von Software zur Planung und nachträglichen Beurteilung solcher Evaluationsstudien. Die so entwickelte Toolbox ist damit sowohl in der Testentwicklung als auch Testanalyse einsetzbar. Das theoretische Rahmenwerk dieses Projekts sind dabei Modelle der Item Response Theorie. Diese Modelle beschreiben mathematisch, wie Testpersonen Testaufgaben bearbeiten. Ist ein Modell gefunden, welches die Interaktion von Testpersonen und Testaufgaben hinreichend gut beschreibt, so lassen sich daraus grundlegende Aussagen z.B. hinsichtlich der Fairness, der Messgenauigkeit oder auch der Interpretation des Tests ableiten. Andererseits lassen sich bestimmte Verletzungen der Fairness oder auch eine mangelnde Messgenauigkeit des Tests ebenfalls über Modelle der Item Response Theorie darstellen. Aus statistischer Sicht stellt sich bei der Untersuchung psychologischer Tests mit Verfahren der Item Response Theorie die Frage, ob ein Modell, welches auf wünschenswerte Eigenschaften des Tests hinweist, die Daten besser beschreibt als ein Modell, welches das nicht tut. Es ist von grosser praktischer Bedeutung, dass zwischen diesen Modellen mit möglichst geringem Aufwand z.B. in der Datenerhebung zuverlässig unterschieden werden kann.

Ziel des Projekts ist die Entwicklung von Software und neuen statistischen Methoden, welche bei der Planung derartiger Studien unterstützen. Zentrale Aspekte, wo diese Toolbox in der Testentwicklung unterstützen soll, ist etwa die Auswahl geeigneter statistischer Verfahren und die Planung der Stichprobenerhebung, etwa bei den Fragen, wie gross die Stichprobe sein und wie sie sich zusammensetzen sollte. Auch lassen sich laufende oder bereits abgeschlossene empirische Studien zur Beurteilung psychologischer Tests mit dieser Toolbox evaluieren.