Detecting Heterogeneity in Complex IRT Models for Measuring Latent Traits

Psychologische Eigenschaften lassen sich, im Gegensatz zu den physikalischen Eigenschaften einer Person, nicht direkt messen. Während man z.B. die Größe mithilfe eines Maßbandes einfach ausmessen kann, müssen zur Messung von Fähigkeiten oder Persönlichkeitseigenschaften psychologische Tests oder Fragebogen konstruiert werden. Man nennt solche Eigenschaften daher latent (d.h. nicht direkt beobachtbar). Aus den Antworten einer Person lassen sich zuverlässige Rückschlüsse über die latente Eigenschaft ziehen - aber nur wenn der Test oder Fragebogen bestimmte Qualitätsstandards erfüllt. Die Psychometrie, als Wissenschaft angesiedelt an der Schnittstelle von Psychologie und Statistik, beschäftigt sich mit der mathematischen Beschreibung und Überprüfung dieser Qualitätsstandards.

Ziel des Projektes ist es, für eine Klasse von besonders flexiblen statistischen Modellen zur Validierung von psychologischen Tests und Fragebogen neue Methoden zur Qualitätssicherung zu entwickeln. Modelle der sog. Item Response Theorie erlauben faire Vergleiche zwischen Personen, solange die den Modellen zugrundeliegenden Annahmen erfüllt sind - was allerdings in der Praxis nicht immer der Fall ist. Betrachtet man z.B. einen Test der zur Messung der mathematischen Kompetenz konstruiert wurde, so kann eine verbal formulierte Aufgabe für Schüler mit Deutsch als Fremdsprache schwieriger zu lösen sein als für Schüler mit Deutsch als Muttersprache, obwohl beide Schüler dieselbe mathematische Kompetenz haben. Eine solche Aufgabe, die sog. Differential Item Functioning aufweist, führt zu verzerrten Testergebnissen und erlaubt keinen fairen Vergleich zwischen den Schülern. Im Rahmen dieses Projekts sollen deshalb statistische Verfahren entwickelt werden, mit denen man Aufgaben mit Differential Item Functioning sowie die betroffenen Personengruppen in flexiblen Modellen der Item Response Theorie identifizieren kann. Diese Verfahren basieren auf modernen Ansätzen aus der parametrischen Statistik und dem maschinellen Lernen. Mithilfe dieser Verfahren können problematische Aufgaben bereits bei der Testkonstruktion ausgeschlossen oder mithilfe der Zusatzinformation über die betroffenen Personengruppen entsprechend modifiziert werden.

Das in diesem Projekt entwickelte statistische Instrumentarium kann aufgrund der frei verfügbaren Software-Implementierung direkt dazu verwendet werden, bestehende und neue psychologische Tests und Fragebogen zu validieren und unfaire Aufgaben aufzudecken. Dadurch ermöglicht es zuverlässigere Aussagen über die Eigenschaften von Einzelpersonen und faire Vergleiche von Personengruppen z.B. im Bereich der empirischen Bildungsforschung.