Application of Artificial Intelligence for Test Generation and Test Evaluation in Educational Assessments

Das Erfassen von Lese- und Schreibkompetenzen ist essenziell für individuellen Erfolg in Schule, Ausbildung und Beruf. Leider sind traditionelle Methoden, etwa das Erstellen von geeignetem Aufgabenmaterial oder die Beurteilung von Aufsätzen durch Menschen, zeitaufwändig und teuer. Im vorliegenden Projekt untersuchen wir gemeinsam mit der Institut für Bildungsevaluation Zürich AG, Prof. Dr. Martin Tomasik sowie weiteren Partnern aus der universitären Forschung und Industrie Möglichkeiten, durch den Einsatz von Künstlicher Intelligenz Fachkräfte bei der Erfassung von sprachlichen Kompetenzen zu unterstützen, um damit verbundene Kosten und Arbeitsaufwand zu reduzieren, ohne dabei aber an der Qualität der Sprachtests zu sparen.

Zur Erreichung dieses Ziels werden Technologien aus dem Bereich der Sprachverarbeitung, wie etwa grosse Sprachmodelle (Large Language Models, LLMs), mit modernen psychometrischen Methoden kombiniert, um neue Modelle und Software an der Schnittstelle von Machine Learning, Psychometrie und Leistungsdiagnostik zu entwickeln. Die so entwickelten Methoden sollen u.a. für folgende Aufgaben verwendet werden:

1. Generierung von Aufgabenmaterial: Das Schreiben neuer Aufgaben zur Erfassung der Lesekompetenzen ist aufwändig und kostenintensiv. Dies gilt insbesondere, weil diese Aufgaben sich nicht nur an inhaltlichen Vorgaben orientieren, sondern zugleich hohe psychometrische Anforderungen insbesondere hinsichtlich ihrer Messgenauigkeit, Fairness und Validität erfüllen müssen. Ein zentrales Ziel dieses Projekts ist die Entwicklung von Methoden, um grosse Aufgabenmengen von hoher psychometrischer Qualität in kurzer Zeit zu generieren.
2. Computergestützte Beurteilung von Aufsätzen: Aufsätze geben Hinweise zur Beherrschung einer Sprache und zu Aspekten der verbalen Intelligenz, sie erfordern aber auch kritisches Denken sowie kreative Fähigkeiten. Die in diesem Projekt entwickelten Modelle haben das Ziel, eine computergestützte Beurteilung von Aufsätzen in unterschiedlichen Sprachen zu erlauben. Diese Beurteilung kann von Lehrpersonal und anderen Fachkräften zur Unterstützung der Benotung verwendet werden und spart wertvolle Zeit.
3. Computergestütztes Feedback: Die Ergebnisse der Erfassung von Sprachfähigkeiten können durch Künstliche Intelligenz zusammengefasst werden, um zur Unterstützung des Lehrpersonals individualisiertes Feedback zu Stärken und Entwicklungspotential zu geben. Auf diesem Weg können auch Lernende identifiziert werden, welche besondere Unterstützung benötigen. In weiterer Folge sollen solche Methoden auch Formen des personalisierten computergestützten Lernens ermöglichen, wovon die Schülerinnen und Schüler profitieren.

Unsere Arbeit zielt auf Innovationen im Bereich der Erstellung von Lehr- und Testmaterial, im Bereich des personalisierten Lernens von Sprachen und der Unterstützung von Barrierefreiheit und Inklusion für Schülerinnen und Schüler ab. Die in diesem Projekt entwickelten Methoden haben vielfältige Anwendungsmöglichkeiten auch abseits der Bildungsforschung, etwa im Bereich der psychologischen Diagnostik, der Mensch-Computer-Interaktion und für interpretierbares Machine Learning.