Ein Forschungsteam aus drei US-Universitäten (University of Maryland, Carnegie Mellon University, University at Buffalo) untersuchte, wie gut LLM die Schwierigkeit von Aufgaben aus Sicht von Menschen einschätzen.
Eine gute Einschätzung des Schwierigkeitsgrades von Aufgaben (Fragen oder Übungen) ist für die Bildungsbewertung natürlich von entscheidender Bedeutung, d.h., wenn man LLM entsprechend zur Lehre einsetzen will, sollte hier auch eine gute Einschätzung existieren, wie schwierig Aufgaben von Menschen eingeschätzt werden.
Das Team untersuchte in einer empirischen Studie über 20 Modelle.
Die Ergebnisse des Teams zeigen eine systematische Fehlausrichtung, bei der eine Erhöhung der Modellgröße kein zuverlässiger Lösungsansatz ist. Anstatt sich an Menschen anzupassen, konvergieren die Modelle zu einem gemeinsamen maschinellen Konsens.
Auch wurde in der Studie beobachtet, dass eine hohe Leistungsfähigkeit oft eine genaue Schwierigkeitseinschätzung behindert, da LLM Schwierigkeiten haben, die Leistungsgrenzen von Lernenden zu simulieren, selbst wenn sie ausdrücklich aufgefordert werden, bestimmte Kompetenzstufen anzunehmen.
Die Ergebnisse der Studie deuten darauf hin, dass die Problemlösungsfähigkeiten von LLMs nicht gleichbedeutend mit einem Verständnis der kognitiven Schwierigkeiten des Menschen sind, was die Herausforderung des Einsatzes aktueller Modelle für die automatisierte Prognose des Schweregrades von Aufgaben deutlich macht.
URLs:
- Forschungsbericht bei arXiv: https://arxiv.org/abs/2512.18880v1
- GitHub-Repository: https://github.com/M … Difficulty_Alignment
- Deutscher Bericht dazu bei The Decoder: https://the-decoder. … -menschen-scheitern/