heise online berichtet über ein Projekt der Bundesdruckerei: Modelle für die Öffentliche Verwaltung Evaluieren (MÖVE). Das Projekt soll einen ganzheitlichen Benchmark zur Bewertung von LLMs im Kontext des deutschen öffentlichen Sektors darstellen. 39 Modelle werden dabei anhand von zwei sich ergänzenden Dimensionen bewertet: Leistungskriterien und Governance-Kriterien.
Die Leistungskriterien umfassen Zusammenfassung, Beantwortung von Fragen und Themenextraktion. Die Governance-Kriterien bewerten die Neigung zu Halluzinationen, den Energieverbrauch, die Transparenz der Anbieter sowie die Übereinstimmung mit deutschen Verfassungswerten und das Wissen über die Positionen deutscher politischer Parteien.
Die Ergebnisse zeigen, dass kein einzelnes Modell bei allen Kriterien dominiert. Insbesondere stellt die Modellgröße allein einen schlechter Prädiktor für die Qualität eines LLM dar. Die Ergebnisse des Benchmarks sind auf der Projekthomepage abrufbar.
URLs:
- Projektwebseite: https://moeve.bundesdruckerei.de/
- Repository auf github: https://github.com/B … i-GmbH/moeve-lmbench
- Bericht auf arXiv: https://arxiv.org/abs/2606.13111
- Pressemitteilung: https://www.bundesdr … enchmark-geht-online
Presseberichte:
- heise online: https://www.heise.de … zaehmt-11370014.html