Multimodale große Sprachmodelle (MLLMs) verbesserten das Dokumentenverständnis erheblich, sodass von einem Verständnis ausgegangen wird. Bei aktuellen Bewertungen wird jedoch lediglich die endgültige Antwort gewertet, während die zugrunde liegenden Belege unberücksichtigt bleiben. Dieser rein auf die Antwort ausgerichtete Ansatz verschleiert einen kritischen Fehlermodus: Ein Modell kann zwar die richtige Antwort liefern, diese jedoch auf den falschen Textabschnitt stützen. Forscher nannten dies “Attribution Hallucination”.
In Bereichen mit hoher Tragweite wie Recht, Finanzen und Medizin, in denen jede Schlussfolgerung auf einen bestimmten Quelltext zurückverfolgt werden muss, beinhaltet dies ein erhebliches Risikopotenzial.
Forscher der Peking University und des Shanghai Artificial Intelligence Laboratory entwickelten einen neuen Benchmark namens CiteVQA, der diese Diskrepanz zwischen richtiger Aussage und korrektem Quellenbeleg abbilden soll.
CiteVQA verlangt von Modellen, neben jeder Antwort auch Zitate auf Elementebene in Form von Bounding-Boxen zurückzugeben, wobei beide gemeinsam bewertet werden. Im Mittelpunkt unserer Bewertung steht die „Strict Attributed Accuracy“ (SAA), bei der eine Vorhersage nur dann als richtig gewertet wird, wenn sowohl die Antwort als auch die angegebene Quelle korrekt sind.
Die Forscher untersuchten 20 Modelle und das leistungsstärkste System (Gemini-3.1-Pro-Preview) erreicht eine SAA von nur 76,0.
URLs:
- Forschungsbericht auf arXiv: https://arxiv.org/abs/2605.12882v1
- Repository auf GitHub: https://github.com/opendatalab/CiteVQA
Presseberichte:
- KI News daily: https://ki-news-dail … egen-aber-oft-nicht/
- Modelwire: https://themodelwire … WVYNS1J39WD04Z7D5YEN
- AI Tech Suite: https://www.aitechsu … es-for-right-answers