Bekanntermaßen generieren große Sprachmodelle (LLMs) in einer Vielzahl von Kontexten plausible, aber falsche Informationen, jedoch sind das tatsächliche Ausmaß und die Folgen dieses Halluzinationsproblems kaum erforscht. Ein Team von Forschenden der Cornell University, der University of California Los Angeles, der Tsinghua University sowie der Tsinghua University nutzen 111 Millionen Referenzen in 2,5 Millionen Artikeln auf arXiv, bioRxiv, SSRN und PubMed Central auf das Vorhandensein von nicht vorhandenen Referenzen.
Das Forscherteam stelle einen starken Anstieg nicht existierender Referenzen nach der weit verbreiteten Einführung von LLMs fest, mit einer konservativen Schätzung von 146.932 halluzinierten Zitaten allein im Jahr 2025. Diese fehlerhaften Angaben sind diffus über viele Artikel verteilt. Jedoch treten sie besonders ausgeprägt in Fachgebieten mit rascher KI-Einführung wie den Sozialwissenschaften und der Informatik auf, ebenso in Manuskripten mit sprachlichen Merkmalen KI-gestützten Schreibens sowie bei kleinen Autorenteams und Nachwuchswissenschaftlern. Gleichzeitig schreiben halluzinierte Zitate bereits prominenten und männlichen Wissenschaftlern unverhältnismäßig viel Anerkennung zu, was darauf hindeutet, dass durch LLM erzeugte Fehler bestehende Ungleichheiten bei der wissenschaftlichen Anerkennung verstärken könnten.
Die Überprüfung von Preprints und die Publikationsprozesse von Fachzeitschriften erfassen nur einen Bruchteil dieser Fehler, was darauf schließen lässt, dass die bestehenden Sicherheitsvorkehrungen wie beispielsweise ein Peer Review Prozess die Verbreitung halluzinierter Inhalte in wissenschaftlichen Zeitschriften nicht wirksam verhindert.
Fazit der Forscher: LLM-Halluzinationen unterwandern die wissenschaftliche Publikation in großem Umfang und gefährden damit sowohl die Zuverlässigkeit als auch die Objektivität wissenschaftlicher Entdeckungen, da sowohl Menschen als auch KI-Systeme auf die vorhandene und damit auf die entsprechend verfälschte Literatur zurückgreifen.
URLs:
- Forschungsbericht auf arXiv: https://doi.org/10.4 … 550/arXiv.2605.07723
- Pressebericht bei AI Frontpage: https://aifront-page … search-papers-study/