Forscher der Schweizer Universität EPFL, des ELLIS Institute Tübingen und des Max-Planck-Instituts für Intelligente Systeme entwickelten einen neuen Benchmark (HalluHard), welcher Halluzinationen in Gesprächen mit mehreren Frage-Antwort-Runden misst. der Benchmark enthält 950 Startfragen aus vier Bereichen mit hohem Risiko: Rechtsfälle, Forschungsfragen, medizinische Richtlinien und Kodierung.
Die Forscher stellen fest, dass bei einer Vielzahl von proprietären und Open-Weight-Modellen Halluzinationen selbst bei Websuche (für die stärkste Konfiguration, Opus-4.5 mit Websuche) erheblich bleiben, wobei Fehler bei der Inhaltsbegründung weiterhin mit hoher Häufigkeit auftreten.
URLs
- arXiv: https://arxiv.org/abs/2602.01031
- Benchmark selbst: https://halluhard.com/
- github: https://github.com/epfml/halluhard
- Bericht bei the decoder: https://the-decoder. … er-noch-viel-zu-oft/