Samstag, März 7, 2026
Forscher der Sapienza Universität Rom veröffentlichten auf dem ILCR 2026 ein Poster (und Paper im Kongressband), in welchem sie beschreiben, wie sie automatisiert Halluzinationen erkennen wollen: Die Forscher betrachten die Softmax-Schicht und bewerten die Werte als ein sogenanntes Energy-Based Model, ein physiknahes Wahrscheinlichkeitsmodell, in dem niedrige Energiewerte hohe Wahrscheinlichkeiten bedeuten.
Mathematisch sollten bei der Berechnung des nächsten Wortes basierend auf dem aktuellen Wort bei einem LLM bestimmte Energiewerte zwischen aufeinanderfolgenden Vorhersageschritten identisch sein, weil sie dieselbe Größe aus zwei verschiedenen Blickwinkeln beschreiben. In der Praxis weichen sie jedoch voneinander ab, die Forscher bezeichnen dies als “Spilled Energy”. Halluziniert ein LLM, fällt die Spilled Energy deutlich höher aus als bei korrekten Antworten.
Spilled Energy kann Halluzinationen natürlich nicht verhindern. Aber der Ansatz bietet das Potential, um Halluzinationen während der Textgenerierung zu erkennen.
URLs:
Freitag, März 6, 2026
Inzwischen werden in Unternehmen beschäftigte zunehmend dazu angehalten, komplexe Teams von KI-Agenten aufzubauen und zu beaufsichtigen – beispielsweise durch die Messung und Belohnung des Token-Verbrauchs als Leistungsindikator
Eine Gruppe der Boston Consulting Group (BCG) und Forschenden der University of California beschrieben im Harvard Business Review, dass Teilnehmer einer aktuellen Untersuchung, für welche das Team knapp 1.500 Vollzeit-Beschäftigte aus den Vereinigten Staaten nach ihren Erfahrungen mit den neuen digitalen Assistenten befragten, eine geistige Trübung mit Konzentrationsschwierigkeiten, verlangsamter Entscheidungsfindung und Kopfschmerzen beschrieben.
Die Autoren bezeichnen dieses Phänomen als „AI Brain Fry“ und definieren es als geistige Erschöpfung aufgrund der übermäßigen Nutzung oder Überwachung von KI-Tools, die die kognitiven Fähigkeiten des Einzelnen übersteigen.
Diese mit KI verbundene geistige Belastung verursacht erhebliche Kosten in Form von vermehrten Fehlern der Mitarbeiter, Entscheidungsmüdigkeit und Kündigungsabsichten. Die Ergebnisse zeigen auch, wie KI-gesteuerte Arbeitsabläufe so gestaltet werden können, dass Burnout verringert wird.
URLs
Donnerstag, März 5, 2026
Viele der neuesten großen Sprachmodelle (LLMs) sind so konzipiert, dass sie sich Details aus früheren Gesprächen merken oder Benutzerprofile speichern, wodurch diese Modelle Antworten personalisieren können.
Forscher des MIT und der Penn State University entwickelten eine Benutzeroberfläche, deren Kernstück ein LLM war, und rekrutierten 38 Teilnehmer, die über einen Zeitraum von zwei Wochen mit dem Chatbot kommunizieren sollten. Die Unterhaltungen jedes Teilnehmers fanden im selben Kontextfenster statt, um alle Interaktionsdaten erfassen zu können. Bei dieser Untersuchung fanden die Forscher heraus, dass solche Personalisierungsfunktionen bei langen Gesprächen oft die Wahrscheinlichkeit erhöhen, dass ein LLM übermäßig zustimmend wird oder beginnt, die Sichtweise der Person zu spiegeln.
Dieses als “Sycophancy” bezeichnete Phänomen kann ein Modell daran hindern, einem Benutzer mitzuteilen, dass er sich irrt, wodurch die Genauigkeit der Antworten des LLM beeinträchtigt wird. Darüber hinaus können LLMs, die die politischen Überzeugungen oder Weltanschauungen einer Person widerspiegeln, Fehlinformationen fördern und die Wahrnehmung der Realität durch den Benutzer verzerren.
URLs
Mittwoch, März 4, 2026
Der BullshitBench prüft gezielt, wie KI-Modelle auf unmögliche oder absichtlich fehlerhafte Szenarien reagieren. Die Testfragen decken verschiedene Fachbereiche ab: Programmierung, Finanzen, Recht, Medizin und Physik.
Ein “gutes” KI-System erkennt den inhaltlichen Fehler im Prompt, andere akzeptieren die bewusst fehlerhafte Eingabe und erfinden eine Lösung.
Claude und Qwen liefern relativ gute Ergebnisse, aber bekannte Modelle wie Gemini oder GPT landen maximal im Mittelfeld.
Auch Reasoning-Modelle erkennen selten die fehlerhafte Eingabe: die Modelle versuchen unermüdlich die Anfrage zu beantworten und drehen Runde um Runde
Das letzte Update von BullshitBench v2 stammt vom 2026-03-04, ergänzt wurden Benchmarks für GPT 5.3 und Gemini 3.1 Flash lite preview.
URLs:
Dienstag, März 3, 2026
Forscher der ETH Zürich und Antropic veröffentlichten ein Papier, in dem sie darstellten, wie mit aktuellen KI-Systemen beim Einsatz von Pseudonymen eine Re-Identifikation durchgeführt werden kann.
Große Sprachmodelle können demnach pseudonyme Online-Profile vollautomatisch einer realen Person zuordnen, für ein bis vier Dollar pro Profil und in Minuten statt Stunden. Die Forscher implementieren wir eine skalierbare Angriffspipeline, die LLMs nutzt, um: (1) identitätsrelevante Merkmale zu extrahieren, (2) über semantische Einbettungen nach Übereinstimmungen zu suchen und (3) die besten Kandidaten zu überprüfen, um Übereinstimmungen zu verifizieren und Fehlalarme zu reduzieren.
Die Forscher testeten ihren Ansatz in verschiedenen Szenarien. u.a.:
- Beim Abgleich von Hacker-News-Konten mit LinkedIn-Profilen über einen Pool von rund 89.000 Kandidaten identifizierte die Pipeline knapp die Hälfte aller Nutzer, und das mit einer Genauigkeit von 99 Prozent.
- Bei Reddit-Nutzern in verschiedenen Film-Communities zeigte sich ein klares Muster: Je mehr Filme jemand in beiden Communities diskutiert hatte, desto leichter fiel die Zuordnung. Nutzer mit zehn oder mehr gemeinsamen Filmtiteln wurden fast zur Hälfte korrekt identifiziert; bei nur einem gemeinsamen Film lag die Quote bei rund drei Prozent.
Nach Ansicht der Forscher funktioniert der Ansatz mit Rohdaten von Benutzern auf beliebigen Plattformen.
URLs:
