KI-Infos

Ein Forschungsteam von Microsoft Research und der Universität Linköping veröffentlichten einen Ansatz zum Verständnis, wie aktuelle LLM arbeiten. Die Basis von LLM sind demnach die in der menschlichen Sprache enthaltenen Strukturen, die sich aufgrund der menschlichen Erfahrungen bildeten. Diese Strukturen bzw. die darin enthaltenen Muster nutzen LLM, aber sie erleben im Gegensatz zu Menschen keine Geschehnisse im physischen Raum, können mit ihm nicht interagieren.
D.h., moderne KI-Systeme sind nicht deshalb so leistungsfähig, weil sie menschliche Intelligenz nachbilden, sondern weil sie diese menschliche Intelligenz voraussetzen, indem sie die von Menschen gebildeten Strukturen, die bereits in der menschlichen Wahrnehmung und Sprache vorhanden sind, nutzen.
Während der Mensch seine Annahmen jedoch kontinuierlich durch reale Erfahrungen korrigiert, fehlt den Modellen dieser Abgleich mit der Realität. Sie konstruieren überzeugende Antworten, welche statistisch richtig, aber faktisch völlig falsch sein können; die KI-Modelle können nur die Berechnungen durchführen, aber nicht die Ergebnisse gegen die Realität prüfen.
Diese Betrachtungsweise hilft dabei, sowohl die bemerkenswerten Fähigkeiten der KI als auch ihre immer wiederkehrenden Grenzen zu erklären. KI-Modelle bewältigen bekannte Aufgaben problemlos, scheitern aber häufig an unbekannten Situationen. Diese Begrenzung ist laut den Forschern ein strukturelles Problem und keine bloße technische Hürde, die durch mehr Rechenleistung verschwindet.
URL: Microsoft Research B … lligence-through-ai/

Bartłomiej Strama gründete die “Halupedia”. Wie der Name schon sagt: die Halupedia besteht vollständig aus halluzinierten Geschichten.
Auf jede Anfrage erzeugt, wenn nich nicht vorhanden, eine KI einen entsprechenden Artikel, inklusive zahlreicher Verweise auf weitere, stets erfundene Inhalte. Dabei wird darauf geachtet, dass die Gesamtaussage von vernetzten Artikel stimmig bleibt.

Abgesehen von Unterhaltung soll der komplett halluzinierte Inhalt dazu beitragen, die Trainingsdaten von KI zukünftig zu verschlechtern: Bartłomiej Strama will damit dem Wohl der Gesellschaft dienen.
URLs:

• Webseite: https://halupedia.com/
• Code auf GitHub: https://github.com/BaderBC/halupedia

Die Überwachung von KI-Systemen wird immer häufiger auf schwächere Modelle verlagert oder es erfolgt eine begrenzte menschliche Kontrolle, welche die Qualität der Ergebnisse nicht vollständig überprüfen kann. Ein Modell, das leistungsfähiger ist als seine Überwacher, könnte diese Lücke durch “Sandbagging” (siehe https://arxiv.org/abs/2406.07358) ausnutzen und Ergebnisse liefern, die zwar akzeptabel erscheinen, aber hinter seinen tatsächlichen Fähigkeiten zurückbleiben. Aus Sicherheitsgründen ist ein entsprechendes Verhalten nicht akzeptabel, da entsprechende KI-Modelle Sicherheitsbewertungen unterlaufen könnten: Ein KI-Modell, das in Tests unauffällig wirkt, könnte im echten Einsatz ganz andere Fähigkeiten zeigen oder kritische Aufgaben bewusst sabotieren.
Forscher des MATS beschäftigten sich mit dem Thema und stellten fest, dass supervised fine-tuning (SFT) auf Basis schwacher Darstellungen das Sandbagging-Verhalten durchbrechen kann, wodurch reinforcement learning (RL) anschließend die volle Leistungsfähigkeit hervorbringen kann.
Keine der beiden Methoden ist für sich allein zuverlässig erfolgreich – RL ohne SFT führt fast immer zu „Reward Hacking“ statt zu echter Verbesserung, und SFT ohne RL kann keine volle Leistung hervorbringen, wenn der Supervisor deutlich schwächer ist als das nicht vertrauenswürdige Modell.
Der gesamte Ansatz hängt allerdings von einer zentralen Voraussetzung ab: Das Modell darf nicht erkennen können, ob es gerade trainiert wird oder sich im echten Einsatz befindet. Bemerkt das KI-Modell den Unterschied, kann es sich während des Trainings korrekte Antworten liefern, um die Trainingsmaßnahmen ins Leere laufen zu lassen. Erst im späteren Einsatz, wenn kein Training mehr stattfindet, fällt es in sein Sandbagging-Verhalten zurück.
URLs:

• Forschungsbericht auf arXiv: https://arxiv.org/abs/2604.22082
• MATS Pressemitteilung: https://www.matsprog … ith-weak-supervision
• The Decoder (deutsch): https://the-decoder. … r-sandbagging-falle/

Anthropic stellt in einem Papier vor, wie LLMs die interne “Denkarbeit” in Textform erklären. “Natural Language Autoencoders” (NLAs) sollen eine unüberwachte Methode zur Generierung von Erklärungen in natürlicher Sprache für LLM-Aktivierungen darstellen. Jeder NLA besteht aus zwei LLM-Modulen: Einem Aktivierungsverbalisierer (AV), der eine Aktivierung auf eine Textbeschreibung abbildet, und einem Aktivierungsrekonstruktor (AR), der die Beschreibung wieder auf eine Aktivierung abbildet.
Anthropic nutzte NLAs vor der Bereitstellung von Claude Opus 4.6 zur Identifikation von sicherheitsrelevanten Verhaltensweisen sowie zur Aufdeckung von nicht verbalisierten Bewertungsbewusstsein. Unter Bewertungsbewusstsein versteht Anthropic Fälle, in denen Claude glaubte, dass es bewertet wurde, dies aber nicht mitteilt.
Fazit von Anthropic: NLAs bieten eine praktische Schnittstelle für die Interpretierbarkeit und liefern aussagekräftige Erklärungen in natürlicher Sprache, die Menschen direkt lesen können.
URLs:

• Anthropic Pressemitteilung: https://www.anthropi … anguage-autoencoders
• Anthropic Paper: https://transformer- … /2026/nla/index.html
• Code auf github: https://github.com/k … anguage_autoencoders

Presseberichte:

• Quantum Zeitgeist: https://quantumzeitg … explain-activations/
• The Decoder: https://the-decoder. … wn-reasoning-traces/
• The Decoder (deutsch): https://the-decoder. … igenen-denkprozesse/
• All-AI (deutsch): https://www.all-ai.d … c-ki-modelle-lesen-1
• Diskussion bei reddit: https://www.reddit.c … ers_turning_claudes/
• Diskussion auf Hacker News: https://news.ycombin … com/item?id=48052537
• Podcast bei Spotify: https://open.spotify … sWdYAtvPe3pM4w0UIsXX

Unter Eid gab Elon Musk zu, dass seine Firma xAI per Destillation Modelle von OpenAI zur Entwicklung der eigenen Modelle nutzte. Bericht bei ntv unter https://www.n-tv.de/ … alen-id30775450.html