GenAI bzw. diverse multimodale Modelle zeigen zwar gute Erfolge beim crossmodalen Verständnis, können diese Erfolge aber nicht umsetzen. D.h. aus erlangten Erkenntnissen werden bei der Prompt-Generierung beispielsweise falsche Parameter genutzt - obwohl das interne Wissen des Modells eigentlich die richtigen Parameter enthält.
Diese Diskrepanz wurde von chinesischen Forschern als “Conduction Aphasia” beschrieben: Das Phänomen, bei dem Modelle multimodale Eingaben zwar korrekt interpretieren, aber Schwierigkeiten haben, dieses Verständnis in eine originalgetreue und kontrollierbare Synthese umzusetzen.
Zur Lösung dieses Problems entwickelten die Forscher “Unicorn”, ein Selbstverbesserungs-Framework, welches keine externen Daten oder Lehreraufsicht erfordert. Ein bestehendes Unified Multimodal Model nutzt drei kollaborative Rollen (Proposer, Solver und Judge) und durch Selbsterprobung sowie Verwendung kognitiven Musterrekonstruktion wird latentes Verständnis in explizite generative Signale umgewandelt.
Forschungsbericht ist bei arXiv zu finden: https://arxiv.org/abs/2601.03193.
Berichte dazu z.B.
- AI News: https://news.aibase.com/news/24497
- The Decoder (in deutscher Sprache): https://the-decoder. … it-self-play-ansatz/