Der Benchmark WorldReasonBench prüft, wie plausibel Videogeneratoren wie Sora 2, Seedance 2.0 oder Veo 3.1 eine Szene gestalten. Die Frage, welche der Benchmark adressiert, lautet: Kann ein Modell ausgehend von einem Anfangszustand und einer Aktion ein zukünftiges Video generieren, dessen Zustandsentwicklung physikalisch, sozial, logisch und informationstechnisch konsistent bleibt?
WorldReasonBench enthält 436 kuratierte Testfälle mit strukturierten Ground-Truth-QA-Annotationen, die vier Dimensionen des Schlussfolgerns und 22 Unterkategorien abdecken. WorldReasonBench beurteilt generierte Videos mit einer an menschlichen Bewertungen angelehnten, zweiteiligen Methodik: Die „Process-aware Reasoning Verification“ nutzt strukturierte QA- und Schlussfolgerungsphasen-Diagnosen, um zeitliche und kausale Fehler zu erkennen, während die „Multi-dimensional Quality Assessment“ die Qualität der Schlussfolgerungen, die zeitliche Konsistenz und die visuelle Ästhetik bewertet, um Rankings und Belohnungsmodelle zu erstellen.
Zusätzlich ist der WorldRewardBench integriert. Dieser Benchmark enthält etwa 6.000 von Experten annotierten Paaren von über 1.400 Videos, der die paarweise und punktweise Bewertung von Belohnungsmodellen abdeckt. Dies bildet eine zusätzliche Basis zur beurteilung der Realitätsnähe der Videos - unabhängig von derem bloßen Erscheinungsbild.
Die Ergebnisse zeigen, dass bei modernen Videogeneratoren eine anhaltende Kluft zwischen visueller Plausibilität und Weltlogik besteht: Videos können überzeugend aussehen, während sie in Bezug auf Dynamik, Ursache-Wirkungs-Zusammenhänge oder Informationserhaltung versagen. So stimmt beispielsweise bei herabfallenden Gegenständen in einem Video die Kurve des Falls nicht mit den physikalischen Gegebenheiten überein oder Bewegungen sehen zwar gut aus. entsprechen jedoch nicht den mechanischen Vorgaben der jeweiligen Gelenke.
URLs:
- Forschungsbericht bei arXiv: https://arxiv.org/abs/2605.10434
- Code auf github: https://github.com/U … Lab/WorldReasonBench
- github Projektseite: https://unix-ai-lab. … io/WorldReasonBench/
Presseberichte:
- The Decoder: https://the-decoder. … son-about-the-world/
- All-AI (deutsch): https://www.all-ai.d … -benchmark-realworld