beck aktuell berichtet über Ergebnisse genAI Benchmarks “BullshitBench v2”. Wie der Name des Benschmarks andeutet, bekommen KI-Systeme gezielt unsinnige oder unlösbare Aufgaben. Ich leite meinen Post aus unserer genAI-Gruppe dazu gleich nach hier weiter).
Tobias Voßberg schaute sich das auch an und berichtet bei beck aktuell über die Ergebnisse der Studie.
Sein Fazit (Zitat):
Für Juristinnen und Juristen ergibt sich aus der Studie, dass die Wahl des KI-Modells keine technische Nebensache ist. Wer ein Werkzeug einsetzt, das in mehr als der Hälfte der Fälle unsinnige Prämissen ungeprüft übernimmt, baut sein Arbeitsergebnis auf ein unsicheres Fundament. Das gilt umso mehr für juristische Laien, die KI für Rechtsfragen nutzen. Sie haben in der Regel kein Korrektiv, um eine plausibel klingende, aber falsche Antwort zu erkennen.
Die Studie zeigt aber auch: Es gibt durchaus Modelle, die falsche Prämissen zuverlässig erkennen und zurückweisen. Anwaltskanzleien, Rechtsabteilungen und Legal-Tech-Anbieter sollten diesen Aspekt bei der Auswahl ihrer KI-Werkzeuge berücksichtigen. Denn ein Modell, das nicht Nein sagen kann, ist im juristischen Kontext gefährlich.
URL:
- beck aktuell: https://rsw.beck.de/ … innigen-rechtsfragen
Zum BullshitBench v2 siehe auch Post vom 4. März 2026: https://gesundheitsd … y=entry260304-110035