Zehn Mathematiker untersuchten, ob Sprachmodelle aktuell ungelöste wissenschaftliche Fragestellungen lösen können. Dafür wurde von jedem Mathematiker eine Testfrage gestellt, die auf eigenen und unveröffentlichten Forschungsergebnissen beruht. D.h. die untersuchten Sprachmodelle (GPT 5.2 Pro and Gemini 3.0 Deepthink) konnten die Lösung weder aus ihrem gelernten Wissen noch aus Informationen aus dem Internet beziehen; die Sprachmodelle hätten das erlernte Wissen nutzen und damit selbst eine Lösung entwickeln müssen.
Die Ergebnisse sind ziemlich ernüchternd: im Interview mit der New York Times (https://www.nytimes. … ai-proof-hairer.html) berichtete der österreichischer Mathematiker und Fields-Medaillen-Träger Martin Hairer, dass die Versuche der KI der Arbeit eines schlechten Studenten gleichen, der zwar ungefähr wisse, wo man anfangen müsste und was das Ergebnis sein sollte, der aber keine wirkliche Ahnung habe, wie er dorthin gelangen solle. Keines der untersuchten Sprachmodelle brachte eine neue Idee oder ein grundlegend neues Konzept hervor.
URLs:
- Projektwebseite: https://1stproof.org/
- Artikel bei arXiv: https://arxiv.org/abs/2602.05192