Ein vom KI Bundesverband koordiniertes deutsches Forschungskonsortium veröffentlichte Soofi S, ein 30B Mixture-of-Experts-Modell auf Basis des Mamba-Transformers, trainiert mit 27 Billionen Token und vor allem auf deutsche und englische Texte ausgelegt. EU und Bundesministerium für Wirtschaft und Energie förderten das Projekt.
Durch seinen hybriden Aufbau werden pro Token nur 3 Mrd. der insgesamt 30 Mrd. Parameter aktiviert, und der Inferenz-Cache bleibt auch bei wachsendem Kontext nahezu konstant, was dem Modell einen entscheidenden Durchsatzvorteil gegenüber dichten Modellen bei Einsätzen mit langem Kontext und hoher Parallelität verschafft.
Soofi S erzielte bei aggregierten englisch- und deutschsprachigen Benchmarks unter 17 offenen Basismodellen die besten Code-Aggregate in beiden Sprachen, liegt noch vor Olmo 3 32B und Apertus 70B.
Aktuell läuft eine Testphase, wozu noch externe Testpartner für Real-World-Projekte gesucht werden, daher kann man das Modell noch nicht herunterladen. Besteht Interesse an der Erprobung teilzunehmen, kann man per E-Mail unter contact@soofi.info das Interesse melde, idealerweise zusammen mit folgenden Angaben:
- kurze Beschreibung des Unternehmens / der Organisation
- Branche oder Anwendungsfeld
- idealerweise noch eine Use-Case-Idee
Langfristig ist die lizenzfreie Verfügbarkeit angekündigt. Gewichte, Checkpoints, Training- & Data Code wie auch Trainings-Logs werden verffentlicht (siehe Link zu Huggingface).
URLs:
- Bericht bei arXiv: https://arxiv.org/abs/2607.09424
- Webseite des Projektes: https://www.soofi.info/
- Huggingface: https://huggingface. … training-Tech-Report
Presseerklärungen zum Projekt:
- Deutsches Forschungszentrum für Künstliche Intelligenz GmbH (DFKI): https://www.dfki.de/ … ustrial-ai-in-europe
- Fraunhofer IAIS: https://www.iais.fra … industrielle-ki.html
- Leibnitz Universität Hannover: https://www.uni-hann … nwendungen-in-europa
- TU Darmstadt: https://www.tu-darms … nsicht_566528.de.jsp
Presseberichte:
- The Decoder: https://the-decoder. … eutsch-und-englisch/
- All-AI: https://www.all-ai.d … p/soofie-s-ki-modell
- Informationsdienst Wissenschaft (idw): https://nachrichten. … trielle-ki-in-europa
- heise online: https://www.heise.de … ickeln-11083042.html
- Linux Magazin: https://www.linux-ma … -source-llm-soofi-s/
- t3n: https://t3n.de/news/ … eisten-soll-1717372/