LLMs enthalten einen beeindruckenden Teil des weltweiten Wissens. Gängige Methoden zur Abfrage dieses Wissens (z.B. „welches Hochzeitskleid passt am besten zu mir“) sind darauf optimiert, auf Eingaben die bestmöglich (= statisch signifikanteste) Antwort zu liefern. Daher liefern LLM auf gleiche oder auch nur sehr ähnliche Eingaben meist sehr einheitliche und wenig originelle Ergebnisse.
Andere Ansätze der Wissensabfrage aus LLM zielen zwar darauf ab, die Vielfalt innerhalb einer kleinen Antwortmenge zu erhöhen, wiederholen sich aber oft schon lange, bevor die Nutzer genug Informationen gesammelt haben, um eine Entscheidung hinsichtlich der bestmöglichen Antwort treffen zu können. Oder die LLM bieten jedem Nutzer, der ähnliche Fragen stellt, eine einheitliche Art von „Kreativität“ an.
Forscher der Harvard Universität erarbeiteten eine Methode, welche bei LLMs anhaltende Kreativität und Vielfalt fördern und beliebig viele konzeptionell einzigartige Ergebnisse liefern soll, auch ohne Zugriff auf die inneren Abläufe des Vektorraums eines LLM zu haben.
Dazu nutzt das Forschungsteam Embeddings, welches vom LLM erzwingt, nicht nur das nächste logische Token zu berechnen, sondern auch weiter entfernte Begriffe miteinander zu verknüpfen. Dies soll bei gleichbleibender Antwortqualität die Varianz der Antworten erhöhen.
URLs:
- Projekt-Webseite bei der Harvard Universität: https://gking.harvard.edu/quest
- Forschungsbericht als pdf-Datei: https://gking.harvar … sity%20in%20LLMs.pdf
- Ergänzendes Material wie Vergleichs/Auswertungen, Beispiele usw.: https://gking.harvar … ntary%20material.pdf
- Pressebericht bei All-AI (deutsch): https://www.all-ai.d … -studie-kreativitaet