KI-Infos

Drei Forscher von Chroma untersuchten 18 LLMs, darunter GPT-4.1, Claude 4, Gemini 2.5 und Qwen3. Die Untersuchungsergebnisse zeigen, dass die untersuchten Modelle den Kontext des prompts nicht homogen nutzen: Mit zunehmender Eingabelänge wird die Ergebnisqualität der LLM schlechter.
Selbst bei einfachen Aufgaben wie beispielsweise der nicht-lexikalischen Suche oder der Textreplikation beobachten die Forscher eine zunehmende Vershlechterung der Qualität der Ergebnisse bei zunehmender Eingabelänge.
Es kommt entsprechend den Untersuchungsergebnissen nicht nur darauf an, ob relevante Informationen im Kontext eines Modells vorhanden sind, sondern vor allem auch darauf, wie diese Informationen dem Modell bereitgestellt werden bzw. wie gut das LLM darauf zugreift.
Für den Umgang mit KI empfehlen die Forscher Context Engineering, d.h. eine strukturierte Herangehensweise mit ausgewählten Informationsschnipseln, die idealerweise nicht in zu großen Prompts oder Büchern “versteckt” werden.
URL der Untersuchung https://research.try … roma.com/context-rot