Bild: Screenshot

Forscher der Stanford University und der UC Berkeley haben die von GPT generierten Antworten über Monate untersucht. Das LLM lässt nach.

Eine Studie (PDF) mit dem Titel "Wie verändert sich das Verhalten von ChatGPT im Laufe der Zeit?" von Forschern der Standford University und der UC Berkeley hat sich über mehrere Monate damit befasst, wie sich die Antworten der verschiedenen GPT-Generationen verändern. Das Ergebnis überrascht: GPT scheint mit der Zeit immer schlechter zu werden.

Die Autoren der Studie, Lingjiao Chen, Matei Zaharia und James Zou, fütterten die Versionen des Large Language Models GPT-3.5 und GPT-4 in den Monaten März und Juni 2023 in vier verschiedenen Aufgabenbereichen mit Anfragen: Mathematikprobleme lösen, sensible/gefährliche Fragen beantworten, Code generieren und visuelle Schlussfolgerungen ziehen. Dabei veränderten sich die Antworten stark.