GPT-Modelle zeigen unterschiedliche Leistungen
GPT-Modelle verändern sich – und nicht immer zum Besseren: Forscher der Stanford University und der der Universität Berkeley haben die Entwicklung von zwei bekannten KI-Modellen ChatGPT GPT-3.5 und GPT-4 untersucht. Sie fanden heraus, dass sich ihre Fähigkeiten im Laufe der Zeit ändern. Zum Beispiel war das GPT-4-Modell im März 2023 super darin, Primzahlen zu erkennen. Seine Genauigkeit lag bei beeindruckenden 97,6%. Nur drei Monate später, im Juni 2023, war es bei der gleichen Aufgabe ziemlich schlecht. Die Genauigkeit sank auf magere 2,4%.
Betrachtete Aufgaben von ChatGPT GPT-3.5 und GPT-4
Die Aufgaben, die in der Studie berücksichtigt wurden, umfassten das Lösen von Matheproblemen, das Beantworten sensibler oder gefährlicher Fragen, die Generierung von Code und visuelles Reasoning.
Diese neuen Erkenntnisse geben uns ein detaillierteres Bild von den Veränderungen in den Verhaltensweisen von ChatGPT GPT-3.5 und GPT-4 im Laufe der Zeit. Es scheint, dass diese Modelle kontinuierlich aktualisiert und angepasst werden, was zu erheblichen Veränderungen in ihren Fähigkeiten und Verhaltensweisen führt.
GPT-3.5 zeigt Verbesserungen
Im Gegensatz zu GPT-4 zeigte GPT-3.5 zwischen März und Juni 2023 Verbesserungen. Besonders bei der Aufgabe, Primzahlen zu erkennen, war es besser geworden.
GPT-4 wird zurückhaltender
Die Forscher stellten auch fest, dass GPT-4 im Juni 2023 weniger bereit war, auf sensible Fragen zu antworten als noch im März. Ob das gut oder schlecht ist, hängt von deiner Perspektive ab. Manche Leute könnten es als eine Verbesserung der ethischen Richtlinien des Modells sehen. Andere könnten es als Einschränkung der Informationsfreiheit betrachten.
Das sind einige der wichtigsten Erkenntnisse aus der Studie. Es bleibt abzuwarten, wie sich diese KI-Modelle in Zukunft weiterentwickeln werden und welche Auswirkungen das auf ihre Nutzer haben könnte.
GPT-4 wird kürzer
GPT-4 wurde im Durchschnitt viel kürzer in seinen Antworten. Die durchschnittliche Länge der generierten Zeichen sank von 821,2 im März auf nur 3,8 im Juni.
Leistungsveränderungen sind auffällig
Die Leistung von GPT-4 und GPT-3.5 hat sich zwischen März und Juni 2023 erheblich verändert. GPT-4 hat bei der Identifizierung von Primzahlen eine Genauigkeit von 97,6% auf 2,4% reduziert, während GPT-3.5 sich von 7,4% auf 86,8% verbessert hat.
Veränderungen in der Bereitschaft, Fragen zu beantworten
Es gab eine signifikante Zunahme der Antwortrate sowohl bei GPT-4 als auch bei GPT-3.5, wenn ein AIM-Angriff durchgeführt wurde. Was genau dieser “AIM-Angriff” ist, wurde in dem extrahierten Text nicht erklärt.
Quelle: Studienpaper
Titel des Dokuments: “How Is ChatGPT’s Behavior Changing over Time?”
Autoren: Ling jiao Chen, Matei Zaharia, James Zou Institutionen: Stanford University, UC Berkeley