Transformer-Trick: Der Einsatz von Füllwörtern wie Punkten ermöglicht es Transformer-Sprachmodellen, komplexe algorithmische Aufgaben zu lösen, die sie zuvor nicht bewältigen konnten. Dies zeigt eine neue Studie von Forschern der New York University. Die Erkenntnisse werfen ein neues Licht darauf, wie die KI-Systeme bei Aufgaben wie logischem Schlussfolgern vorgehen.
Das musst du wissen – Transformer-Trick
- Transformer-Sprachmodelle können bei bestimmten Aufgaben von Füllwörtern profitieren, auch wenn diese keine Bedeutung tragen
- Die Modelle nutzen die Füllwörter für komplexe Berechnungen “hinter den Kulissen”, die nicht direkt aus den Wörtern ersichtlich sind
- Dadurch können sie Probleme lösen, an denen sie ohne Zwischenschritte scheitern, etwa das Finden von Zahlentripeln, die sich zu Null summieren
- Das Lernen, Füllwörter effektiv zu nutzen, erfordert jedoch eine spezifische Anleitung und Überwachung beim Training
- Die Ergebnisse deuten darauf hin, dass Sprachmodelle nicht-transparente Berechnungen durchführen, die immer weiter von beobachtbaren Zwischenschritten entkoppelt sind
Die Forscher trainierten ein Transformer-Modell namens Llama auf zwei algorithmischen Aufgaben: Bei 3SUM musste es in einem Array Zahlentripel finden, die sich zu Null summieren. Bei 2SUM-Transform waren Zahlenpaare gesucht, die nach einer festgelegten Permutation Null ergeben. Wurden den Modellen sinnlose Füllwörter wie Punkte zur Verfügung gestellt, konnten sie die Probleme zuverlässig lösen. Ohne Zwischenschritte schafften sie das nicht.
Die Punktfolgen selbst enthielten zwar keine aufgabenrelevanten Informationen. Doch die Modelle nutzten ihre Repräsentationen in den Hidden Layern für komplexe Berechnungen, mit denen sie die Endergebnisse ermitteln konnten. Dieser Effekt verstärkte sich mit zunehmender Problemkomplexität. Allerdings war ein spezifisches Training nötig, um das volle Potenzial auszuschöpfen. Übliche Trainingsdaten mit Zwischenschritten in natürlicher Sprache reichten nicht aus.
Die Studie liefert neue Einsichten, wie Transformer-Modelle bei anspruchsvollen Aufgaben vorgehen, die viele verschachtelte Rechenschritte erfordern. Offenbar führen sie nicht-transparente Berechnungen durch, die von den beobachtbaren Token-Sequenzen abgekoppelt sind. Dies hat auch Implikationen für die Überprüfbarkeit und Kontrolle von KI-Systemen.
Fazit Transformer-Trick
Die Forschungsergebnisse zeigen, dass Transformer-Sprachmodelle selbst bedeutungslose Füllwörter clever für versteckte Berechnungen nutzen können. Damit erweitern sie ihre Fähigkeiten bei komplexen Aufgaben, die viele Zwischenschritte erfordern. Das ermöglicht neue Anwendungen, wirft aber auch Fragen zur Transparenz und Kontrolle auf. Um das volle Potenzial auszuschöpfen, ist ein maßgeschneidertes Training nötig. Künftige Forschung muss untersuchen, wie sich die Erkenntnisse auf praxisrelevante Probleme übertragen lassen und welche Maßnahmen für eine verantwortungsvolle Entwicklung nötig sind.
#KI #AI #ArtificialIntelligence #Transformer #Sprachmodelle #Reasoning