Einführung
Große Sprachmodelle (LLMs) haben sich in den letzten Jahren rasant entwickelt und beeindruckende Fortschritte erzielt. Die Forscher bei Abacus AI haben nun ein neues großes Sprachmodell mit einem langen Kontext entwickelt und verschiedene Experimente durchgeführt, um dessen Fähigkeiten zu erweitern. Der folgende Artikel beleuchtet die relevanten Aspekte dieser Forschung.
Kontextlängen-Entwicklung in LLMs
LLMs können lange Kontexte als Eingabe verwenden, aber es besteht Bedarf an einer genaueren Untersuchung, wie sie längere Kontexte nutzen. Abacus AI führte Experimente durch, um die Kontextlängenfähigkeit von Llama zu entwickeln, indem sie diese Modelle mit IFT bei Skalen 4 und 16 linear skalierten. Die Skalierung kann für Aufgaben bis zu einer Kontextlänge von 16k bis sogar 20-24k verwendet werden.
Methoden zur Erweiterung der Kontextlänge
Unterschiedliche Methoden, wie Lineare Skalierung, Skalierung der Fourier-Basis von Rotationspositions-Embedding (RoPE) und Randomisierung des Positionsvektors, wurden getestet. Lineare Skalierung erwies sich als robust, während Trunkation und Randomisierung großartige Perplexitäts-Scores erzielten, aber schlechter bei der Abrufaufgabe abschnitten.
Evaluierung der Modelle
Zur Evaluierung wurden Datensätze von LMSys, Open-Book Frage-Antwort-Datensätzen und WikiQA verwendet. Die Forscher konstruierten auch eine QA-Aufgabe basierend auf Daten im Kurzantwortformat aus Google Natural Questions. Darüber hinaus lösten sie das Problem der Beantwortung aus vortrainierten Texten, indem sie einen veränderten Datensatz mit numerischen Antworten erstellten.
Die Vorstellung von CREATOR
Ein Teil der Studie konzentriert sich auf die Einführung von CREATOR, einem Tool-Entwicklungs-Framework, das die Kapazität von LLMs nutzt, um Werkzeuge zu entwickeln. CREATOR kann in vier Schritte unterteilt werden:
- Erstellung: Verwendung der abstrakten Denkfähigkeit des LLMs, um weitgehend anwendbare Tools zu schaffen.
- Entscheidung: Auswahl von wann und wie das Werkzeug verwendet wird.
- Implementierung: Ausführung des Programms, in dem das LLM das Werkzeug verwendet.
- Korrektur: Anpassung der Instrumente und Entscheidungen basierend auf den Ausführungsergebnissen.
Fazit
Die Forschung von Abacus AI zu großen Sprachmodellen bietet interessante Einblicke in die Entwicklung und Erweiterung von Kontextlängen. Die vorgestellten Methoden und die Einführung von CREATOR zeigen ein vielversprechendes Potenzial zur Verbesserung der LLMs, um sie intelligenter und anpassungsfähiger zu machen. Diese Fortschritte könnten den Weg ebnen, um LLMs näher an die künstliche Allgemeinintelligenz heranzuführen und ihre Fähigkeit zur Problemlösung durch die Schaffung eigener Tools zu erweitern.
Quelle: Studien-Papier