Gorilla übertrifft GPT-4 bei der Erstellung von API-Aufrufen
Forscher der UC Berkeley haben Gorilla vorgestellt, ein verfeinertes LLaMA-basiertes Modell, das GPT 4 bei der Erstellung von API-Aufrufen übertrifft. Große Sprachmodelle (LLMs) haben das Verständnis und die Nutzung von natürlicher Sprachverarbeitung (NLP) und natürlichem Sprachverständnis (NLU) revolutioniert. Sie bewältigen Aufgaben wie Textzusammenfassung, Frage-Antwort-Aufgaben, Content-Erstellung und Sprachübersetzung. Sie verstehen komplexe Textaufforderungen und identifizieren Muster und Beziehungen in den Daten.
Probleme mit API-Aufrufen in Sprachmodellen
Trotz ihrer beeindruckenden Leistung haben Sprachmodelle wie GPT 4 Schwierigkeiten, Werkzeuge über API-Aufrufe effizient zu nutzen. Sie erzeugen oft ungenaue Eingabeargumente und empfehlen häufig unpassende API-Aufrufe. Um dieses Problem zu lösen, haben die Forscher von Berkeley und Microsoft Research Gorilla entwickelt.
Gorilla: Ein LLaMA-basiertes Modell für präzise API-Aufrufe
Gorilla unterstützt bei der Auswahl der passenden API und verbessert die Fähigkeit der LLMs, mit externen Tools zu arbeiten. Das Forscherteam hat den APIBench-Datensatz erstellt, einen umfangreichen Korpus von APIs mit überlappenden Funktionen. Dieser wurde durch Sammeln von öffentlichen Modellhubs wie TorchHub, TensorHub und HuggingFace für deren ML-APIs erstellt. Zehn fiktive Benutzeranfragen wurden für jede API mit der Selbstinstruktionsmethode erzeugt.
Gorilla schlägt GPT 4 in der Korrektheit von API-Funktionen
Durch Verwendung dieses APIBench-Datensatzes und Dokumentenabruf haben die Forscher Gorilla verfeinert. Das 7 Milliarden Parameter Modell übertrifft GPT-4 in der Korrektheit von API-Funktionen und verringert halluzinatorische Fehler. Die effektive Integration des Dokumentenabrufs mit Gorilla zeigt das Potenzial für LLMs, Werkzeuge genauer zu verwenden.
Verbesserung der Zuverlässigkeit und Anwendbarkeit von Sprachmodellen
Die verbesserte Fähigkeit von Gorilla, API-Aufrufe zu erzeugen und Dokumentationen bei Bedarf anzupassen, verbessert die Anwendbarkeit und Zuverlässigkeit der Modellergebnisse. Es ermöglicht es LLMs, mit regelmäßig aktualisierten Dokumentationen Schritt zu halten und den Nutzern genauere und aktuellere Informationen zu liefern.
Gorilla versteht Aufgaben und liefert qualifizierte API-Ergebnisse
In einem Beispiel zeigte Gorilla, wie es Aufgaben korrekt erkennt und vollqualifizierte API-Ergebnisse liefert. Im Gegensatz dazu erzeugte GPT 4 API-Anfragen für hypothetische Modelle, was ein Unverständnis der Aufgabe zeigte. Gorilla hingegen erkannte die Aufgabe korrekt. Dies zeigt seine verbesserte Leistung und Aufgabenverständnis im Vergleich zu GPT 4.
Fazit
Gorilla ist eine wichtige Ergänzung der Liste der Sprachmodelle. Es ermöglicht eine Reduzierung von Problemen, die mit Halluzination und Zuverlässigkeit zusammenhängen. Es bietet die Möglichkeit, tausende von verschiedenen APIs, einschließlich derer von HuggingFace, PyTorch und TensorFlow, in einer Zero-Shot-Weise zu nutzen. Das heißt, es benötigt keine vorherigen Beispiele, um eine Aufgabe auszuführen – es kann eine Vielzahl von Aufforderungen direkt aus der Box behandeln.
Weitere Informationen zu Gorilla
Gorilla gibt es in verschiedenen Versionen, die APIs für die HuggingFace-, Torch- und TensorFlow-Bibliotheken schreiben können. Eine Version mit 1600+ APIs, die auch Chat-Funktionen hat, ist in Vorbereitung. Gorilla und der dazugehörige Code sind auf GitHub verfügbar. Es ist ein Open-Source-Projekt und die Entwickler freuen sich über Feedback und API-Beiträge.
Quelle: Gorilla-Studien-Papier
Quelle: GitHub