Auf dem Weg zu interaktiven Raten – Die Geburt von Baby Llama
Baby Llama: Der bekannte Deep-Learning-Experte von OpenAI, Andrej Karpathy, hat ein spannendes Wochenendprojekt gestartet, das die Art und Weise, wie wir komplexe Modelle auf ressourcenbeschränkten Geräten ausführen, revolutionieren könnte. Mit seiner Schöpfung “Baby Llama”, einer vereinfachten Version des Llama 2-Modells, zeigt Karpathy die Kraft des reinen C-Codes und dessen Potenzial, hohe interaktive Raten auf kleinen Maschinen zu ermöglichen.
Von GPT-2 zu Llama 2: Das Wochenendexperiment
In seinem GitHub-Repository, Llama2.c, hat Karpathy Einblicke in seinen kreativen Prozess gegeben. Er hat das NanoGPT-Framework genommen und es geschickt in die Llama 2-Architektur umgewandelt, die komplett in der C-Programmiersprache geschrieben ist. Sein Repository erregte große Aufmerksamkeit und erzielte in kurzer Zeit über 2,2K Sterne.
Interaktive Raten mit ressourcenbeschränkten Modellen
Eine der erstaunlichsten Errungenschaften von Karpathys Experiment ist seine Fähigkeit hohe interaktive Raten mit angemessen großen Modellen zu erreichen. Obwohl er ein Modell mit einigen Millionen Parametern benutzte, das auf einem TinyStories-Datensatz mit 15 Millionen Parametern trainiert wurde war Karpathys Ansatz bemerkenswert erfolgreich.
Beeindruckende Geschwindigkeit auf schwach bestückten Geräten
Auf seinem M1 MacBook Air erzielte Karpathy beeindruckende Ergebnisse. Das Llama 2-Modell, das rund 15 Millionen Parameter aufweist, zeigte eine blitzschnelle Inferenzgeschwindigkeit von etwa 100 Tokens pro Sekunde in fp32 (Single-Precision Floating-Point)-Berechnungen. Dieses überraschende Ergebnis unterstreicht das Potenzial, anspruchsvolle Modelle einfach auf ressourcenbeschränkten Geräten auszuführen.
Grenzen verschieben – Größer und besser
Durch den anfänglichen Erfolg ermutigt, setzte Karpathy seine Bemühungen fort. Er aktualisierte aktiv das Repository und wagte sich daran, ein wesentlich größeres Modell mit 44 Millionen Parametern zu testen, das dreimal größer war. Zu seiner Überraschung konnte er 200k Iterationen mit einer Batch-Größe von 32 auf 4 A100 GPUs in nur etwa acht Stunden trainieren.
Inspiration von LLaMA.cpp und die PyTorch-Verbindung
Karpathy gibt zu, dass sein Projekt stark von Georgi Gerganovs “llama.cpp” inspiriert wurde, einem Projekt, das ebenfalls darauf abzielte, LLaMA auf einem MacBook mit C und C++ zu verwenden. Karpathys Ansatz begann mit dem Training der Llama 2 LLM-Architektur von Grund auf mit PyTorch. Anschließend verwendete er eine 500-zeilige C-Datei, “run.c”, um Inferenzen mit minimalem Speicherbedarf durchzuführen, ohne dass externe Bibliotheken benötigt wurden.
Feinabstimmung für verbesserte Leistung
Um den C-Code weiter zu optimieren, untersuchte Karpathy verschiedene Techniken, darunter verschiedene Kompilierungsflags wie -O3, -Ofast, -march=native und mehr. Diese Flags halfen, Vektorisierung, Loop-Unrolling und andere hardware-spezifische Abstimmungen zu ermöglichen, was zu noch schnelleren Inferenzen auf bestimmten Systemen führte.
Noch nicht bereit für den Einsatz – und doch ein Blick in die Zukunft
Obwohl Karpathys Wochenendexperiment ein bahnbrechender Erfolg war, stellt er klar, dass Baby Llama nicht für den Einsatz in der Produktion vorgesehen ist. Das Hauptziel war es, die Machbarkeit von Llama 2-Modellen auf schwach bestückten Geräten zu demonstrieren. Dieses Experiment stellt die gängige Annahme in Frage, dass Machine Learning GPUs benötigt.
Baby Llama – Die Zukunft der KI auf kleineren Geräten gestalten
Die Auswirkungen von Karpathys Experiment gehen über den Rahmen von Wochenendprojekten hinaus. Es setzt ein Zeichen für die Integration von Modellen auf kleineren, lokalen Geräten ohne die Notwendigkeit von GPUs. Dieser Durchbruch könnte potenziell den Weg für Microsoft ebnen, durch seine Partnerschaft mit Meta eine Reihe von kleinen LLMs auf Basis von Llama 2 zu veröffentlichen und so eine neue Ära der KI-Zugänglichkeit einzuläuten.
Unser Fazit
Andrej Karpathy hat Baby Llama als vereinfachte Version des Llama 2-Modells eingeführt. Die Entwicklung zeigt das enorme Potenzial, KI-Modelle mit reinem C-Code auf schwach bestückten Geräten auszuführen. Das Modell hat erstaunliche interaktive Raten und blitzschnelle Inferenzen, was eine großartige Zukunft verspricht. Dieses bahnbrechende Experiment bereitet den Weg für eine Zukunft, in der komplexe KI-Anwendungen auch auf ressourcenbeschränkten Maschinen gedeihen können. Die Welt der KI erlebt zweifellos einen Paradigmenwechsel, und Baby Llama könnte erst der Anfang sein!
Quelle: Analytics Vidhya