Grok-1.5 von xAI: xAI hat mit Grok-1.5 ein neues Sprachmodell vorgestellt, das in der Lage ist, lange Kontexte zu verstehen und fortschrittliche Schlussfolgerungen zu ziehen. Das Modell wird in den kommenden Tagen für erste Tester und bestehende Grok-Nutzer auf der 𝕏-Plattform verfügbar sein.
Vor zwei Wochen gewährte xAI durch die Veröffentlichung der Modellgewichte und Netzwerkarchitektur von Grok-1 einen Einblick in die bis November letzten Jahres erzielten Fortschritte. Seitdem wurden die Fähigkeiten zur Argumentation und Problemlösung im neuesten Modell Grok-1.5 weiter verbessert.
Verbesserte Fähigkeiten und Schlussfolgerungen
Eine der bemerkenswertesten Verbesserungen in Grok-1.5 ist die Leistung bei Programmier- und Mathematikaufgaben. In Tests erzielte Grok-1.5 eine Punktzahl von 50,6% beim MATH-Benchmark und 90% beim GSM8K-Benchmark. Diese Benchmarks decken ein breites Spektrum von Wettbewerbsproblemen von der Grundschule bis zur High School ab. Zusätzlich erreichte es 74,1% beim HumanEval-Benchmark, der die Fähigkeiten zur Codegenerierung und Problemlösung bewertet.
| Benchmark | Grok-1 | Grok-1.5 | Mistral Large | Claude 2 | Claude 3 Sonnet | Gemini Pro 1.5 | GPT-4 | Claude 3 Opus |
|---|---|---|---|---|---|---|---|---|
| MMLU | 73% 5-shot | 81.3% 5-shot | 81.2% 5-shot | 75% 5-shot | 79% 5-shot | 83.7% 5-shot | 86.4% 5-shot | 86.8 5-shot |
| MATH | 23.9% 4-shot | 50.6% 4-shot | — | — | 40.5% 4-shot | 58.5% 4-shot | 52.9% 4-shot | 61% 4-shot |
| GSM8K | 62.9 8-shot | 90% 8-shot | 81% 5-shot | 88% 0-shot CoT | 92.3% 0-shot CoT | 91.7% 11-shot | 92% 5-shot | 95% 0-shot CoT |
| HumanEval | 63.2% 0-shot | 74.1% 0-shot | 45.1% 0-shot | 70% 0-shot | 73% 0-shot | 71.9% 0-shot | 67% 0-shot | 84.9% 0-shot |
Verständnis langer Kontexte
Eine neue Funktion in Grok-1.5 ist die Fähigkeit, lange Kontexte von bis zu 128.000 Token innerhalb seines Kontextfensters zu verarbeiten. Dadurch erhöht sich die Speicherkapazität von Grok um das bis zu 16-fache im Vergleich zur vorherigen Kontextlänge. Dies ermöglicht die Nutzung von Informationen aus wesentlich längeren Dokumenten.
In der Needle In A Haystack (NIAH) Evaluierung zeigte Grok-1.5 leistungsstarke Abruffähigkeiten für eingebetteten Text innerhalb von Kontexten mit einer Länge von bis zu 128.000 Token und erzielte perfekte Abrufergebnisse. Außerdem kann das Modell längere und komplexere Eingabeaufforderungen verarbeiten und behält dabei seine Fähigkeit zur Anweisungsbefolgung bei, während sich das Kontextfenster erweitert.
Infrastruktur von Grok-1.5
Grok-1.5 basiert auf einem maßgeschneiderten verteilten Trainingsframework, das auf JAX, Rust und Kubernetes aufbaut. Dieser Trainingsstack ermöglicht es dem Team, Ideen im großen Maßstab zu entwickeln und neue Architekturen mit minimalem Aufwand zu trainieren. Eine große Herausforderung beim Training von LLMs auf großen Compute-Clustern ist die Maximierung von Zuverlässigkeit und Betriebszeit des Trainingsjobs. Der speziell entwickelte Trainingsorganisator stellt sicher, dass problematische Knoten automatisch erkannt und aus dem Trainingsjob ausgeschlossen werden. Außerdem wurden Checkpointing, Datenladung und Neustart von Trainingsjobs optimiert, um Ausfallzeiten im Fehlerfall zu minimieren.
Fazit Grok-1.5 von xAI
Mit Grok-1.5 präsentiert xAI ein leistungsstarkes KI-Sprachmodell, das lange Kontexte verstehen und komplexe Schlussfolgerungen ziehen kann. Durch die Fähigkeit, Informationen aus umfangreichen Dokumenten zu nutzen und anspruchsvolle Programmier- und Mathematikaufgaben zu lösen, eröffnet Grok-1.5 neue Möglichkeiten für den Einsatz von KI in vielfältigen Anwendungsbereichen. Die robuste Infrastruktur ermöglicht zuverlässiges Training und Skalierung des Modells.
Quelle: xAI
#KünstlicheIntelligenz #AI #Sprachmodell #NLP #MachineLearning #DeepLearning #Grok #xAI