Groq sichert sich 640 Millionen Dollar: KI-Startup plant globale Expansion und blitzschnelle Innovation

Mountain View, Kalifornien – Groq, ein führender Anbieter von schneller KI-Technologie, hat eine beeindruckende Serie-D-Finanzierungsrunde über 640 Millionen US-Dollar abgeschlossen und wird nun mit 2,8 Milliarden US-Dollar bewertet. Angeführt wurde die Runde von BlackRock Private Equity Partners, begleitet von Neuberger Berman, Type One Ventures sowie strategischen Investoren wie Cisco Investments, Global Brain’s KDDI Open Innovation Fund III und Samsung Catalyst Fund. Die vertikal integrierte Groq KI-Plattform erlebt eine steigende Nachfrage von Entwicklern, die außergewöhnliche Geschwindigkeit suchen.

„Der Markt für KI-Computing ist bedeutend und Groqs vertikal integrierte Lösung ist gut positioniert, um diese Gelegenheit zu nutzen. Wir freuen uns darauf, Groq zu unterstützen, während sie ihre Kapazität ausbauen und ihre Innovationen weiter vorantreiben,“ sagte Samir Menon, Managing Director bei BlackRock Private Equity Partners.

„Der Samsung Catalyst Fund freut sich, Groq zu unterstützen,“ fügte Marco Chisari, Leiter des Samsung Semiconductor Innovation Center und EVP bei Samsung Electronics, hinzu. „Groqs disruptive Compute-Architektur und ihr softwareorientierter Ansatz beeindrucken uns sehr. Groqs rekordverdächtige Geschwindigkeit und nahezu sofortige Generative AI-Inferenzleistung führen den Markt an.“

Das musst du wissen – Groq sichert sich 640 Millionen Dollar

Groq hat eine 640 Millionen US-Dollar schwere Serie-D-Finanzierungsrunde abgeschlossen.

Neue Investoren wie BlackRock und Samsung Catalyst Fund beteiligen sich.

Stuart Pann tritt als neuer Chief Operating Officer dem Unternehmen bei.

Yann LeCun, renommierter AI-Wissenschaftler bei Meta, wird technischer Berater.

Groq plant, über 108.000 LPUs bis Ende Q1 2025 zu deployen.

Groq wird die Mittel nutzen, um die Kapazität seiner tokens-as-a-service (TaaS)-Angebote zu skalieren und neue Modelle sowie Funktionen in GroqCloud™ zu integrieren. Über 360.000 Entwickler arbeiten bereits auf GroqCloud™, wobei sie KI-Anwendungen auf frei verfügbaren Modellen wie Llama 3.1 von Meta, Whisper Large V3 von OpenAI, Gemma von Google und Mixtral von Mistral erstellen.

Mark Zuckerberg, CEO und Gründer von Meta, betonte kürzlich in einem Schreiben, „Open Source AI Is the Path Forward“, die Bedeutung von Innovatoren wie Groq, die niedrige Latenz und kostengünstige Inferenzdienste für neue Modelle bieten.

Groq, mit Sitz in Kalifornien, wurde von Jonathan Ross gegründet, einem ehemaligen Google-Entwickler. Das Unternehmen sollte nicht mit dem LLM „Grok“ von Elon Musks xAI verwechselt werden. Groq hat eine neuartige Prozessorarchitektur entwickelt, die speziell für KI-Anwendungen konzipiert wurde.

Die Language Processing Unit (LPU) ist ein spezialisierter KI-Chip von Groq, der für die Verarbeitung von generativer KI auf Basis von Large Language Models (LLMs) optimiert ist. Die LPUs überwinden zwei Hauptengpässe von LLMs: Rechendichte und Speicherbandbreite. Sie bieten eine deutlich höhere Rechenkapazität für LLMs im Vergleich zu herkömmlichen GPUs und CPUs.

Groqs LPUs zeigen in Benchmark-Tests beeindruckende Leistungen. Sie übertreffen Rechenzentren von Microsoft Azure, Amazon Web Services und anderen Anbietern in Bezug auf Durchsatz (Token pro Sekunde) und Preis für Berechnungen. ChatGPT könnte auf Groq-Hardware 13-mal schneller laufen (247 Token/Sekunde vs. 18 Token/Sekunde auf Microsoft Azure). Die LPU von Groq bietet bis zu zehnmal höhere Leistung bei minimalem Stromverbrauch im Vergleich zu herkömmlichen Nvidia-Chips.

Groq AI eignet sich für verschiedene Anwendungsfälle wie Echtzeit-KI-Chatbots, High-Performance-Computing, Natural Language Processing, KI-gestütztes Hardware-Design sowie Regierungs- und Verteidigungsanwendungen.

Groq unterstützt standardmäßige Machine-Learning-Frameworks wie PyTorch, TensorFlow und ONNX für Inferenzen. Die Technologie ermöglicht es, Antworten in Echtzeit zu generieren, was für Echtzeitkommunikation und -interaktion wichtig ist.

Groq bietet ein skalierbares Rechensystem im 4U-Rackformat mit acht verbundenen GroqCard-Beschleunigern für großflächige Einsätze. Die Architektur nutzt ein vereinfachtes Chipdesign mit einer Verschiebung der Steuerung von der Hardware zum Compiler, was zu effizienterer Verarbeitung führt.

Groq bietet sowohl Cloud- als auch On-Premises-Lösungen an. Das Unternehmen legt Wert auf inländische Fertigung und Lieferkette. Groq AI stellt eine vielversprechende Entwicklung in der KI-Beschleunigungstechnologie dar, die das Potenzial hat, die Leistung und Effizienz von KI-Anwendungen erheblich zu verbessern.

Die wichtigsten Unterschiede zwischen den Language Processing Units (LPUs) von Groq und herkömmlichen GPUs sowie TPUs sind bemerkenswert und verdeutlichen, warum LPUs für bestimmte Anwendungen besonders geeignet sind.

Architektur

LPUs: Verwenden eine neuartige TISC-Architektur (Temporal Instruction Set Computer) mit einem einzigen Kern.

GPUs: Basieren auf einer parallelen Architektur mit vielen Rechenkernen.

TPUs: Speziell für Tensorberechnungen optimierte Architektur von Google.

Speicherzugriff

LPUs: Nutzen SRAM und haben eine etwa 20-mal schnellere Speicherbandbreite als GPUs.

GPUs: Verwenden oft HBM (High Bandwidth Memory) und benötigen schnelle Datenübertragungsprotokolle wie GPUDirect.

TPUs: Ähnlich wie GPUs, aber optimiert für Tensoroperationen.

Leistung und Effizienz

LPUs: Bieten laut Groq bis zu zehnmal höhere Leistung bei einem Zehntel des Stromverbrauchs im Vergleich zu GPUs.

GPUs: Vielseitig einsetzbar, aber weniger effizient bei spezifischen KI-Aufgaben.

TPUs: Effizienter als GPUs bei bestimmten maschinellen Lernaufgaben, insbesondere mit TensorFlow.

Spezialisierung

LPUs: Speziell für die Verarbeitung von Large Language Models (LLMs) und Natural Language Processing (NLP) optimiert.

GPUs: Ursprünglich für Grafikverarbeitung entwickelt, jetzt vielseitig in verschiedenen Bereichen eingesetzt.

TPUs: Auf maschinelles Lernen und Deep Learning spezialisiert, insbesondere für Google-Dienste.

Anwendungsbereiche

LPUs: Besonders effektiv für Inferenzaufgaben und Echtzeit-KI-Anwendungen.

GPUs: Breit einsetzbar, von Grafikrendering bis hin zu KI-Training und -Inferenz.

TPUs: Primär für das Training und die Inferenz von maschinellen Lernmodellen in Google-Umgebungen.

Softwareunterstützung

LPUs: Unterstützen gängige ML-Frameworks wie PyTorch, TensorFlow und ONNX.

GPUs: Breite Unterstützung für verschiedene Programmiersprachen und Frameworks.

TPUs: Optimiert für TensorFlow und andere Google-spezifische Technologien.

Zusammenfassend lässt sich sagen, dass LPUs von Groq eine hochspezialisierte Lösung für KI-Inferenzaufgaben, insbesondere im Bereich der Sprachverarbeitung, darstellen. Sie bieten potenziell höhere Effizienz und Geschwindigkeit für bestimmte Anwendungen im Vergleich zu GPUs und TPUs, sind aber weniger vielseitig einsetzbar.

Fazit: Groq sichert sich 640 Millionen Dollar

Groqs KI-Inferenztechnologie ist von Grund auf mit einem softwareorientierten Design entwickelt worden, um die einzigartigen Bedürfnisse von KI zu erfüllen. Diese Herangehensweise gibt Groq einen Vorteil, neue Modelle schnell und mit sofortiger Geschwindigkeit zu den Entwicklern zu bringen. Die Investition wird es Groq ermöglichen, die nächsten zwei Generationen der LPU zu beschleunigen. Mit dieser massiven Finanzspritze und der Unterstützung durch führende Investoren ist Groq bestens positioniert, die KI-Entwicklergemeinde weiter zu revolutionieren und die Anforderungen der Zukunft zu erfüllen.

#Groq #AI #ArtificialIntelligence #Finanzierung #Inferenz