Microsoft-unterstütztes KI-Startup schlägt Nvidia H100 in Schlüsseltests mit GPU-ähnlicher Karte mit 256 GB RAM
Corsair C8 behauptet neunmal so hohen Durchsatz wie die heutigen GPUs der Spitzenklasse
Generative KI schlägt Nvidia: D-Matrix’s einzigartige Compute-Plattform, bekannt als Corsair C8, kann einen riesigen Anspruch darauf erheben, Nvidias branchenführende H100 GPU verdrängt zu haben – zumindest laut einiger erstaunlicher Testergebnisse, die das Startup veröffentlicht hat.
Speziell für generative KI-Workloads entwickelt, unterscheidet sich der Corsair C8 von GPUs darin, dass er d-Matrix’s einzigartige Digital-in-Memory-Computer- (DIMC) Architektur verwendet.
Das Ergebnis? Eine neunfache Steigerung des Durchsatzes im Vergleich zur branchenführenden Nvidia H100 und eine 27-fache Steigerung im Vergleich zur A100.
Generative KI schlägt Nvidia – Corsair C8 Leistung
Das Startup ist eines der am heißesten verfolgten im Silicon Valley und sammelte 110 Millionen Dollar von Investoren in seiner jüngsten Finanzierungsrunde, darunter auch Geld von Microsoft. Dies geschah zusammen mit einer Investitionsrunde in Höhe von 44 Millionen Dollar von Geldgebern wie Microsoft, SK Hynix und anderen im April 2022.
Seine Flaggschiff-Corsair C8-Karte enthält 2048 DIMC-Kerne mit 130 Milliarden Transistoren und 256 GB LPDDR5 RAM. Sie kann eine Rechenleistung von 2.400 bis 9.600 TFLOPS vorweisen und verfügt über eine Chip-to-Chip-Bandbreite von 1 TB/s.
Diese einzigartigen Karten können bis zu 20 Mal höheren Durchsatz für generative Inferenz bei großen Sprachmodellen (LLMs) erzeugen, bis zu 20 Mal geringere Inferenzlatenz für LLMs und bis zu 30 Mal Kosteneinsparungen im Vergleich zu herkömmlichen GPUs.
Da die generative KI rapide expandiert, befindet sich die Branche in einem Wettlauf, um immer leistungsfähigere Hardware zu entwickeln, um künftige Generationen der Technologie zu unterstützen.
Die führenden Komponenten sind GPUs und insbesondere Nvidias A100 und neuere H100 Einheiten. Aber GPUs sind laut d-Matrix nicht für die LLM-Inferenz optimiert, und es werden zu viele GPUs benötigt, um KI-Workloads zu bewältigen, was zu einem übermäßigen Energieverbrauch führt.
Dies liegt daran, dass die Bandbreitenanforderungen beim Ausführen der KI-Inferenz dazu führen, dass GPUs viel Zeit untätig verbringen und auf Daten aus dem DRAM warten. Die Verlagerung von Daten aus dem DRAM bedeutet auch einen höheren Energieverbrauch sowie einen geringeren Durchsatz und eine höhere Latenz. Dies bedeutet, dass auch die Anforderungen an die Kühlung steigen.
Die Lösung, so behauptet dieses Unternehmen, ist seine spezialisierte DIMC-Architektur, die viele der Probleme bei GPUs abmildert. D-Matrix behauptet, seine Lösung könne die Kosten um das 10- bis 20-fache und in einigen Fällen sogar um das 60-fache senken.
Abgesehen von d-Matrix’s Technologie beginnen auch andere Player im Rennen, Nvidias H100 zu überholen. IBM stellte im August einen neuen Analog-KI-Chip vor, der das menschliche Gehirn nachahmt und bis zu 14 Mal effizienter arbeiten kann.
Zusammenfassung Generative KI schlägt Nvidia
- D-Matrix’s Corsair C8 soll Nvidias H100 in Schlüsseltests geschlagen haben, laut veröffentlichter Ergebnisse
- Der Corsair C8 basiert auf einer einzigartigen DIMC-Architektur, optimiert für generative KI
- Erzielt bis zu 9x höheren Durchsatz als H100 und 27x höher als A100
- Enthält 2048 DIMC-Kerne, 130 Mrd. Transistoren, 256 GB RAM
- Kann generative Inferenz deutlich beschleunigen und Kosten massiv senken
- Wettlauf der Branche, leistungsfähigere KI-Hardware zu entwickeln
- DIMC-Architektur soll viele Nachteile von GPUs überwinden
- Neben d-Matrix entwickeln weitere Firmen Alternativen zur Nvidia H100
Fazit: D-Matrix’s Corsair C8 basierend auf der DIMC-Architektur scheint enormes Potential zu haben, die Leistung und Effizienz von generativer KI signifikant zu steigern und dabei Kosten zu senken. Die veröffentlichten Testergebnisse sind beachtlich. Es bleibt abzuwarten, ob sich dies auch im breiten Einsatz bestätigt.
Quelle: TechRadar
Die 10 besten Alternativen zu ChatGPT
#KI #AI #generativeKI #KünstlicheIntelligenz #KI #CorsairC8 #NvidiaH100 #GPU #Dmatrix #Microsoft