Der Andromeda-Cluster ist ein hochleistungsfähiger Supercomputer, der speziell für Anwendungen der künstlichen Intelligenz (KI) und große Sprachmodelle entwickelt wurde. Betrieben von Cerebras Systems, besteht der Cluster aus 16 CS-2-Systemen, die zusammen über 13,5 Millionen AI-optimierte Rechenkerne enthalten. Diese leistungsstarke Architektur ermöglicht eine nahezu perfekte lineare Skalierung bei der Verarbeitung großer Sprachmodelle wie GPT-3, GPT-J und GPT-NeoX. Der Andromeda-Cluster befindet sich im Colovore-Rechenzentrum in Santa Clara, Kalifornien, und ist sowohl für kommerzielle als auch akademische Zwecke zugänglich. Er wurde entwickelt, um die Herausforderungen der Parallelprogrammierung und der Verteilten Rechenleistung zu umgehen, die oft bei herkömmlichen GPU-Clustern auftreten. Mit Technologien wie MemoryX und SwarmX können Modelle effizient auf die 16 CS-2-Systeme verteilt werden, was zu einer erheblichen Steigerung der Rechenleistung führt. Das musst Du wissen – Andromeda-Cluster Rechenleistung: Über 1 Exaflop für KI-Anwendungen und 120 Petaflops dichte Rechenleistung bei 16-Bit-Halbganzzahlen. Hardware: 16 Cerebras CS-2-Systeme mit je einem Wafer Scale Engine 2 (WSE-2) Prozessor. Kerne: 13,5 Millionen AI-optimierte Rechenkerne. Speicherbandbreite: 20 Petabyte/Sekunde. Skalierbarkeit: Nahezu perfekte lineare Skalierung für große Sprachmodelle. Standort: Colovore-Rechenzentrum, Santa Clara, Kalifornien. Nutzer: Kommerzielle und akademische Institutionen wie das Argonne National Laboratory und die University of Cambridge. Zielgruppe: Startups und Forschungseinrichtungen im Bereich KI. Hauptinvestoren: Nat Friedman und Daniel Gross. Zugang: Benutzer können per SSH auf den Cluster zugreifen oder Trainingsläufe in die Warteschlange stellen. Das ist das Andromeda-Cluster Der Andromeda-Cluster nutzt die Cerebras CS-2-Systeme, die mit dem weltweit größten Prozessor, dem Wafer Scale Engine 2 (WSE-2), ausgestattet sind. Jede dieser 7nm-Chips verfügt über 850.000 AI-spezifische Kerne, 40 GB integrierten SRAM und eine enorme Speicherbandbreite von 20 Petabytes pro Sekunde. Diese Spezifikationen machen die CS-2-Systeme besonders geeignet für die Verarbeitung und das Training großer AI-Modelle. Durch die Nutzung von MemoryX und SwarmX Technologien wird die Verteilung und Verwaltung von Modellen effizienter gestaltet. MemoryX ermöglicht es, Modelle mit bis zu 120 Billionen Parametern zu unterstützen, indem es die Gewichte der Modelle außerhalb des Chips speichert und diese bei Bedarf streamt. SwarmX sorgt für die Koordination zwischen den CS-2-Systemen und optimiert die Verteilung der Rechenlast. Das einzigartige Design des Andromeda-Clusters eliminiert die üblichen Probleme, die bei der Verwendung von traditionellen GPU-Clustern auftreten. Traditionelle Systeme leiden oft unter einer verminderten Leistung, wenn Modelle über mehrere GPUs verteilt werden müssen. Andromeda hingegen bietet eine nahtlose Skalierung und optimiert die Nutzung der Rechenressourcen durch sein spezifisches Hardware-Design und die unterstützenden Technologien. Zugang und Nutzung Der Zugang zum Andromeda-Cluster wird sowohl kommerziellen als auch akademischen Nutzern ermöglicht. Benutzer können sich per SSH einloggen oder Trainingsläufe in die Warteschlange stellen, um die gesamte Kapazität oder Teile des Clusters zu nutzen. Diese Flexibilität ist besonders für Startups und Forschungseinrichtungen von Vorteil, die keine hohen Kosten für die Datenübertragung tragen möchten und ihre Projekte schnell und effizient umsetzen müssen. Dank der umfassenden Unterstützung für Frameworks wie TensorFlow und PyTorch können Nutzer ihre bestehenden Modelle nahtlos auf Andromeda ausführen, ohne umfangreiche Anpassungen vornehmen zu müssen. Dies spart Zeit und Ressourcen und ermöglicht eine schnellere Iteration und Verbesserung von AI-Modellen. Investoren und Zielgruppe Nat Friedman und Daniel Gross Nat Friedman und Daniel Gross sind zwei prominente Persönlichkeiten in der Welt der Technologieinvestitionen, die gemeinsam eine beeindruckende Reihe von Investitionen und Projekten vorweisen können. Beide teilen eine Leidenschaft für Innovation und Fortschritt, insbesondere im Bereich der künstlichen Intelligenz (KI). Nat Friedman, geboren und aufgewachsen in Charlottesville, Virginia, ist seit 1991 online und betrachtet das Internet als seine wahre Heimat. Seine akademische Laufbahn führte ihn zum Massachusetts Institute of Technology (MIT), inspiriert von den autobiografischen Werken von Richard Feynman. Friedman gründete zwei Unternehmen und war von 2018 bis 2021 CEO von GitHub. Er lebt in Kalifornien und widmet sich aktuell unter anderem dem Studium der Herculaneum-Papyri. Friedman vertritt die Überzeugung, dass es das Recht und vielleicht die moralische Pflicht des Menschen ist, das Universum nach seinen Präferenzen zu gestalten. Technologie, als Wissen verstanden, ermöglicht dies. Er glaubt an die Wichtigkeit von Enthusiasmus und Geschwindigkeit bei der Arbeit, da diese Elemente den Fortschritt fördern. Ein zentrales Element seiner Philosophie ist die Ablehnung der effizienten Markthypothese, da die besten Dinge im Leben oft dort passieren, wo diese Hypothese nicht greift. Daniel Gross ist Mitbegründer von Safe Superintelligence Inc., einem Unternehmen, das an der Entwicklung sicherer Superintelligenz arbeitet. Zuvor gründete er Cue, eine Suchmaschine, die 2013 von Apple übernommen wurde, und leitete dort von 2013 bis 2017 AI- und Suchprojekte. Gross war auch Partner bei Y Combinator und startete dessen AI-Programm. Gemeinsam mit Friedman investiert er in eine Vielzahl von Startups. Die umfassende und strategische Herangehensweise von Nat Friedman und Daniel Gross bei ihren Investitionen in Startups zeigt ihre tiefe Verwurzelung und ihr Engagement im Bereich der künstlichen Intelligenz und Technologie. Durch ihre Unterstützung von innovativen Unternehmen und Projekten leisten sie einen erheblichen Beitrag zur Weiterentwicklung der Technologiebranche. Der Andromeda-Cluster ist dabei nur ein Beispiel für die weitreichenden Auswirkungen ihrer Arbeit. Für weiterführende Informationen zu den Investitionen und Projekten von Nat Friedman und Daniel Gross können die folgenden Quellen konsultiert werden: Cerebras Unveils Andromeda (Cerebras) Cerebras Reveals Andromeda (Tom’s Hardware) Cerebras Systems debuts AI supercomputer (SiliconANGLE) Computing on Andromeda (All About Circuits) Investitionsstrategie Friedman und Gross führen Finanzierungsrunden von der Seed-Phase bis hin zum Wachstum und investieren dabei zwischen 1 und 100 Millionen US-Dollar pro Projekt. Sie sponsern auch einen Accelerator für AI-Unternehmen in der Seed-Phase namens AI Grant und betreiben den Andromeda-Cluster, einen Supercomputer speziell für AI-Startups. Zu den bekanntesten Investitionen von Friedman und Gross gehören Unternehmen wie: Figma: Ein Design-Tool, das die Zusammenarbeit in Echtzeit ermöglicht. Stripe: Eine Plattform für Online-Zahlungen. Eleven Labs: Ein Unternehmen, das fortschrittliche Sprachmodelle entwickelt. Character.ai: Ein Startup, das personalisierte KI-Chatbots erstellt. Deel: Eine Plattform für internationale Gehaltsabrechnungen. Retool: Ein Unternehmen, das Tools zur schnellen Entwicklung interner Anwendungen bereitstellt. ggml.ai: Ein Unternehmen, das an generativen Modellen arbeitet. Weights and Biases: Ein Tool zur Verfolgung und Optimierung von maschinellen Lernprojekten. Keen Technologies: Ein weiteres Unternehmen im Bereich der künstlichen Intelligenz. Pika, Magic, Perplexity, Suno, The Bot Company, EvolutionaryScale und viele mehr. Ihre Investments zeichnen sich durch eine klare Fokussierung auf innovative Technologien und disruptive Geschäftsmodelle aus. Diese Startups profitieren nicht nur von den finanziellen Mitteln, sondern auch von der umfangreichen Erfahrung und dem Netzwerk der beiden Investoren. Das Team Das Team um Friedman und Gross umfasst mehrere Experten, die ihre jeweiligen Fachkenntnisse einbringen: Patrick Hsu: Ein führender Forscher und Entwickler im Bereich der KI. Hersh Desai: Ein erfahrener Technologe und Investor. Lenny Bogdonoff: Ein Spezialist für maschinelles Lernen und Datenanalyse. Dieses Team unterstützt die Investitionsstrategie und hilft dabei, die Startups zu betreuen und zu fördern, um deren Erfolg zu maximieren. Neben ihren Investitionen engagieren sich Friedman und Gross auch in anderen Bereichen. Sie geben Zuschüsse an Open-Source-AI-Projekte über AI Grant und arbeiten daran, die Herculaneum-Papyri zu lesen. Ein weiteres ambitioniertes Projekt ist der Bau der besten Stadt in Nordamerika, ein Unterfangen, das ihre Vision von Innovation und Fortschritt widerspiegelt. Andromeda-Cluster – Technische Details und Innovationen Der Wafer Scale Engine 2 (WSE-2) Prozessor ist das Herzstück jedes CS-2-Systems im Andromeda-Cluster. Mit einer Größe von 46.225 mm² und 2,6 Billionen Transistoren ist der WSE-2 der größte Prozessor der Welt. Er verfügt über 40 GB on-chip SRAM und eine integrierte Bandbreite von 20 Petabyte pro Sekunde, was ihn ideal für AI-Anwendungen macht, die hohe Speicheranforderungen und eine schnelle Datenverarbeitung erfordern. Die CS-2-Systeme im Andromeda-Cluster sind wassergekühlt und verfügen über 12x 100 GB Ethernet-Links, um eine schnelle und zuverlässige Datenübertragung zu gewährleisten. Die Nutzung der Wafer-Scale-Clustering-Technologie ermöglicht es, ganze neuronale Netzwerke innerhalb eines einzelnen Prozessors zu platzieren, was die Effizienz und Geschwindigkeit der Trainingsprozesse erheblich verbessert. Weight Streaming, unterstützt durch MemoryX und SwarmX, ist eine weitere Innovation, die Andromeda auszeichnet. Diese Technologien ermöglichen es, die Gewichte der Modelle außerhalb des Chips zu speichern und bei Bedarf zurück zu streamen. Dies reduziert die Latenz und erhöht die Effizienz bei der Verarbeitung großer Modelle. Fazit Andromeda-Cluster Der Andromeda-Cluster repräsentiert einen bedeutenden Fortschritt in der KI-Infrastruktur. Durch die Kombination von hochentwickelter Hardware und innovativen Technologien wie MemoryX und SwarmX bietet Andromeda eine Plattform, die die Herausforderungen traditioneller GPU-Cluster überwindet. Die nahezu perfekte lineare Skalierung und die hohe Rechenleistung machen ihn zu einem idealen Werkzeug für die Entwicklung und das Training großer Sprachmodelle. Mit der Unterstützung durch Investoren wie Nat Friedman und Daniel Gross wird der Cluster weiterhin eine zentrale Rolle in der Förderung von Innovationen im Bereich der künstlichen Intelligenz spielen. Die Flexibilität und Skalierbarkeit des Andromeda-Clusters bieten Forschern und Startups die Möglichkeit, ihre Projekte effizient und kostengünstig umzusetzen. Die Zusammenarbeit mit führenden akademischen und kommerziellen Institutionen zeigt das breite Anwendungsspektrum und das Potenzial dieses Supercomputers, die Grenzen der künstlichen Intelligenz weiter zu verschieben. Für mehr Informationen über den Andromeda-Cluster und seine technischen Spezifikationen besuchen Sie die Cerebras-Website Cerebras Tom’s Hardware SiliconANGLE All About Circuits. #KünstlicheIntelligenz, #Supercomputer, #CerebrasSystems, #AndromedaClust
Andromeda-Cluster – Supercomputer für Künstliche Intelligenz
