Hugging Face hat eine bedeutende Erweiterung seiner Infrastruktur angekündigt: Ab sofort können Entwickler Google Cloud TPUs für ihre AI-Projekte auf Hugging Face Inference Endpoints und Spaces nutzen. Diese spezialisierten Hardware-Komponenten sind für ihre Leistungsfähigkeit und Kosteneffizienz bekannt und unterstützen nun auch die Hugging Face Plattform, um die Entwicklung und den Einsatz von KI-Anwendungen zu beschleunigen. Das musst du wissen – Google Cloud TPUs Verfügbarkeit: TPUs sind jetzt auf Hugging Face Inference Endpoints und Spaces verfügbar. TPU-Varianten: Es gibt drei Konfigurationen: v5litepod-1, v5litepod-4 und v5litepod-8. Kosten: Die Preise variieren von $1,375 bis $11,00 pro Stunde. Unterstützte Modelle: Zu den unterstützten Modellen gehören Gemma, Llama und bald auch Mistral. Optimum TPU: Eine neue Open-Source-Bibliothek erleichtert das Training und die Bereitstellung von Modellen auf TPUs. Hugging Face Inference Endpoints ermöglichen es Nutzern, generative KI-Modelle auf einer dedizierten, verwalteten Infrastruktur mit wenigen Klicks bereitzustellen. Die Einführung der Google TPU v5e bietet verschiedene Instanzkonfigurationen, die je nach Modellgröße und Leistungsanforderungen ausgewählt werden können. Diese Erweiterung verspricht niedrigere Latenzzeiten und höhere Effizienz bei der Verarbeitung großer Sprachmodelle. Technische Spezifikationen der Google Cloud TPUs bei Hugging Face Verfügbare TPU-Varianten: v5litepod-1: 4 vCPUs, 32 GB RAM, 1 TPU Chip v5litepod-4: 16 vCPUs, 128 GB RAM, 4 TPU Chips v5litepod-8: 32 vCPUs, 256 GB RAM, 8 TPU Chips Kosten: v5litepod-1: $1,375 pro Stunde v5litepod-4: $5,50 pro Stunde v5litepod-8: $11,00 pro Stunde Unterstützte Modelle: Gemma Llama Bald verfügbar: Mistral Neue Open-Source-Bibliothek: Optimum TPU: Unterstützt das Training und die Bereitstellung von Modellen auf TPUs Diese Erweiterung ermöglicht effizientere und kostengünstigere AI-Projekte auf Hugging Face. Mit der neuen Open-Source-Bibliothek Optimum TPU und der Integration in Text Generation Inference (TGI) können Entwickler ihre Modelle nun einfacher auf TPUs trainieren und bereitstellen. Diese Zusammenarbeit mit Google bietet Entwicklern leistungsstarke Werkzeuge, um innovative AI-Anwendungen zu erstellen. Die Integration von Google Cloud TPUs in Hugging Face Inference Endpoints und Spaces markiert einen wichtigen Schritt zur Unterstützung der AI-Community. Entwickler haben nun Zugang zu leistungsstarker Hardware, die ihnen hilft, ihre Projekte effizienter und kostengünstiger zu realisieren. #HuggingFace #GoogleCloudTPU #AI #MachineLearning #InferenceEndpoints Hugging Face Blog