Apple hat heute einen bedeutenden Schritt in Richtung Künstlicher Intelligenz gemacht. Der Tech-Gigant aus Cupertino veröffentlichte mehrere Open-Source-Sprachmodelle unter dem Namen OpenELM (Open-source Efficient Language Models). Die Besonderheit: Die KI-Modelle sind darauf ausgelegt, direkt auf Geräten zu laufen, anstatt auf Cloud-Server angewiesen zu sein. Verfügbar sind sie auf der Hugging Face Hub.
Das musst Du wissen:
- Apple veröffentlicht Open-Source-KI-Modelle namens OpenELM
- Modelle sind für den Einsatz direkt auf Geräten optimiert, nicht über Cloud-Server
- 8 OpenELM-Modelle, davon 4 vortrainiert mit CoreNet-Bibliothek und 4 anleitungsoptimiert
- Schichtweise Skalierungsstrategie verbessert Genauigkeit und Effizienz
- Kompletter Trainings- und Evaluierungsrahmen auf öffentlichen Datensätzen bereitgestellt
- Ziel: Fortschritt beschleunigen und vertrauenswürdigere Ergebnisse in natürlicher Sprachverarbeitung erzielen
Optimiert für Apples Silicon-Chips
Wie in einem Whitepaper erläutert, umfasst OpenELM insgesamt acht Modelle. Vier davon wurden mithilfe der CoreNet-Bibliothek vortrainiert, während die anderen vier speziell anleitungsoptimiert sind. Apple setzt dabei auf eine schichtweise Skalierungsstrategie, die darauf abzielt, Genauigkeit und Effizienz zu verbessern.
Apple hat kürzlich OpenELM veröffentlicht, ein Open-Source-Sprachmodell mit State-of-the-Art Performance. OpenELM verwendet eine schichtweise Skalierungsstrategie, um Parameter innerhalb jeder Schicht des Transformers effizient zuzuweisen, was zu einer verbesserten Genauigkeit führt. Mit ungefähr einer Milliarde Parameter zeigt OpenELM eine 2,36% höhere Genauigkeit im Vergleich zu OLMo und benötigt dabei nur die Hälfte der Pretraining-Token.
Kompletter Trainingsrahmen veröffentlicht
Bemerkenswert ist, dass Apple nicht nur die finalen trainierten Modelle bereitstellt, sondern auch den vollständigen Code, Trainingsprotokolle und mehrere Versionen. Die Forscher hinter dem Projekt hoffen, dass dies zu schnelleren Fortschritten und “vertrauenswürdigeren Ergebnissen” im Bereich der KI für natürliche Sprache führen wird.
Mit einem Parameterbudget von etwa einer Milliarde zeigt OpenELM eine Verbesserung der Genauigkeit um 2,36% gegenüber OLMo, obwohl es nur halb so viele Vortrainings-Token benötigt. Im Gegensatz zu früheren Praktiken, bei denen oft nur Modellgewichte und Inferenzcode auf privaten Datensätzen bereitgestellt wurden, umfasst Apples Veröffentlichung den kompletten Rahmen für Training und Evaluierung der Sprachmodelle auf öffentlich verfügbaren Datensätzen, inklusive Trainingsprotokolle, mehrerer Kontrollpunkte und Vortrainings-Konfigurationen.
Anders als frühere Veröffentlichungen, die nur Modellgewichte und Inferenz-Code bereitstellen und auf privaten Datensätzen vortrainiert sind, umfasst der OpenELM-Release das komplette Framework zum Trainieren und Evaluieren des Sprachmodells auf öffentlich verfügbaren Datensätzen. Dazu gehören Trainings-Logs, mehrere Checkpoints und Pretraining-Konfigurationen. Zusätzlich wird Code veröffentlicht, um die Modelle für Inferenz und Fine-Tuning auf Apple-Geräten in die MLX-Bibliothek zu konvertieren. Diese umfassende Veröffentlichung soll die Open-Research-Community stärken und den Weg für zukünftige offene Forschungsvorhaben ebnen.
Stärkung der Open-Source-Forschung
Laut Apple sollen die OpenELM-Modelle die “Open-Research-Community mit modernsten Sprachmodellen stärken und bereichern”. Das offene Teilen von Modellen gibt Forschern die Möglichkeit, Risiken sowie Daten- und Modellverzerrungen zu untersuchen. Entwickler und Unternehmen können die Modelle unverändert einsetzen oder Anpassungen vornehmen.
Der offene Informationsaustausch ist für Apple zu einem wichtigen Instrument geworden, um Top-Ingenieure, Wissenschaftler und Experten zu rekrutieren. Er bietet Möglichkeiten für Forschungsarbeiten, die unter Apples sonst eher verschlossener Politik nicht hätten veröffentlicht werden können.
Der Quellcode von OpenELM zusammen mit den vortrainierten Modellgewichten und Trainingsrezepten ist auf GitHub unter https://github.com/apple/corenet verfügbar. Zusätzlich sind die OpenELM-Modelle auf HuggingFace unter https://huggingface.co/apple/OpenELM zu finden.
Ausblick: On-Device-KI in iOS 18?
Bislang hat Apple diese Art von KI-Fähigkeiten noch nicht in seine Geräte integriert. Doch iOS 18 soll Berichten zufolge eine Reihe neuer KI-Features enthalten. Gerüchten zufolge plant Apple, seine großen Sprachmodelle aus Datenschutzgründen direkt auf den Geräten laufen zu lassen. Mit OpenELM hat der Konzern nun einen vielversprechenden Grundstein dafür gelegt.
Fazit Apple OpenELM
Mit der Veröffentlichung der OpenELM-Modelle setzt Apple ein starkes Zeichen für die KI-Forschung. Die Open-Source-Sprachmodelle, optimiert für den Einsatz direkt auf Geräten, versprechen Effizienz und Genauigkeit. Durch den vollständig offengelegten Trainingsrahmen fördert Apple Transparenz und Zusammenarbeit in der KI-Community. Gleichzeitig ebnet der Konzern den Weg für fortschrittliche On-Device-KI-Funktionen in künftigen iOS-Versionen. Die Zukunft der mobilen KI scheint spannend zu werden – und Apple ist ganz vorne mit dabei.
#KI #AI #Apple #OpenELM #OnDeviceAI #OpenSource