- Aug – Stability AI hat heute sein erstes japanisches Language Model (LM) vorgestellt: das Japanese StableLM Alpha. Es ist das leistungsstärkste, öffentlich verfügbare LM, das speziell für japanischsprachige Nutzer entwickelt wurde.
Was ist das Stability.ai Japanese StableLM Alpha?
Das Japanese StableLM ist ein Allzweck-Language Model mit 7 Milliarden Parametern. In einem Benchmark-Vergleich hat es vier andere Japanese LMs in den Schatten gestellt und sich als Spitzenreiter etabliert.
Lizenz und Verwendung
Das Japanese StableLM Base Alpha 7B wird unter der kommerziellen Apache License 2.0 veröffentlicht. Sein Gegenstück, das Japanese StableLM Instruct Alpha 7B, ist hingegen für Forschungszwecke konzipiert und wird ausschließlich dafür zur Verfügung gestellt.
Ein Schritt in die richtige Richtung
Laut Meng Lee, dem Projektleiter des Japanese StableLM, ist das Modell ein großer Beitrag zum japanischen generativen AI-Ökosystem. Es ist nur der Anfang einer Reihe von Modellen, die speziell für die japanische Kultur, Sprache und Ästhetik entwickelt werden.
Was steckt hinter dem Stability.ai Japanese StableLM Base Alpha 7B?
Trainingsdaten
Dieses Modell wurde mit umfangreichen Daten hauptsächlich aus dem Internet trainiert. Dabei bestehen die Daten hauptsächlich aus Texten in Japanisch und Englisch, wobei 2% des Materials aus Quellcode besteht. Einige dieser Daten wurden von Stability AI Japan erstellt, während andere in Zusammenarbeit mit dem japanischen Team von EleutherAI und Mitgliedern der Stability AI Japan-Community entstanden.
Technologien und Training
Zur Schulung wurde eine Softwareerweiterung von EleutherAI’s GPT-NeoX verwendet. Dabei kamen auch neueste Technologien wie SwiGLU und xPos zum Einsatz. Insgesamt wurden 750 Milliarden Tokens in mehreren Epochen verarbeitet.
Das Besondere am Japanese StableLM Instruct Alpha 7B
Dieses Modell ist besonders darauf abgestimmt, Benutzeranweisungen zu folgen. Für das zusätzliche Training wurde Supervised Fine-tuning (SFT) verwendet, wobei mehrere offene Datenquellen zum Einsatz kamen.
Leistungsbewertung
Um die Leistung zu bewerten, wurde das Modell in Aufgaben wie Satzklassifizierung und Satzzusammenfassung getestet. Mit einem Score von 54,71 übertrifft das Japanese StableLM Instruct Alpha 7B andere japanische Modelle bei Weitem.
Nutzungsbedingungen
Interessierte können die Modelle auf dem Hugging Face Hub testen und weitere Trainings durchführen. Für weitere Details empfehlen wir einen Besuch auf den Hugging Face Hub Seiten.
Mehr über Stability AI
Stability AI ist ein globales Unternehmen für generative KI mit einem offenen Ansatz. Mit Hauptsitz in London und Entwicklern weltweit ermöglicht Stability AI bahnbrechende Forschung in verschiedenen Bereichen.
Fazit Stability.ai Japanese StableLM
Mit der Einführung des Japanese StableLM betritt Stability AI den internationalen Markt der Language Models und zeigt einmal mehr die Potenziale und Möglichkeiten von KI in der Sprachverarbeitung.
#JapaneseStableLM #StabilityAI #LanguageModel #KI #Japanisch #Forschung #Technologie #GPT-NeoX #EleutherAI #HuggingFaceHub
Quelle: Stable Duffusion Blog