Chinas KI-Szene bekommt Zuwachs
Im Februar betonte Sogou-Gründer Wang Xiaochuan auf Weibo, dass “China sein eigenes OpenAI benötigt”. Nun scheint sein Traum Wirklichkeit zu werden, denn sein junges Start-up Baichuan Intelligence hat heute sein neues großes Sprachmodell Baichuan-13B vorgestellt.
Der Aufstieg von Baichuan Intelligence
Baichuan wird als einer der vielversprechendsten Entwickler von großen Sprachmodellen (LLM) in China gehandelt. Wangs Vergangenheit als Computerwissenschafts-Wunderkind der Tsinghua University und Gründer des Suchmaschinenanbieters Sogou, der später von Tencent übernommen wurde, verschafft dem Start-up einen starken Rückhalt.
Wang verließ Sogou Ende 2021. Als ChatGPT die Welt im Sturm eroberte, gründete er Baichuan im April und sicherte sich schnell 50 Millionen Dollar an Finanzierung von einer Gruppe von Business Angels.
Die Technologie hinter Baichuan-13B
Wie andere in China entwickelte LLMs basiert auch Baichuan, ein 13 Milliarden Parameter-Modell auf der Transformer-Architektur, auf chinesischen und englischen Daten. Das Modell ist Open Source und für kommerzielle Anwendungen optimiert, wie auf seiner GitHub-Seite zu sehen ist.
Baichuan-13B wurde mit 1,4 Billionen Tokens trainiert. Im Vergleich dazu nutzt Metas LLaMa in seinem 13 Milliarden Parameter-Modell 1 Billion Tokens. Wang äußerte in einem Interview, dass sein Start-up auf dem Weg sei, bis Ende des Jahres ein großes Modell zu veröffentlichen, das mit OpenAI’s GPT-3.5 vergleichbar ist.
Baichuan-13B auf Erfolgskurs
Trotz seiner kurzen Existenz hat Baichuan bereits eine bemerkenswerte Entwicklungsgeschwindigkeit erreicht. Ende April hatte das Team bereits 50 Mitarbeiter und im Juni wurde das erste LLM, das Vorlernmodell Baichuan-7B mit 7 Milliarden Parametern, vorgestellt.
Das grundlegende Modell Baichuan-13B ist nun kostenlos für Wissenschaftler und Entwickler zugänglich, die die offizielle Genehmigung für die kommerzielle Nutzung erhalten haben. Vor allem in Zeiten der US-KI-Chipsanktionen gegen China bietet das Modell Variationen, die auf handelsüblicher Hardware, einschließlich Nvidias 3090 Grafikkarten, laufen können.
KI-Trend in China
Weitere chinesische Unternehmen, die massiv in große Sprachmodelle investieren, sind der Suchmaschinengigant Baidu, Zhipu.ai, ein Spin-off der Tsinghua University unter der Leitung von Professor Tang Jie, sowie das Forschungsinstitut IDEA unter der Leitung von Harry Shum, Mitgründer von Microsoft Research Asia.
Große Sprachmodelle aus China gewinnen immer mehr an Bedeutung, da das Land sich darauf vorbereitet, einige der weltweit strengsten KI-Regulierungen umzusetzen. Laut Financial Times wird China voraussichtlich Regulierungen für generative KI mit besonderem Fokus auf Inhalte erarbeiten. Dies könnte strenger sein als die im April eingeführten Regeln. Unternehmen müssen möglicherweise eine Lizenz beantragen, bevor sie große Sprachmodelle einführen, was Chinas Bemühungen, mit den USA in der aufstrebenden Branche zu konkurrieren, verlangsamen könnte.
Quelle: Techcrunch