Im Jahr 2024 haben sich im Bereich der Künstlichen Intelligenz (KI) zahlreiche bedeutende Entwicklungen und Trends vollzogen, die den technologischen Fortschritt und die wirtschaftliche sowie gesellschaftliche Landschaft maßgeblich beeinflussen. Der „State of AI Report 2024“ bietet einen umfassenden Überblick über die wichtigsten Änderungen und Innovationen, die in den letzten zwölf Monaten die KI-Forschung und -Anwendung geprägt haben.
Fortschritte in der KI-Forschung und Leistungssteigerungen
Ein zentrales Thema in 2024 ist die fortschreitende Leistungssteigerung von KI-Modellen. Insbesondere im Bereich der großen Sprachmodelle (LLMs) konnte ein bemerkenswerter Sprung gemacht werden. Während 2023 noch OpenAI’s GPT-4 als führend galt, haben Modelle wie Claude 3.5, Gemini 1.5 und Grok 2 den Abstand stark verringert. Diese Modelle zeigen vergleichbare Leistungen in den Bereichen Faktenabruf, mathematische Aufgaben und logische Problemlösungen.
Das neue Modell OpenAI o1 hat insbesondere durch seine verbesserte Fähigkeit, mehrstufige mathematische und wissenschaftliche Probleme zu lösen, Aufmerksamkeit erregt. Dies ist durch die Anwendung der „Chain-of-Thought“-Technik möglich, bei der das Modell seine Gedankengänge schrittweise durchgeht, was eine detailliertere Analyse ermöglicht.
Ein weiterer bedeutender Fortschritt im Jahr 2024 ist die Verkleinerung von Modellen ohne signifikante Leistungseinbußen. Forschungsteams von Meta und MIT haben gezeigt, dass es möglich ist, bis zu 50 % der Schichten eines großen Sprachmodells zu entfernen und dabei dennoch eine starke Leistung aufrechtzuerhalten. Dies hat potenziell weitreichende Auswirkungen auf die Effizienz und Kosten von KI-Anwendungen, insbesondere in ressourcenbeschränkten Umgebungen.
Die 20 wichtigsten Erkenntnisse aus dem „State of AI 2024“
- Leistungssteigerung durch Multimodalität
Multimodale Modelle wie Meta’s Llama 3.2 kombinieren Text, Bild und Robotersteuerung und setzen neue Maßstäbe in der Sprachverarbeitung und Problemlösung. - NVIDIA’s Dominanz
NVIDIA bleibt mit einem Marktwert von 3 Billionen US-Dollar das mächtigste Unternehmen der Welt und spielt eine zentrale Rolle in der KI-Infrastruktur. - Generative KI für wirtschaftlichen Erfolg
Unternehmen, die auf generative KI setzen, erreichen Milliardenumsätze. Ein Fokus liegt auf Bild-, Video- und Audiogenerierung, obwohl Fragen zur langfristigen Rentabilität bestehen. - Kostenreduktion bei Inferenzmodellen
Die Kosten für die Nutzung starker Modelle sind drastisch gefallen – um bis zu 100x – was deren breite kommerzielle Nutzung ermöglicht. - Modellverkleinerung ohne Leistungseinbußen
Neue Forschung zeigt, dass es möglich ist, bis zu 50 % der Schichten eines großen Modells zu entfernen, ohne die Leistung zu beeinträchtigen. Dies hat erhebliche Auswirkungen auf die Effizienz und Kosten von KI-Anwendungen. - China trotzt US-Sanktionen
Trotz US-Sanktionen steigen chinesische (V)LLMs weiter in den Community-Rankings auf und konkurrieren erfolgreich mit westlichen Modellen. - Politik zur Rechenleistung
Die steigenden Rechenanforderungen zwingen große Tech-Unternehmen, physische Grenzen und Emissionsziele zu berücksichtigen. Gleichzeitig hinken die staatlichen Bemühungen, eigene Kapazitäten aufzubauen, hinterher. - Synthetische Daten zur Modellverbesserung
Synthetische Daten spielen eine immer größere Rolle bei der Verbesserung von Modellen. Sie helfen dabei, die Abhängigkeit von realen Daten zu verringern und ethische Bedenken zu mindern. - AlphaFold 3 übertrifft Erwartungen
DeepMinds AlphaFold 3 geht über die Proteinstruktur hinaus und modelliert Interaktionen von DNA, RNA und Antikörpern, was den Fortschritt in der Medikamentenentwicklung revolutioniert. - Regulierungen schreiten voran
Während globale KI-Regulierungsbemühungen ins Stocken geraten, haben die USA und die EU umstrittene Gesetzgebungen verabschiedet, um KI auf nationaler Ebene zu steuern. - KI für die Wissenschaft
KI-Modelle wie Aurora revolutionieren wissenschaftliche Vorhersagen, insbesondere in der Biologie und der Klimaforschung, indem sie hochpräzise Simulationen ermöglichen. - KI-Jailbreaks weiterhin ungelöst
Trotz zahlreicher Bemühungen bleibt das Problem von Jailbreaks in KI-Modellen ungelöst, was weiterhin Sicherheitsbedenken aufwirft. - Sicherheitszentren weltweit
Regierungen, darunter das Vereinigte Königreich, bauen nationale Sicherheitskapazitäten auf, um KI-Risiken zu überwachen und kritische Infrastrukturen zu schützen. - Infrastrukturprobleme durch Rechenzentren
Das Wachstum von Rechenzentren stellt eine Herausforderung dar, da sie eine große Bandbreite und niedrige Latenzzeiten erfordern, was die Skalierung begrenzt. - Claude 3.5 und Gemini 1.5 holen auf
Modelle wie Claude 3.5 und Gemini 1.5 haben den Leistungsabstand zu GPT-4 nahezu eingeholt, besonders in den Bereichen Faktenabruf und Mathematik. - Mehrwert durch KI-Agenten
KI-gestützte Entwickler-Tools wie GitHub’s Copilot steigern ihre Popularität um 180 % jährlich und erreichen 2024 einen Jahresumsatz von 2 Milliarden US-Dollar. - Fortschritte bei der Proteindesign-KI
Mit dem Modell AlphaProteo von DeepMind wird es möglich, Protein-Binder mit bis zu 300-fach besserer Affinität zu designen, was neue Ansätze für Medikamente eröffnet. - Renaissance der rekurrenten neuronalen Netze
Rekurrente neuronale Netze, lange vernachlässigt, erleben eine Wiederbelebung. Google’s Griffin demonstriert konkurrenzfähige Leistungen bei nur 6-facher Reduktion der Trainingsdaten. - Generative KI in der Musik
Künstlich generierte Songs erreichten 2024 die Billboard-Charts und beweisen das Potenzial von KI in der Musikindustrie. - Zusammenschluss führender TechBio-Unternehmen
Recursion und Exscientia fusionieren zu einem führenden Unternehmen für KI-gestützte Medikamentenentwicklung, das in den nächsten 18 Monaten bis zu 10 klinische Studien starten könnte.
KI in der Industrie: Kommerzialisierung und wirtschaftliche Auswirkungen
In der Wirtschaft hat KI weiter an Bedeutung gewonnen, insbesondere im Bereich der generativen KI (GenAI). NVIDIA, das Unternehmen hinter den leistungsstarken GPUs, die für das Training und den Betrieb von KI-Modellen unerlässlich sind, hat im Jahr 2024 einen Marktwert von 3 Billionen US-Dollar erreicht und bleibt ein dominanter Akteur auf diesem Gebiet.
Generative KI-Unternehmen erzielen inzwischen Milliardenumsätze, wobei die Kommerzialisierung von KI-Modellen immer mehr in den Vordergrund tritt. In den Bereichen Bild- und Videogenerierung beginnen kleinere Start-ups ebenfalls an Marktanteilen zu gewinnen. Allerdings bleiben Fragen zur langfristigen Nachhaltigkeit und den Preismodellen bestehen.
Die wirtschaftliche Bedeutung von KI wird auch durch den wachsenden Wert von KI-Unternehmen verdeutlicht, der 2024 auf insgesamt 9 Billionen US-Dollar geschätzt wird. Investitionen in private KI-Unternehmen wachsen weiterhin, auch wenn öffentliche Märkte sich zunächst stabilisieren müssen.
Politische Entwicklungen und Sicherheitsbedenken
Auf politischer Ebene hat sich im Jahr 2024 ebenfalls einiges getan. Während globale Governance-Bemühungen zur Regulierung von KI noch weitgehend ins Stocken geraten sind, haben die USA und die Europäische Union bedeutende Schritte zur Verabschiedung neuer Gesetze unternommen. Ein zentraler Aspekt ist dabei die Kontrolle über die enormen Rechenkapazitäten, die für den Betrieb von KI-Systemen notwendig sind. Diese stellen nicht nur eine Herausforderung für die Skalierung von KI dar, sondern auch für die Erreichung von Klimazielen.
Ein weiteres Thema ist die Sicherheit von KI-Systemen. Während in den vergangenen Jahren vermehrt über die potenziellen Risiken und Gefahren durch KI diskutiert wurde, hat sich 2024 der Fokus verlagert. Unternehmen, die sich zuvor stark für eine vorsichtige Einführung von KI aussprachen, setzen nun zunehmend auf die Vermarktung ihrer Produkte und Dienstleistungen, was bei vielen Experten Besorgnis auslöst.
Sicherheit und ethische Herausforderungen
Die Sicherheitsdebatte rund um KI hat 2024 eine neue Dynamik erhalten. Trotz vieler Bemühungen, Modelle gegen sogenannte Jailbreak-Angriffe zu schützen – bei denen KI-Systeme dazu gebracht werden, ihre Sicherheitsvorkehrungen zu umgehen –, gibt es bisher keinen effektiven Schutz. Diese anhaltenden Sicherheitsprobleme führen zu wachsender Sorge in der Forschungsgemeinschaft, insbesondere im Hinblick auf langfristige Bedrohungen durch hochentwickelte KI-Systeme.
Dennoch wurden bedeutende Fortschritte bei der Analyse und Bewertung von KI-Risiken gemacht. Mehrere Regierungen, darunter Großbritannien, haben begonnen, nationale Sicherheitskapazitäten aufzubauen, um die potenziellen Gefahren durch KI für kritische Infrastrukturen zu analysieren.
Technologische Innovationen: Hybrid-Modelle und KI-Quantisierung
Eine der wichtigsten technologischen Neuerungen im Jahr 2024 ist der Einsatz von Hybrid-Modellen, die verschiedene KI-Architekturen miteinander kombinieren, um die Genauigkeit zu verbessern und gleichzeitig den Rechenaufwand zu reduzieren. Diese Modelle sind besonders in Anwendungen vielversprechend, die eine hohe Effizienz erfordern, wie zum Beispiel mobile Geräte.
Ebenfalls erwähnenswert sind Fortschritte bei der Quantisierung von KI-Modellen, bei der die Präzision der Modellparameter reduziert wird, um den Speicherbedarf und die Energieanforderungen zu verringern. Unternehmen wie Microsoft haben durch den Einsatz von BitNet, einem quantisierten Modell, beeindruckende Ergebnisse erzielt und zeigen, dass diese Technik eine vielversprechende Zukunft für KI auf mobilen Plattformen hat.
Fortschritte in Richtung AGI
2024 haben einige Forscher und Unternehmen bemerkenswerte Fortschritte in Richtung künstlicher allgemeiner Intelligenz (AGI) gemacht, die das Potenzial hat, die gesamte Bandbreite menschlicher kognitiver Fähigkeiten zu erreichen oder sogar zu übertreffen. Ein bemerkenswerter Schritt war die Einführung von OpenAI’s o1, das durch die Verbesserung von inference compute deutlich in der Lage ist, mehrstufige und komplexe Probleme besser zu bewältigen. Auch andere Forscher, darunter François Chollet, haben mit Benchmarks wie dem ARC-AGI (Abstraction and Reasoning Corpus) versucht, neue Standards für AGI zu setzen. Obwohl KI-Systeme in vielen Aufgabenbereichen stark sind, bleibt die Fähigkeit, außerhalb ihrer Trainingsdaten zu generalisieren, eine der größten Herausforderungen auf dem Weg zu AGI.
Die Rolle synthetischer Daten
Synthetische Daten haben im Jahr 2024 eine zentrale Rolle bei der Verbesserung von KI-Modellen gespielt. Unternehmen wie Hugging Face haben Milliarden von synthetischen Datensätzen erstellt, um Modelle wie Llama und Phi-1.5 zu trainieren, ohne auf reale Daten angewiesen zu sein. Diese Praxis hilft nicht nur, ethische Bedenken hinsichtlich der Verwendung echter Daten zu verringern, sondern auch die Skalierbarkeit von Modellen zu verbessern. Allerdings warnen Forscher davor, dass ein zu großer Anteil synthetischer Daten das Risiko einer sogenannten Modell-Kollaps erhöhen könnte, bei dem Modelle Fehler aus früheren Generationen fortschreiben.
Multimodale Modelle und Generative KI
2024 war auch das Jahr, in dem multimodale Modelle – KI-Modelle, die mehrere Eingangsmodalitäten wie Text, Bild und Ton verarbeiten können – einen Durchbruch erlebten. Meta veröffentlichte die Llama 3.1-Familie, die in der Lage ist, Aufgaben in den Bereichen Mathematik, Multilingualität und Langkontextverarbeitung zu bewältigen.
Besonders im Bereich der generativen KI gab es 2024 zahlreiche Fortschritte. Text-zu-Video-Generierung hat sich weiterentwickelt, wobei Modelle wie OpenAI’s Sora und Google DeepMind’s Veo beeindruckende Fähigkeiten bei der Erzeugung hochauflösender und kohärenter Videos zeigen. Auch die Generierung von Musik und 3D-Objekten wurde durch den Einsatz von KI stark verbessert.
KI in der Wissenschaft
2024 hat KI in wissenschaftlichen Bereichen, insbesondere in der Biologie und Materialwissenschaften, bahnbrechende Ergebnisse geliefert. Mit dem neuen Modell AlphaFold 3 können Forscher nicht nur Proteinstrukturen analysieren, sondern auch die Interaktionen zwischen DNA, RNA und kleinen Molekülen simulieren. Dies ermöglicht neue Ansätze in der Medikamentenentwicklung und dem Protein-Design. Zudem hat Microsoft mit dem Modell Aurora eine neue Ära der atmosphärischen Vorhersagen eingeläutet, das schneller und präziser als herkömmliche Methoden ist. Diese Entwicklungen unterstreichen, wie KI die Grenzen wissenschaftlicher Erkenntnisse erweitert.
Zahlen, Daten und Fakten
- NVIDIA erreichte 2024 eine Bewertung von 3 Billionen US-Dollar und ist damit das wertvollste KI-Unternehmen der Welt.
- Der globale Marktwert von KI-Unternehmen wird auf 9 Billionen US-Dollar geschätzt.
- Llama 3.1, das von Meta entwickelte multimodale Modell, wurde auf 16.000 GPUs trainiert und hat über 440 Millionen Downloads auf Hugging Face erreicht.
- OpenAI’s o1 erzielte auf dem AIME 2024-Wettbewerb für mathematische Aufgaben eine bemerkenswerte Punktzahl von 83,83.
Ausblick auf die kommenden Jahre
Mit Blick auf die Zukunft sind einige der vielversprechendsten Entwicklungen im Bereich der KI weiterhin offen. Besonders der Bereich der synthetischen Daten gewinnt zunehmend an Bedeutung, da sie zur Verbesserung von Modellen und zur Verringerung der Abhängigkeit von realen Daten genutzt werden. Doch trotz der vielen Fortschritte bleiben Herausforderungen in den Bereichen KI-Sicherheit, Regulierung und Nachhaltigkeit bestehen, die in den kommenden Jahren adressiert werden müssen.
Insgesamt zeigt der „State of AI Report 2024“, dass KI weiterhin in rasantem Tempo fortschreitet und in immer mehr Lebensbereichen eine Rolle spielt – von der Wissenschaft über die Industrie bis hin zur Politik.
Quelle: https://www.stateof.ai/
