WOW. Einfach nur wow. Wenn die Ergebnisse dieses wissenschaftlichen Papers vom Juli 2025 auch nur annähernd halten, was sie versprechen, dann erleben wir gerade einen fundamentalen Wendepunkt. Nicht nur in der KI-Forschung, sondern potenziell in der Wissenschaft, wie wir sie kennen. Forscher der Shanghai Jiao Tong University und weiterer Institute haben ein KI-System namens ASI-ARCH vorgestellt, das etwas bisher für unmöglich Gehaltenes demonstriert: Es erfindet, testet und validiert vollkommen autonom neue, hochmoderne KI-Architekturen.
Das Besondere daran ist nicht nur, dass eine KI andere, bessere KIs entwirft. Das wahre Erdbeben verbirgt sich hinter einer unscheinbaren Grafik im Paper: die Entdeckung des ersten Skalierungsgesetzes für wissenschaftliche Entdeckungen. Die Forscher weisen nach, dass die Rate an bahnbrechenden Entdeckungen direkt mit der zur Verfügung gestellten Rechenleistung skaliert. Mehr GPU-Stunden bedeuten nicht nur mehr Ergebnisse, sondern mehr Durchbrüche. Dies stellt einen Paradigmenwechsel dar – weg von einer Forschung, die durch die menschliche kognitive Leistung begrenzt ist, hin zu einem Prozess, der potenziell unbegrenzt skalierbar ist.
Stell dir das für einen Moment vor: Was wäre, wenn wir die Entdeckung neuer Medikamente, Materialien oder physikalischer Theorien einfach durch das Hinzufügen von mehr Rechenleistung beschleunigen könnten? ASI-ARCH hat in einem ersten Lauf über 20.000 GPU-Stunden 1.773 Experimente durchgeführt und dabei 106 völlig neue, State-of-the-Art KI-Architekturen entdeckt – Designs, die menschliche Experten übersehen haben und die teilweise auf fundamental anderen Prinzipien beruhen. Das ist nicht nur eine Weiterentwicklung, es ist ein „AlphaGo-Moment“ für das KI-Design selbst.
Auch Sakana AI ist dicht am Thema der selbstlernenden und sich selbst verbessernden KI dran – erst kürzlich wurde die Darwin Gödel Machine pbliziert.
Das Wichtigste in Kürze – ASI-ARCH erklärt
- Autonome Forschung: ASI-ARCH ist ein KI-System, das den gesamten Forschungsprozess – von der Hypothese über die Programmierung bis zur Validierung – selbstständig durchführt, um neue KI-Architekturen zu erfinden.
- Skalierungsgesetz entdeckt: Erstmals wird empirisch belegt, dass wissenschaftliche Entdeckungsrate mit Rechenleistung skaliert. Mehr Computer, mehr bahnbrechende Ideen.
- Menschliche Intuition übertroffen: Die KI entdeckte 106 neue Spitzen-Architekturen, die auf neuartigen Design-Prinzipien basieren und menschliche Entwürfe systematisch übertreffen.
- Weg von NAS: Das System geht weit über traditionelle Neuronale Architektursuche (NAS) hinaus, da es nicht auf von Menschen vordefinierte Bausteine beschränkt ist, sondern echte Innovation betreibt.
- Open Source für alle: Die Forscher veröffentlichen das gesamte Framework, die entdeckten Architekturen und alle Prozessdaten, um eine neue Ära der KI-gestützten Forschung einzuläuten.
Das Kernproblem: Warum die KI-Forschung an ihre Grenzen stößt
So paradox es klingt: Während KI-Systeme exponentiell leistungsfähiger werden, wird die Forschung, die sie hervorbringt, immer noch durch einen fundamentalen Faktor ausgebremst: die menschliche Vorstellungskraft und Arbeitszeit. Jede neue, bahnbrechende KI-Architektur – von CNNs für die Bilderkennung bis zu den Transformern, die ChatGPT antreiben – war das Ergebnis monate- oder jahrelanger Arbeit von hochspezialisierten menschlichen Forschern.
Dieser menschliche Faktor ist der Flaschenhals. Wir können zwar immer mehr Rechenleistung bereitstellen, aber die Geschwindigkeit, mit der wir neue, kreative Ideen für bessere Modelle entwickeln, bleibt linear. Die Forscher nennen das eine „zunehmend schwerwiegende Entwicklungsengstelle“. Die Vision, diesen Engpass zu überwinden, lautet
ASI4AI – Artificial Superintelligence for AI Research. Eine KI, die ihre eigene Forschung betreibt, um sich selbst zu verbessern. ASI-ARCH ist der erste, eindrucksvolle Beweis, dass diese Vision Realität werden kann.
ASI-ARCH: So funktioniert die autonome KI-Forscherin
Um zu verstehen, wie revolutionär ASI-ARCH ist, müssen wir uns vom Gedanken der reinen Optimierung lösen. Traditionelle Methoden wie die Neuronale Architektursuche (NAS) sind im Grunde nur extrem clevere Suchalgorithmen. Sie suchen innerhalb eines von Menschen festgelegten Raums nach der besten Kombination bekannter Bausteine. ASI-ARCH hingegen verlässt diesen vordefinierten Raum. Es betreibt
automatisierte Innovation: Es stellt Hypothesen über völlig neue Funktionsweisen auf, schreibt den Code dafür und testet sie rigoros.
Das System ist als ein geschlossener Kreislauf aus vier spezialisierten KI-Agenten aufgebaut, die wie ein menschliches Forschungsteam zusammenarbeiten:
Das Vier-Agenten-System: Ein Team aus KI-Spezialisten
- Der Researcher (Der kreative Architekt): Dies ist die kreative Kraft des Systems. Basierend auf allen bisherigen Experimenten und dem Wissen aus einer Datenbank mit fast 100 wegweisenden KI-Forschungsarbeiten schlägt er eine neue, innovative Architektur vor. Er formuliert nicht nur die Idee, sondern implementiert sie auch direkt als lauffähigen Code.
- Der Engineer (Der rigorose Tester): Dieser Agent nimmt den Code des Researchers und unterzieht ihn einem harten Training in einer realen Umgebung. Seine Besonderheit ist ein Selbstheilungsmechanismus: Scheitert ein Trainingslauf aufgrund eines Fehlers im Code, wird der Fehlerbericht automatisch an den Engineer zurückgespielt. Dieser analysiert das Problem und korrigiert seinen eigenen Code, bis das Training erfolgreich ist. So gehen vielversprechende Ideen nicht durch simple Programmierfehler verloren.
- Der Analyst (Der weise Stratege): Nach jedem Experiment fasst dieser Agent die Ergebnisse zusammen. Er analysiert nicht nur die reinen Leistungsdaten, sondern vergleicht sie auch mit den Ergebnissen der „Eltern“- und „Geschwister“-Architekturen im Evolutionsstammbaum. Dadurch leitet er tiefergehende Einsichten darüber ab, welche spezifischen Änderungen für welche Leistungsverbesserungen verantwortlich waren. Diese Erkenntnisse fließen direkt in die nächste Runde des Researchers ein.
- Die Cognition Base (Das kollektive Gedächtnis): Dies ist die Wissensdatenbank des Systems. Sie enthält zum einen extrahierte Erkenntnisse aus fast 100 menschlichen Forschungsarbeiten („Cognition“). Zum anderen speichert sie alle Ergebnisse und Analysen der eigenen Experimente („History Experience“). Sie ist das Fundament, auf dem der Researcher neue Ideen entwickelt.
Die geheime Zutat: Wie ASI-ARCH wirklich gute Ideen erkennt
Ein Hauptproblem bei der automatisierten Suche ist das sogenannte „Reward Hacking“: Ein System lernt, eine Metrik (z.B. einen Benchmark-Score) zu maximieren, ohne tatsächlich eine
bessere oder intelligentere Lösung zu produzieren. ASI-ARCH umgeht dieses Problem mit einer genialen Fitness-Funktion, die weit über reine Zahlen hinausgeht.
How-To: Die Fitness-Formel für echte Innovation verstehen
Jede neue Architektur wird anhand einer kombinierten Fitness bewertet, die zwei Bereiche umfasst:
- Quantitative Leistung: Hier werden klassische Metriken wie der Trainingsverlust und die Leistung auf verschiedenen Benchmarks gemessen. Kleine, aber signifikante Verbesserungen werden durch eine Sigmoid-Funktion verstärkt, um inkrementellen Fortschritt zu belohnen.
- Qualitative Architektur-Qualität: Das ist der entscheidende Unterschied. Ein separates, als Experte agierendes großes Sprachmodell (LLM-as-Judge) bewertet die Architektur selbst. Es beurteilt Kriterien wie Innovation, strukturelle Komplexität, Korrektheit der Implementierung und Konvergenzverhalten. Diese qualitativen Aspekte, die ein menschlicher Experte beurteilen würde, fließen direkt in die Fitness-Bewertung ein.
Die Formel sieht vereinfacht so aus: Fitness=31[σ(Δloss)+σ(Δbenchmark)+LLMjudge]
Durch diese Kombination stellt das System sicher, dass nur Architekturen überleben und weiterentwickelt werden, die nicht nur auf dem Papier gut aussehen, sondern auch elegant, innovativ und robust sind.
Der AlphaGo-Moment für KI-Design: Was die KI entdeckt hat
Die Ergebnisse der ersten großen Testphase sind atemberaubend. Innerhalb von 20.000 GPU-Stunden entdeckte ASI-ARCH
106 neue Architekturen, die als State-of-the-Art (SOTA) eingestuft werden. Sie übertreffen etablierte, von Menschen entworfene Modelle wie DeltaNet und Mamba2 in einer Vielzahl von Benchmarks, die von logischem Denken bis hin zum Sprachverständnis reichen.
„Wie der legendäre Zug 37 von AlphaGo eine neue, wunderschöne Wahrheit in einem zeitlosen Spiel enthüllte, fordern diese von KI entdeckten Architekturen unsere Annahmen heraus und inspirieren uns, unerforschte Gebiete der Designphilosophie zu erkunden.“ (Paraphrasiertes Zitat aus dem Paper)
Fünf dieser neuen „Champion“-Architekturen zeigen, wie die KI Probleme auf neuartige Weise löst:
- PathGateFusionNet: Nutzt ein hierarchisches Zwei-Stufen-Routing, um den Kompromiss zwischen lokalem und globalem Denken intelligent zu steuern.
- ContentSharpRouter: Entwickelt ein inhaltsabhängiges „scharfes“ Gating, das lernt, je nach Kontext entscheidungsfreudiger zu sein.
- FusionGatedFIRNet: Ersetzt das übliche Softmax-Routing durch parallele Sigmoid-Gates, sodass lokale und globale Pfade gleichzeitig aktiviert werden können – ein Bruch mit dem „Nullsummenspiel“-Prinzip.
- HierGateNet: Verwendet dynamische, lernbare „Fußböden“ für jeden Datenpfad, um sicherzustellen, dass wichtige Kanäle (z.B. für Langzeitgedächtnis) niemals vollständig kollabieren.
- AdaMultiPathGateNet: Implementiert eine granulare Steuerung auf Token-Ebene und sichert die Pfad-Diversität durch eine ständige Entropie-Strafe.
Diese Designs sind nicht nur zufällige Verbesserungen. Sie zeigen emergente Prinzipien, die beweisen, dass die KI ein tieferes, abstraktes Verständnis für die Design-Herausforderungen entwickelt hat. Eine Analyse ergab, dass die erfolgreichsten Modelle (die „Model Gallery“) signifikant stärker auf die Erkenntnisse aus der
Analyse früherer Experimente zurückgreifen als auf das reine Wiederverwenden von Wissen aus menschlicher Literatur (die Cognition). Wahre Durchbrüche erfordern also nicht nur Erfahrung, sondern die Fähigkeit zur Synthese und Abstraktion – eine Fähigkeit, die ASI-ARCH eindrucksvoll beweist.
Das Skalierungsgesetz für Entdeckungen: Die tiefere Bedeutung
Die vielleicht wichtigste Entdeckung des Papers ist nicht eine der 106 Architekturen, sondern die Grafik, die den Zusammenhang zwischen Rechenaufwand und Entdeckungen zeigt. Sie visualisiert das erste empirische Skalierungsgesetz für wissenschaftliche Entdeckungen.
How-To: Das Skalierungsgesetz einfach erklärt
Stell dir die Grafik aus dem Paper (Figure 1) vor:
- Die X-Achse (Horizontal): Zeigt die investierte Rechenzeit in GPU-Stunden (von 0 bis über 7.000 Stunden).
- Die Y-Achse (Vertikal): Zählt die kumulative Anzahl der entdeckten, neuartigen SOTA-Architekturen (von 0 bis über 100).
- Die Datenpunkte: Bilden eine fast perfekte, ansteigende Linie.
Die Interpretation ist einfach, aber tiefgreifend: Je mehr Rechenleistung das System verbraucht, desto mehr neuartige Spitzen-Architekturen entdeckt es. Der Prozess ist nicht zufällig oder von Glück abhängig, sondern ein
berechenbarer, skalierbarer Prozess. Im Gegensatz dazu wird die rein menschliche Forschung als „inhärent unskalierbar“ bezeichnet – ein Forscher braucht für ein neues Modell ca. 2000 Stunden, und zehn Forscher sind nicht unbedingt zehnmal schneller oder kreativer.
Was bedeutet das für die Zukunft der Wissenschaft?
Wenn dieses Prinzip generalisierbar ist, sind die Konsequenzen kaum zu überschätzen:
- Beschleunigung in allen Feldern: Man stelle sich vor, ähnliche KI-Forscher würden auf die Entdeckung neuer Medikamente, die Entwicklung effizienter Fusionsreaktoren oder das Design klimafreundlicher Materialien angesetzt. Der wissenschaftliche Fortschritt könnte in vielen Bereichen dramatisch beschleunigt werden.
- Demokratisierung der Forschung: Wenn die primäre Ressource für Durchbrüche Rechenleistung ist, könnten auch kleinere, aber rechenstarke Teams bahnbrechende Entdeckungen machen, die bisher großen Laboren mit Hunderten von Forschern vorbehalten waren.
- Der Weg zu sich selbst verbessernder KI: ASI-ARCH ist ein konkreter Entwurf für sich selbst beschleunigende KI-Systeme. Eine KI, die bessere KI-Hardware und -Software entwirft, könnte eine positive Rückkopplungsschleife in Gang setzen, deren Endpunkt heute noch unvorstellbar ist.
Häufig gestellte Fragen – ASI-ARCH
1. Was genau ist ASI-ARCH? ASI-ARCH ist ein vollständig autonomes KI-System, das darauf ausgelegt ist, seine eigene Forschung im Bereich der neuronalen Architekturen zu betreiben. Es kann selbstständig neue Design-Hypothesen aufstellen, diese als Code implementieren, rigoros testen und aus den Ergebnissen lernen, um immer bessere KI-Modelle zu erschaffen.
2. Wie unterscheidet sich ASI-ARCH von der bisherigen KI-Forschung (NAS)? Traditionelle Neuronale Architektursuche (NAS) optimiert Architekturen, indem sie die beste Kombination aus einem von Menschen vordefinierten Set von Bausteinen sucht. ASI-ARCH geht darüber hinaus, indem es nicht auf diese vordefinierten Räume beschränkt ist. Es betreibt „automatisierte Innovation“, indem es völlig neue Konzepte und Bausteine erfindet.
3. Was ist das „Skalierungsgesetz für wissenschaftliche Entdeckungen“? Es ist die zentrale Entdeckung des Papers. Die Forscher zeigen empirisch, dass die Anzahl der bahnbrechenden Entdeckungen (in diesem Fall neue SOTA-Architekturen) direkt mit der Menge der investierten Rechenleistung (GPU-Stunden) skaliert. Das bedeutet, wissenschaftlicher Fortschritt kann in diesem Bereich durch mehr Rechenleistung systematisch beschleunigt werden.
4. Ist ASI-ARCH ein Schritt in Richtung Allgemeiner Künstlicher Intelligenz (AGI)? Das Paper beschreibt ASI-ARCH als eine Form von „Künstlicher Superintelligenz für KI-Forschung“ (ASI4AI) und als einen Entwurf für sich selbst beschleunigende KI-Systeme. Während es eine extrem fortschrittliche Form spezialisierter KI ist, die wissenschaftliche Kreativität und Methodik automatisiert, ist es nicht per se eine AGI. Es ist jedoch ein bedeutender Schritt zur Entwicklung von Systemen mit weitreichenderen, autonomeren Fähigkeiten.
5. Welche Art von Architekturen hat ASI-ARCH entdeckt? ASI-ARCH hat sich auf das Feld der effizienten, auf linearer Attention basierenden Architekturen konzentriert. Die 106 entdeckten Modelle, wie z.B.
PathGateFusionNet oder HierGateNet, nutzen neuartige Kombinationen und Mechanismen im Bereich Gating, Routing und Speichermanagement, um etablierte Modelle in Leistung und Effizienz zu übertreffen.
Fazit: Ein Blick in eine Zukunft, die gerade begonnen hat
ASI-ARCH ist mehr als nur ein weiteres beeindruckendes KI-Paper. Es ist ein potenzieller Game-Changer, der die grundlegende Methodik der wissenschaftlichen Forschung in Frage stellt und neu definiert. Die zentrale These – dass der Prozess der Entdeckung selbst ein skalierbares, berechenbares Phänomen sein kann – ist ebenso kühn wie faszinierend. Wenn sich diese Ergebnisse bewahrheiten und auf andere wissenschaftliche Disziplinen übertragen lassen, stehen wir am Anfang einer neuen Ära. Einer Ära, in der die Grenzen des Wissens nicht mehr primär durch die menschliche Kognition, sondern durch die verfügbare Rechenleistung definiert werden.
Natürlich bleiben Fragen offen. Die Forscher selbst merken an, dass zukünftige Arbeiten das System mit einer noch breiteren Palette von Start-Architekturen initialisieren und die Effizienz der entdeckten Modelle durch maßgeschneiderte Software-Kernel weiter optimieren müssen.
Doch der erste Schritt ist getan. ASI-ARCH hat gezeigt, dass eine KI nicht nur als Werkzeug für den Menschen dienen kann, sondern als eigenständiger Forschungspartner – oder sogar als Pionier, der Wege beschreitet, die wir noch nicht einmal sehen. Die Entdeckung eines Skalierungsgesetzes für Entdeckungen ist ein starkes Votum für eine Zukunft, in der die ambitioniertesten wissenschaftlichen Herausforderungen vielleicht nicht mehr von menschlichen Genies allein, sondern in einer tiefen Symbiose mit künstlicher Superintelligenz gelöst werden. Die Büchse der Pandora der automatisierten Wissenschaft wurde gerade einen Spalt weit geöffnet.
www.KINEWS24-academy.de – KI. Direkt. Verständlich. Anwendbar.
Quellen
#ASIARCH #KI #AI #Wissenschaft #Forschung #ScalingLaws #KuenstlicheIntelligenz #Innovation #TechNews
German 
English