Sakana AIs Continuous Thought Machines (CTMs) stellen einen bemerkenswerten Paradigmenwechsel in der aktuellen Entwicklung der künstlichen Intelligenz (KI) dar. Durch die Wiedereinführung zeitlicher Dynamik – ein Kernmerkmal biologischer Kognition – in ihre Architektur fordern CTMs viele etablierte Deep-Learning-Modelle heraus, die Zeit zugunsten reiner Rechengeschwindigkeit weitgehend abstrahiert haben. Dieser Artikel bietet eine tiefgehende Analyse der CTMs, ihrer innovativen Prinzipien, Architektur, Leistungsfähigkeit und der potenziellen Auswirkungen auf die Zukunft der KI.

Die zentralen Innovationen der CTMs umfassen die temporale Verarbeitung auf Neuronenebene, bei der einzelne Neuronen über einzigartige Parameter zur Verarbeitung historischer Signaldaten verfügen, sowie die Nutzung von neuronaler Synchronisation als primäre interne Informationsrepräsentation. Dieser Ansatz ermöglicht es CTMs, einen internen „Denkprozess“ über eine entkoppelte zeitliche Dimension zu durchlaufen, um komplexe Aufgaben zu lösen.

Die Leistungsfähigkeit dieses Designs wurde bereits in Bereichen wie Labyrinthlösung, Bilderkennung, Sortieralgorithmen, Paritätsberechnung und verstärkendem Lernen demonstriert. Besonders hervorzuheben sind die verbesserte Interpretierbarkeit der CTMs, die eine schrittweise Nachverfolgung ihrer Denkprozesse erlaubt, sowie ihre Fähigkeit, den Rechenaufwand adaptiv an die Komplexität der Aufgabe anzupassen.

Sakana AI steht wie kaum ein anderes Unternehmen für Forschungsautomatisierung, erst im März schaffte Sakana AI ein Durchbruch mit dem AI Scientist-v2. Dieser veröffentlichte das erste Peer-Review-Publikation ohne menschliche Hilfe

Das musst Du wissen: Sakana AIs CTMs wissen:

Die Köpfe dahinter: Entwickelt vom innovativen KI-Forschungsunternehmen Sakana AI, das von erfahrenen KI-Pionieren (ehemals Google) gegründet wurde und für Aufsehen in der Fachwelt sorgt.

KI neu gedacht: CTMs von Sakana AI sind ein bahnbrechender Ansatz, der „Zeit“ und interne „Denkprozesse“ ins Zentrum künstlicher Intelligenz stellt – eine Abkehr von vielen bisherigen Modellen.

„Denken“ durch neuronale Synchronisation: Statt nur schneller Mustererkennung simulieren CTMs eine Art Denkprozess, indem sie neuronale Aktivität über die Zeit koordinieren, ähnlich biologischer Kognition.

Mehr Transparenz & Anpassung: Einzigartig ist die Möglichkeit, den CTMs beim „Denken“ zuzusehen (Interpretierbarkeit) und ihr Rechenaufwand passt sich der Aufgabenkomplexität an.

Natur als Vorbild: Dieser Ansatz ist stark von der Natur inspiriert und zielt auf effizientere und potenziell fähigere KI-Systeme ab, die weniger ressourcenintensiv sein könnten als aktuelle Großmodelle.

Sakana AIs Vision: Naturinspirierte KI als Zukunft der Technologie

Gegründet im Juli 2023 von den ehemaligen Google-Forschern David Ha und Llion Jones (einem Mitentwickler der einflussreichen Transformer-Architektur), zusammen mit Ren Ito und weiteren Koryphäen der KI-Forschung, verfolgt Sakana AI die Mission, „KI von Grund auf neu zu denken“. Das in Tokio ansässige Unternehmen entwickelt transformative KI-Systeme, die auf naturinspirierter Intelligenz basieren. Die Inspiration stammt dabei von kollektiver Intelligenz aus der Natur, wie Fischschwärmen – ein Symbol für den Wunsch, neue Wege zu beschreiten, anstatt lediglich bestehende Modelle immer weiter zu skalieren.

Diese Philosophie adressiert die Limitierungen aktueller KI-Systeme, wie deren immense Ressourcenintensität und architektonische Beschränkungen bei bestimmten kognitiven Aufgaben. Sakana AI vertritt die These, dass die Vereinfachung biologischer neuronaler Prozesse zugunsten der Recheneffizienz möglicherweise entscheidende Elemente für flexiblere und menschenähnlichere kognitive Fähigkeiten eliminiert hat. Durch die Wiedereinführung zeitlicher Dynamik zielen CTMs darauf ab, neue Fähigkeiten und Effizienzsteigerungen in der KI zu erschließen.

Das Unternehmen sicherte sich eine Startfinanzierung in Höhe von 30 Millionen US-Dollar von renommierten Investoren wie Lux Capital und Khosla Ventures. Berichten zufolge wird über eine zusätzliche Finanzierungsrunde von 125 Millionen US-Dollar verhandelt. Diese Mittel unterstützen die Forschung im Bereich der generativen KI mit einem klaren Fokus auf Effizienz statt reiner Größe.

Kernprinzipien und Architektur der Continuous Thought Machines (CTMs)

CTMs basieren auf der Erkenntnis, dass das präzise Timing und das Zusammenspiel von Neuronen im biologischen Gehirn fundamental für die Informationsverarbeitung sind. Die wichtigsten architektonischen Innovationen sind:

• Temporale Verarbeitung auf Neuronenebene (Neuron-Level Models, NLMs): Jedes Neuron in einer CTM ist eine komplexere Verarbeitungseinheit mit eigenen privaten Gewichtungsparametern (typischerweise ein kleines Multi-Layer Perceptron, MLP). Dies ermöglicht es einzelnen Neuronen, eine Historie eingehender Signale zu verarbeiten und ihr Verhalten basierend auf vergangenen Informationen anzupassen, was zu feingranularen zeitlichen Dynamiken führt.
• Neuronale Synchronisation als latente Repräsentation: CTMs nutzen die koordinierten Aktivitätsmuster von Neuronen über die Zeit – die neuronale Synchronisation – als primären Mechanismus zur Informationsübertragung. Der Fokus verschiebt sich von den Zuständen einzelner Neuronen hin zu dynamischen, relationalen Mustern, die aus dem kollektiven Verhalten der Neuronen entstehen.
• Entkoppelte interne „Denk“-Dimension: CTMs operieren entlang einer selbstgenerierten Zeitachse interner „Denkschritte“ oder „interner Ticks“. Diese interne Rekurrenz ist von jeglicher inhärenten Sequenzialität der Eingabedaten entkoppelt und ermöglicht eine iterative Verarbeitung und Verfeinerung des Verständnisses sowohl für statische als auch für sequentielle Eingaben.

Demonstrierte Fähigkeiten und Leistungsmerkmale von CTMs

Die Leistungsfähigkeit von CTMs wurde in verschiedenen anspruchsvollen Aufgabenbereichen evaluiert:

• Labyrinthlösung: CTMs erlernten menschenähnliche Strategien, wobei interne Aufmerksamkeitsmuster die Lösungswege visuell nachzeichneten. Sie generalisierten erfolgreich auf größere und komplexere Labyrinthe als im Training gesehen, ohne dabei auf Positions-Embeddings für ihren Aufmerksamkeitsmechanismus angewiesen zu sein.
• ImageNet Bildklassifikation: CTMs untersuchen verschiedene Bildbereiche iterativ über mehrere interne „Denkschritte“. Die Genauigkeit steigt tendenziell mit längerer Verarbeitungszeit, und die Aufmerksamkeitsmuster ähneln der menschlichen visuellen Aufmerksamkeit. Bei CIFAR-10 zeigten CTMs eine starke Kalibrierung.
• Weitere Benchmarks: CTMs zeigten gute Leistungen beim Sortieren, bei der Paritätsberechnung (übertrafen bei ausreichend internen Ticks LSTMs mit vergleichbarer Parameteranzahl) und bei Question-Answering-Aufgaben (QAMNIST), wo die Leistung ebenfalls mit mehr internen Ticks zunahm. Im Bereich des verstärkenden Lernens (CartPole, Acrobot, MiniGrid Four Rooms) erlernten CTMs effektive Strategien, die mit LSTM-Baselines vergleichbar waren, wiesen jedoch eine reichhaltigere interne Neuronenaktivität auf.

Besondere Merkmale der CTMs sind:

• Verbesserte Interpretierbarkeit: Der schrittweise „Denkprozess“ kann beobachtet werden und bietet Einblicke in die Entscheidungsfindung.
• Adaptiver Rechenaufwand: CTMs können ihre interne „Denkzeit“ an die Schwierigkeit der Aufgabe anpassen, was potenziell Energie spart.

Technischer Einblick: Mechanismen und Implementierung

Die neuronale Synchronisation wird durch die Verfolgung der Historie der Post-Aktivierungen der Neuronen berechnet. Die Synchronisationsmatrix (St​) ergibt sich aus dem inneren Punktprodukt der Post-Aktivierungshistoriematrix (Zt​) mit ihrer Transponierten: St​=Zt​⋅ZtT​. Diese Matrix quantifiziert die Synchronisation zwischen Neuronenpaaren. Für die praktische Anwendung wird diese Matrix oft heruntergesampelt. Sakana AI hat den Code und die technische Dokumentation auf GitHub öffentlich zugänglich gemacht, um die Zusammenarbeit zu fördern. Die Hauptautoren des Forschungspapiers „Continuous Thought Machines“ sind Luke Darlow, Ciaran Regan, Sebastian Risi, Jeffrey Seely und Llion Jones.

CTMs in der KI-Landschaft: Ein Vergleich

Im Vergleich zu konventionellen Architekturen:

• Feed-Forward ANNs (z.B. CNNs): Verarbeiten Informationen in einem einzigen Durchlauf. CTMs führen eine interne zeitliche Dimension für iteratives „Denken“ auch bei statischen Eingaben ein und verwenden NLMs anstelle statischer Aktivierungsfunktionen, wobei neuronale Synchronisation die Kernrepräsentation darstellt.
• RNNs/LSTMs: Für sequentielle Daten konzipiert, mit einer an die Eingabesequenz gebundenen Rekurrenz. Die interne Rekurrenz von CTMs ist entkoppelt und ermöglicht zeitliches „Denken“ auch über nicht-sequentielle Daten. CTMs zeigten reichhaltigere interne Dynamiken und übertrafen LSTMs bei bestimmten Aufgaben, wenn genügend interne Ticks zur Verfügung standen.

CTMs stehen auch in Beziehung zu anderen biologisch inspirierten Paradigmen wie Spiking Neural Networks (SNNs), aufgrund der gemeinsamen Betonung zeitlicher Dynamiken. CTMs streben jedoch eine Balance zwischen biologischem Realismus und rechnerischer Handhabbarkeit innerhalb aktueller Deep-Learning-Frameworks an.

Wissenschaftlicher und Community-Diskurs: Rezeption und Kritik

Die Einführung von CTMs hat zu gemischten Reaktionen geführt:

• Neuheitsgrad: Einige Kommentatoren weisen auf Ähnlichkeiten zur SNN-Forschung hin und stellen den Neuheitsgrad in Frage, wobei sie eine stärkere Würdigung früherer Arbeiten anmahnen. Andere sehen die Innovation in der spezifischen Implementierung der neuronalen Synchronisation innerhalb eines Deep-Learning-Frameworks.
• Terminologie: Der Begriff „Denken“ wurde als potenziell anthropomorphisierend kritisiert. Sakana AI stellt klar, dass damit ein analoger Prozess gemeint ist.
• Potenzial: Es gibt Enthusiasmus für das Potenzial der CTMs, KI und Neurowissenschaften zu verbinden, sowie für Merkmale wie Interpretierbarkeit und adaptiven Rechenaufwand.
• Rechenkosten: Die sequentielle Natur der internen Ticks und der Overhead durch NLMs führen zu längeren Trainingszeiten, was ein praktisches Anliegen darstellt.

Zukünftige Forschungshorizonte und potenzieller Einfluss von CTMs

Sakana AI plant, naturinspirierte Ansätze zu vertiefen, komplexe Umgebungen und Weltmodelle (z.B. für Video und Sprache ohne Positions-Encodings) zu erforschen und Synchronisationsrepräsentationen zu verfeinern. Breitere Implikationen umfassen:

• Brückenschlag zwischen KI und Neurowissenschaften: Dies könnte zu leistungsfähigeren, effizienteren und verständlicheren KI-Systemen führen.
• Qualitativ anderes KI-Verhalten: CTMs könnten Limitierungen aktueller KI bei flexibler und allgemeiner Intelligenz adressieren.
• Nachhaltige KI: Als Alternative zu energieintensiven Großmodellen.
• Kontinuierliches Lernen: Die zeitliche Natur der Architektur könnte neue Wege zur Minderung des katastrophalen Vergessens eröffnen.
• Verbessertes Vertrauen: Interpretierbarkeit könnte das Vertrauen in KI für kritische Anwendungen stärken.

Zusammenfassend stellen Continuous Thought Machines einen forschungsintensiven Versuch dar, neue Grenzen in der KI durch die Wiedereinführung von Zeit und Synchronisation, inspiriert von biologischer Berechnung, zu erschließen. Obwohl Herausforderungen bei den Rechenkosten und Neuheitsansprüchen bestehen, bieten CTMs eine vielversprechende Richtung jenseits aktueller Skalierungsparadigmen und könnten die künstliche Intelligenz maßgeblich prägen.

Quelle

1. Sakana AI. (2025). Continuous Thought Machines. arXiv:2505.05522.
2. Sakana AI. (2025). Einführung in Continuous Thought Machines.
3. Sakana AI. (2025). Continuous Thought Machines (Interaktive Webseite).
4. SakanaAI. (2025). continuous-thought-machines (GitHub Repository).
5. People Matters ANZ. (2025). Ist Sakana AI die Zukunft der KI? Warum jeder es mit OpenAI vergleicht.