Große Sprachmodelle (LLMs) wie ChatGPT haben in den letzten Jahren beeindruckende Fortschritte gemacht. Sie schreiben Texte, beantworten Fragen und können sogar Code generieren. Doch trotz aller Erfolge stoßen sie bei komplexen Denkaufgaben oft an Grenzen. Ein Grund dafür ist ihre bisher starre, Wort-für-Wort-basierte Denkweise. Forscherteams von mehreren US-Universitäten und Microsoft haben im Mai 2025 eine vielversprechende Methode namens Soft Thinking vorgestellt, die genau hier ansetzt. Sie soll KIs ermöglichen, ähnlich flexibel und intuitiv zu „denken“ wie wir Menschen – und das mit erstaunlichen Ergebnissen in Sachen Genauigkeit und Effizienz, ganz ohne zusätzliches Training der Modelle.
Stell Dir vor, Dein Gehirn würde bei jeder Überlegung jedes Wort einzeln abwägen und sich sofort für eines entscheiden müssen, bevor es weiterdenkt. Klingt mühsam, oder? Genau so arbeiten viele KIs bisher. Soft Thinking bricht mit diesem Prinzip und erlaubt den Modellen, in einem „kontinuierlichen Konzeptraum“ zu operieren. Das bedeutet, sie können mehrere Ideen und Bedeutungsnuancen gleichzeitig im Blick behalten und flexibler zu Lösungen gelangen.
Das Wichtigste in Kürze – Soft Thinking bei KI
- Menschenähnlicher: KI lernt, in abstrakten Konzepten statt nur in einzelnen, festgelegten Wörtern (Tokens) zu denken.
- Effizienter: Bei Tests wurden bis zu 22,4 % weniger Tokens (also Denk-Schritte) für korrekte Lösungen benötigt.
- Genauer: Die Genauigkeit bei komplexen Mathe- und Programmieraufgaben stieg um bis zu 2.48 Prozentpunkte.
- Trainingsfrei: Die Methode erfordert keine aufwendige Neuschulung der bestehenden Sprachmodelle.
- Breiteres Denken: Soft Thinking ermöglicht es der KI, mehrere mögliche Lösungswege implizit parallel zu untersuchen.
Das Problem: Warum herkömmliches KI-Denken an Grenzen stößt
Um zu verstehen, was Soft Thinking so besonders macht, müssen wir uns kurz ansehen, wie KIs bisher „denken“. Die meisten modernen Sprachmodelle, insbesondere wenn sie komplexe Aufgaben lösen sollen, nutzen Methoden wie das sogenannte Chain-of-Thought (CoT) Prompting. Dabei wird die KI angeleitet, ein Problem Schritt für Schritt zu durchdenken und diese Denk-Kette in Form von einzelnen Wörtern, sogenannten Tokens, auszugeben.
Jedes dieser Tokens ist ein fest definierter Punkt im semantischen Raum des Modells. Das ist wie eine riesige Landkarte, auf der jedes Wort seinen festen Platz hat. Wenn die KI einen Denk-Schritt macht, springt sie von einem Wort-Punkt zum nächsten.
Die Limitierungen dieser diskreten, token-basierten Methode sind:
- Eingeschränkte Ausdruckskraft: Die KI ist an ihr vordefiniertes Vokabular gebunden. Abstrakte Ideen, die zwischen den Zeilen liegen oder mehrere Bedeutungen kombinieren, sind schwer darstellbar.
- Einseitige Pfade: Bei jedem Schritt muss sich die KI für ein einziges nächstes Token entscheiden. Damit legt sie sich auf einen bestimmten Denkpfad fest. Ist dieser Pfad eine Sackgasse, kostet das Rechenzeit und führt oft zu Fehlern. Menschen hingegen können oft mehrere Lösungsansätze gleichzeitig im Kopf behalten und abwägen.
- Verlust von Nuancen: Die Welt ist nicht schwarz-weiß, und Sprache lebt von Feinheiten. Wenn eine KI gezwungen ist, sich immer für das eine, „richtigste“ Wort zu entscheiden, gehen Unsicherheiten und alternative Interpretationen verloren.
Diese Einschränkungen sind besonders in mehrdeutigen oder sehr komplexen Szenarien ein Hindernis, wo Flexibilität und das Abwägen verschiedener Möglichkeiten entscheidend sind.
Soft Thinking: Die Idee des fließenden Denkens für KIs
Hier kommt Soft Thinking ins Spiel. Die Forscher schlagen vor, den Denkprozess von LLMs vom starren Korsett einzelner Tokens zu befreien und ihn stattdessen in einem kontinuierlichen Konzeptraum stattfinden zu lassen. Stell Dir das nicht mehr wie eine Landkarte mit festen Orten vor, sondern eher wie eine Farbpalette, auf der Du Farbtöne stufenlos mischen kannst, um genau die Nuance zu treffen, die Du brauchst.
Herzstück von Soft Thinking sind die sogenannten „Konzept-Token“. Anstatt bei jedem Denk-Schritt ein einzelnes, diskretes Wort auszuwählen, generiert das Modell mit Soft Thinking eine Art gewichtete Mischung aus vielen möglichen Wörtern des Vokabulars. Jedes Wort im Vokabular hat eine bestimmte Wahrscheinlichkeit, das nächste passende Element im Denkprozess zu sein. Soft Thinking nutzt diese gesamte Wahrscheinlichkeitsverteilung.
Ein einfaches Bild dafür: Stell Dir vor, Du mixt einen Smoothie. Statt Dich für eine einzige Frucht (ein Token) zu entscheiden, nimmst Du ein bisschen Banane, ein paar Beeren und einen Hauch Spinat (verschiedene Tokens mit unterschiedlichen Wahrscheinlichkeiten/Anteilen). Das Ergebnis ist ein „Konzept-Smoothie“ (ein Konzept-Token), der die Eigenschaften aller Zutaten in sich vereint und etwas Neues, Reichhaltigeres darstellt als jede einzelne Zutat für sich.
Diese Konzept-Token sind also keine einzelnen Wörter mehr, sondern „weiche“, abstrakte Repräsentationen, die mehrere Bedeutungen und mögliche Denkrichtungen gleichzeitig beinhalten. Die KI kann mit diesen reichhaltigeren Konzepten operieren, sanfte Übergänge zwischen Ideen finden und so implizit verschiedene Denkpfade parallel erkunden.
Die Vorteile auf einen Blick: Was Soft Thinking konkret bringt
Die empirischen Auswertungen der Forscher auf diversen mathematischen und Programmier-Benchmarks zeigen, dass dieser neue Ansatz handfeste Vorteile liefert. Getestet wurde mit verschiedenen Open-Source-LLMs wie QwQ-32B und DeepSeek-Modellen.
| Vorteil | Beschreibung | Ergebnis-Beispiel (QwQ-32B auf Mathe-Benchmarks) |
|---|---|---|
| Höhere Genauigkeit | Die KI findet häufiger die korrekte Lösung, da sie flexibler denken und komplexere Zusammenhänge erfassen kann. | Durchschnittliche Pass@1-Genauigkeit um 2,48 Prozentpunkte verbessert. Auf dem AIME2024 Datensatz sogar um 6,45 Prozentpunkte. |
| Weniger Tokens | Da die Konzept-Token reichhaltiger sind, benötigt die KI oft weniger Schritte (Tokens) bis zur Lösung. | Token-Nutzung um 11,6 % reduziert. Bei DeepSeek-R1-Distill-Qwen-32B sogar um 22,4 %. |
| Kein Training nötig | Soft Thinking ist ein „training-freier“ Ansatz. Er kann auf bestehende Modelle angewendet werden, ohne sie neu trainieren zu müssen. | Sofort einsetzbar mit minimalem Ingenieursaufwand. |
| Bessere Lesbarkeit | Trotz der abstrakten internen Repräsentation bleiben die von der KI generierten Denk-Pfade interpretierbar. | Die logische Struktur bleibt erhalten und ist oft prägnanter. |
Diese Ergebnisse sind beachtlich, denn sie zeigen, dass Soft Thinking nicht nur die Leistung verbessert, sondern auch die Effizienz steigert – ein seltener Doppelgewinn in der KI-Entwicklung. Die KI wird also nicht nur klüger, sondern auch schneller und ressourcenschonender.
How-To: Wie funktioniert Soft Thinking konzeptionell? (Schritt-für-Schritt)
Versuchen wir, den Prozess einmal vereinfacht darzustellen, ohne zu technisch zu werden:
- Input-Analyse: Das Sprachmodell erhält eine Aufgabe oder Frage (den Input).
- Erster „Denk“-Schritt – Konzept-Token statt Wort: Anstatt nun das wahrscheinlichste einzelne Wort als nächsten Denk-Schritt auszuwählen (wie beim Standard-CoT), berechnet das LLM die Wahrscheinlichkeiten für alle Wörter in seinem Vokabular. Diese gesamte Wahrscheinlichkeitsverteilung ist das erste Konzept-Token. Es ist wie eine Momentaufnahme aller potenziellen nächsten Gedanken.
- Übersetzung in den kontinuierlichen Konzeptraum: Dieses Konzept-Token (die Wahrscheinlichkeitsverteilung) wird dann genutzt, um eine neue, „gemischte“ Wortbedeutung (Embedding) zu erzeugen. Stell Dir vor, jedes Wort hat eine bestimmte Bedeutungsposition im Raum. Das neue Embedding ist eine Art Durchschnitt dieser Positionen, gewichtet nach den Wahrscheinlichkeiten aus dem Konzept-Token. Sehr wahrscheinliche Wörter fließen stärker in diese Misch-Bedeutung ein.
- Nächster „Denk“-Schritt mit dem Konzept-Mix: Diese gemischte, reichhaltige Bedeutung (das „Soft Embedding“) wird nun als Input für den nächsten Denk-Schritt des LLMs verwendet.
- Wiederholung: Die Schritte 2 bis 4 werden wiederholt. Bei jedem Schritt erzeugt das Modell ein neues Konzept-Token basierend auf dem vorherigen „Konzept-Mix“, was ihm erlaubt, seine Gedanken flexibel zu entwickeln und anzupassen.
- Antwortgenerierung: Wenn der Soft-Thinking-Prozess abgeschlossen ist (siehe „Cold Stop“), schaltet das Modell in den normalen Modus und generiert die finale Antwort, meist wieder als Abfolge diskreter Tokens.
Der Kern ist also, dass die „Gedanken“ der KI während der Zwischenschritte nicht mehr starre Punkte, sondern flexible, gewichtete Mischungen von Bedeutungen sind.
Der „Cold Stop“: Intelligenter Abbruch für mehr Effizienz
Eine spannende Komponente von Soft Thinking ist der „Cold Stop“-Mechanismus. Da die KI während des Soft Thinkings mit Wahrscheinlichkeitsverteilungen statt mit festen Wörtern arbeitet, befindet sie sich in einem Zustand, für den sie ursprünglich nicht trainiert wurde (Out-of-Distribution). Das könnte theoretisch dazu führen, dass sie in Endlosschleifen gerät oder unsinnige, sehr lange Denkketten produziert.
Hier greift „Cold Stop“:
- Das System misst bei jedem Schritt die Entropie der erzeugten Wahrscheinlichkeitsverteilung (des Konzept-Tokens). Entropie ist hier ein Maß für die Unsicherheit oder „Überraschung“ in der Verteilung.
- Eine niedrige Entropie bedeutet, das Modell ist sich bei seiner Vorhersage sehr sicher (z.B. es gibt ein oder wenige Wörter, die mit sehr hoher Wahrscheinlichkeit die richtigen nächsten sind). Man könnte sagen, der Gedanke ist „kalt“ und klar.
- Wenn die Entropie für eine bestimmte Anzahl von aufeinanderfolgenden Schritten unter einem festgelegten Schwellenwert bleibt (das Modell also durchgehend sehr „sicher“ ist), beendet der Cold-Stop-Mechanismus die Soft-Thinking-Phase. Die KI hat dann einen Punkt erreicht, an dem sie „glaubt“, die Lösung gefunden zu haben oder zumindest einen sehr klaren nächsten Schritt zur Lösung sieht.
Dieser intelligente Abbruch verhindert unnötige Rechenschritte, spart Ressourcen und beugt dem sogenannten „Generation Collapse“ (z.B. ständige Wiederholungen) vor. Er sorgt dafür, dass die KI nicht endlos „grübelt“, wenn sie bereits eine hohe Konfidenz in ihrem Denkpfad hat.
Ein wichtiger Aspekt, den die Forscher betonen, ist die menschenähnliche Natur dieses Ansatzes. „Soft Thinking emuliert menschenähnliches ‚weiches‘ Denken, indem es weiche, abstrakte Konzept-Token in einem kontinuierlichen Konzeptraum erzeugt“, so die Autoren in ihrer Veröffentlichung arXiv:2505.15778v1. Dies ermöglicht es der KI, mehrere Bedeutungen und Pfade implizit zu erkunden und effektiver zur richtigen Antwort zu konvergieren.
Soft Thinking vs. Chain-of-Thought: Der entscheidende Unterschied
Um den Fortschritt klarer zu machen, hier ein direkter Vergleich:
| Merkmal | Standard Chain-of-Thought (CoT) | Soft Thinking |
|---|---|---|
| Denk-Einheit | Diskrete Tokens (einzelne Wörter/Wortteile) | Konzept-Token (Wahrscheinlichkeitsverteilung über das gesamte Vokabular) |
| Denk-Raum | Diskreter Raum (Sprung von Wort zu Wort) | Kontinuierlicher Konzeptraum (fließende Übergänge zwischen Bedeutungsmischungen) |
| Pfad-Erkundung | Sequentiell, ein Denkpfad wird fest gewählt und verfolgt. | Implizit parallel, mehrere mögliche Pfade werden in den Konzept-Token abgebildet. |
| Flexibilität | Geringer, frühe Festlegungen können schwer korrigiert werden. | Höher, „weiche“ Entscheidungen erlauben spätere Anpassungen. |
| Repräsentation | Jedes Token hat eine feste Bedeutung. | Jedes Konzept-Token kann eine Mischung vieler Bedeutungen repräsentieren. |
| Umgang mit Unsicherheit | Unsicherheit wird durch Auswahl eines Tokens aufgelöst (oft Verlust). | Unsicherheit bleibt in der Wahrscheinlichkeitsverteilung des Konzept-Tokens erhalten. |
| Zusätzliches Training | Nein (bei Zero-Shot CoT) | Nein |
Dieser Vergleich verdeutlicht, dass Soft Thinking einen fundamental anderen Ansatz verfolgt, indem es die rigide Struktur des Token-basierten Denkens aufweicht und durch einen flexibleren, informationsreicheren Prozess ersetzt.
Anwendungsfälle und Potenziale: Wo kann Soft Thinking glänzen?
Die bisherigen Tests konzentrierten sich auf mathematische Probleme und die Generierung von Programmcode – Bereiche, die logisches, mehrstufiges Denken erfordern. Die positiven Ergebnisse hier deuten darauf hin, dass Soft Thinking besonders vorteilhaft sein könnte für:
- Komplexe Problemlösung: Aufgaben, bei denen es nicht nur einen geradlinigen Lösungsweg gibt, sondern bei denen abgewogen und verschiedene Hypothesen parallel betrachtet werden müssen.
- Kreatives Schreiben und Ideenfindung: Die Fähigkeit, abstrakte Konzepte zu mischen, könnte zu originelleren und nuancierteren Texten führen.
- Wissenschaftliche Forschung: Beim Formulieren und Testen von Hypothesen, wo oft mit Unsicherheiten und komplexen Datensätzen umgegangen werden muss.
- Verbesserte Dialogsysteme: Chatbots könnten natürlichere und kontextsensitivere Unterhaltungen führen, da sie Bedeutungsnuancen besser erfassen.
- Effizientere KI-Systeme: Durch die Reduktion der benötigten Tokens könnten KI-Anwendungen schneller und kostengünstiger werden.
Generell hat Soft Thinking das Potenzial, die Messlatte für anspruchsvolle KI-Reasoning-Aufgaben höher zu legen.
Ein Blick in die Praxis: So testen Forscher Soft Thinking
Die Wissenschaftler haben Soft Thinking auf Herz und Nieren geprüft, indem sie es auf etablierten Benchmarks mit Standardmethoden verglichen. Zu den mathematischen Benchmarks gehörten:
- Math500
- AIME 2024
- GSM8K
- GPQA-Diamond
Für den Programmierbereich wurden folgende Benchmarks genutzt:
- HumanEval
- MBPP (Mostly Basic Programming Problems)
- LiveCodeBench
Als Basismodelle dienten verschiedene große Open-Source Sprachmodelle wie QwQ-32B, DeepSeek-R1-0528 und DeepSeek-R1-Distill-Llama-70B. Diese Auswahl verschiedener Architekturen und Größen hilft, die Allgemeingültigkeit des Ansatzes zu zeigen. Das Ergebnis war durchweg positiv: Soft Thinking zeigte konsistente Verbesserungen sowohl bei der Genauigkeit der Lösungen (Pass@1) als auch bei der Anzahl der dafür benötigten Tokens über alle getesteten Modelle und Aufgaben hinweg.
How-To: Soft Thinking konzeptionell in einem Projekt andenken (für technisch Interessierte)
Obwohl Soft Thinking als „training-frei“ beworben wird und der Code von den Forschern bereitgestellt wurde (siehe Quellen), hier ein paar konzeptionelle Überlegungen, wie man die Prinzipien für eigene Projekte oder zum besseren Verständnis andenken könnte:
- Verständnis der Wahrscheinlichkeitsausgabe: Mache Dich damit vertraut, wie Dein Sprachmodell am Ende jedes Generierungsschrittes eine Wahrscheinlichkeitsverteilung über das gesamte Vokabular für das nächste Token ausgibt. Normalerweise wird daraus einfach das wahrscheinlichste Token ausgewählt (Greedy Decoding) oder eines gemäß der Verteilung gesampelt.
- Arbeit mit Embeddings: Verstehe, dass jedes Token im Vokabular des Modells eine numerische Repräsentation hat (ein Embedding-Vektor). Soft Thinking nutzt diese Embeddings.
- Gewichtete Summierung der Embeddings: Die Kernidee ist, nicht das Embedding eines einzelnen Tokens zu nehmen, sondern eine gewichtete Summe der Embeddings vieler (oder aller) Tokens. Die Gewichte sind dabei die Wahrscheinlichkeiten aus Schritt 1. Das Ergebnis ist ein neues „Misch-Embedding“ – das Soft Embedding oder Konzept-Token-Embedding.
- Wiederholte Einspeisung: Dieses Misch-Embedding wird dann dem Modell als Input für den nächsten Schritt übergeben, anstelle des Embeddings eines einzelnen, ausgewählten Tokens.
- Implementierung des „Cold Stop“: Entwickle eine Logik, die die Entropie der Wahrscheinlichkeitsverteilung aus Schritt 1 überwacht. Fällt die Entropie über mehrere Schritte unter einen Schwellenwert, wird der „Denkprozess“ beendet und zur finalen Antwortgenerierung übergegangen.
- Vergleich und Evaluation: Teste diesen Ansatz im Vergleich zu Standard-Methoden wie CoT und messe Genauigkeit sowie Token-Effizienz.
Das GitHub-Repository zum Paper (https://github.com/eric-ai-lab/Soft-Thinking?tab=readme-ov-file) bietet die konkrete Implementierung und ist der beste Anlaufpunkt für Entwickler.
Häufig gestellte Fragen – Soft Thinking bei KI
Was ist Soft Thinking bei KI genau? Soft Thinking ist eine neue Methode, die großen Sprachmodellen (LLMs) erlaubt, flexibler und menschenähnlicher zu „denken“. Statt sich bei jedem Denk-Schritt auf ein einzelnes Wort festzulegen, arbeitet die KI mit „Konzept-Token“ – das sind Wahrscheinlichkeitsmischungen vieler Wörter. Dadurch kann sie in einem kontinuierlichen Konzeptraum operieren und mehrere Ideen gleichzeitig verfolgen.
Wie verbessert Soft Thinking die Leistung von LLMs? Tests haben gezeigt, dass Soft Thinking die Genauigkeit von LLMs bei komplexen Mathe- und Programmieraufgaben um bis zu 2,48 Prozentpunkte steigern kann. Gleichzeitig reduziert es die Anzahl der benötigten Denk-Schritte (Tokens) um bis zu 22,4 %. Die KI wird also präziser und effizienter.
Ist Soft Thinking schwer zu implementieren? Ein großer Vorteil von Soft Thinking ist, dass es „training-frei“ ist. Das bedeutet, es muss nicht in das aufwendige Training der Basis-Sprachmodelle eingegriffen werden. Es kann als eine Art verbesserte Inferenzstrategie auf bestehende Modelle aufgesetzt werden. Die Forscher haben den Code zudem öffentlich zugänglich gemacht.
Was sind „Konzept-Token“? Ein Konzept-Token ist im Kern die Wahrscheinlichkeitsverteilung, die ein LLM darüber ausgibt, welches Wort als nächstes in einem Denkprozess folgen könnte. Anstatt das wahrscheinlichste Wort auszuwählen, nutzt Soft Thinking diese gesamte Verteilung, um eine gewichtete Mischung der Bedeutungen (Embeddings) aller Wörter zu erzeugen. Dieses „Misch-Konzept“ ist reichhaltiger als ein einzelnes Wort.
Was ist der Hauptunterschied zwischen Soft Thinking und Chain-of-Thought (CoT)? Beim Standard-CoT wählt die KI bei jedem Schritt ein einzelnes, diskretes Wort (Token) und folgt so einem linearen Denkpfad. Soft Thinking hingegen verwendet „Konzept-Token“ (Wahrscheinlichkeitsmischungen), die es der KI ermöglichen, mehrere Denkpfade implizit und parallel zu erkunden. Es ist flexibler und weniger starr als CoT.
Schlussfolgerung: Ein vielversprechender Schritt zu klügeren KIs
Soft Thinking stellt einen faszinierenden und potenziell wegweisenden Ansatz dar, um die Denkfähigkeiten von großen Sprachmodellen auf eine neue Stufe zu heben. Indem es die starren Fesseln des diskreten, Token-basierten Denkens lockert und den Modellen erlaubt, in einem kontinuierlichen Raum abstrakter Konzepte zu operieren, ahmt es die Flexibilität und Parallelität menschlicher Kognition auf innovative Weise nach.
Die erzielten Verbesserungen in Genauigkeit und Effizienz – und das ohne die Notwendigkeit eines kostspieligen Neutrainings der Modelle – sind beeindruckend und unterstreichen das praktische Potenzial dieser Methode. Der „Cold Stop“-Mechanismus ist dabei ein cleverer Kniff, um die Stabilität und Effizienz weiter zu optimieren.
Natürlich steht die Forschung hier noch am Anfang. Zukünftige Arbeiten könnten untersuchen, wie sich Soft Thinking mit spezifischen Trainingsanpassungen noch robuster gestalten lässt, insbesondere im Umgang mit Eingaben, die stark von den Trainingsdaten der Basismodelle abweichen (Out-of-Distribution).
Dennoch: Soft Thinking hat das Zeug, eine wichtige Rolle in der Weiterentwicklung von KI-Systemen zu spielen, die nicht nur Informationen wiedergeben, sondern komplexe Probleme auf eine intelligentere, nuanciertere und letztlich menschenähnlichere Weise lösen können. Es ist ein weiterer spannender Schritt auf dem Weg zu KIs, die uns als echte Denkpartner zur Seite stehen können. Die Tatsache, dass der Code quelloffen ist, lädt die globale Forschungsgemeinschaft dazu ein, auf diesen Ideen aufzubauen und das „weiche Denken“ weiter zu verfeinern. Es bleibt spannend zu beobachten, wie sich diese Technologie auf zukünftige KI-Anwendungen auswirken wird.
www.KINEWS24-academy.de – KI. Direkt. Verständlich. Anwendbar.
Quellen
- Zhang, Z., He, X., Yan, W., Shen, A., Zhao, C., Wang, S., Shen, Y., & Wang, X. E. (2025). Soft Thinking: Unlocking the Reasoning Potential of LLMs in Continuous Concept Space. arXiv:2505.15778v1 [cs.CL]. Verfügbar unter: https://arxiv.org/html/2505.15778v1
- Code und weitere Materialien zum Paper: Eric AI Lab GitHub Repository. Verfügbar unter: https://github.com/eric-ai-lab/Soft-Thinking?tab=readme-ov-file
[Hashtags für Social Media]: #SoftThinking #KI #AI #KuenstlicheIntelligenz #LLM #Reasoning #TechNews #Innovation #SoftThinkingKI #KIRevolution
English 
German