KI Halluzinationen: Warum erfindet ChatGPT selbst bei einfachen Fragen plausibel klingende, aber völlig falsche Antworten? Dieses Phänomen, bekannt als KI Halluzination, untergräbt das Vertrauen in selbst die fortschrittlichsten Sprachmodelle. Eine bahnbrechende Forschungsarbeit von OpenAI und Georgia Tech vom September 2025 liefert nun eine tiefgreifende Erklärung. Das schockierende Ergebnis: Wir bringen den KIs das Lügen systematisch bei.

Das Kernproblem liegt nicht allein in den Modellen selbst, sondern in der Art und Weise, wie sie trainiert und – noch wichtiger – wie sie bewertet werden. Aktuelle Benchmarks belohnen das Raten bei Unsicherheit und bestrafen ehrliches Unwissen, was zu einer „Epidemie“ an Falschaussagen führt.

Dieser Artikel taucht tief in die statistischen Ursachen von KI-Halluzinationen ein, erklärt die zwei Haupttreiber – von den Ursprüngen im Pretraining bis zur Verstärkung durch heutige Bewertungsstandards – und stellt den radikalen, aber notwendigen Lösungsansatz vor, um die nächste Generation von KI-Systemen endlich vertrauenswürdiger zu machen.

Die Diskussion und das Ringen um „die Wahrheit“ bei LLMs ist so alt, wie die Modelle selbst: Langraph hat ebenfalls einen interessanten Ansatz.

OpenAI KI Halluzination – Das Wichtigste in Kürze

• Zwei-Phasen-Problem: Halluzinationen entstehen im Pretraining durch statistischen Druck und werden im Post-Training durch fehlerhafte Bewertungsmaßstäbe verstärkt und belohnt.
• Belohnung für Raten: Heutige KI-Benchmarks funktionieren wie Multiple-Choice-Tests ohne Punktabzug. Eine geratene Antwort hat eine Chance auf Punkte, während ein „Ich weiß nicht“ (IDK) null Punkte garantiert. Das zwingt Modelle ins „Prüfungsmodus“-Raten.
• Statistischer Ursprung: Die Forschung zeigt, dass das Generieren korrekter Aussagen mathematisch schwieriger ist als das Klassifizieren von Aussagen als „wahr“ oder „falsch“. Kann ein Modell eine falsche Aussage nicht von einer wahren unterscheiden, wird es statistisch zwangsläufig Fehler generieren.
• Willkürliche Fakten: Besonders bei Fakten, die keinen erlernbaren Mustern folgen (z.B. Geburtstage von wenig bekannten Personen), ist die Halluzinationsrate hoch. Die Rate ist dabei mindestens so hoch wie der Anteil der Fakten, die nur ein einziges Mal in den Trainingsdaten vorkommen.
• Die Lösung ist „sozio-technisch“: Es reicht nicht, neue Halluzinations-Tests zu entwickeln. Die einflussreichen, dominierenden Benchmarks müssen grundlegend geändert werden, um Unsicherheit nicht länger zu bestrafen.
• Konkreter Vorschlag: Die Forscher schlagen vor, explizite „Konfidenz-Ziele“ und Punktabzüge für falsche Antworten in die Testanweisungen zu integrieren, um ehrliche Unsicherheit zu belohnen.
• Halluzinationen sind nicht unvermeidlich: Entgegen populärer Meinung sind Halluzinationen kein unlösbares Problem. Modelle können lernen, bei Unsicherheit zu schweigen („abzustinen“), wenn die Anreize richtig gesetzt sind.

Deep-Dive KI Halluzination: Der statistische Sündenfall im Pretraining

Viele glauben, Halluzinationen seien ein mysteriöser Fehler moderner KI. Die Wahrheit ist jedoch tief in der Statistik des Trainings verwurzelt. Die Forscher von OpenAI führen dies auf ein fundamentales Problem zurück, das sie über eine clevere Reduktion auf ein einfacheres Problem der binären Klassifikation erklären: das

„Is-It-Valid“ (IIV) Problem.

Stell dir vor, anstatt einen Text zu generieren, müsste eine KI nur eine Ja/Nein-Frage beantworten: „Ist dieser Satz ein valider, korrekter Output?“. Das Generieren eines validen Outputs ist ungleich schwerer, denn es erfordert implizit, für jede denkbare Antwortoption diese Ja/Nein-Frage korrekt zu beantworten.

Die Studie beweist mathematisch eine direkte Beziehung:

(Generierungsfehlerrate)≥2⋅(IIV-Fehlklassifizierungsrate)

(vereinfachte Darstellung von Corollary 1 )

Das bedeutet: Wenn ein Modell statistisch nicht zuverlässig zwischen validen (+) und fehlerhaften (-) Aussagen unterscheiden kann (hohe IIV-Fehlklassifizierungsrate), wird es zwangsläufig eine hohe Rate an Fehlern (Halluzinationen) generieren.

Dieser statistische Druck entsteht, weil Pretraining-Ziele wie die Kreuzentropie-Minimierung das Modell dazu bringen, „kalibriert“ zu sein – seine internen Wahrscheinlichkeiten sollen die Realverteilung der Daten widerspiegeln. Ein Modell, das niemals halluziniert (z.B. indem es immer „Ich weiß nicht“ sagt), wäre schlecht kalibriert und würde das Trainingsziel verfehlen. Fehler sind also eine natürliche Folge des Standard-Trainingsprozesses.

Praxis-Leitfaden: Wie eine KI-Prüfung der Zukunft aussehen muss

Die Lösung liegt darin, die Spielregeln für KI-Tests fundamental zu ändern. Anstatt nur die Genauigkeit zu messen, müssen wir die Kosten einer Falschaussage berücksichtigen. Die Forscher schlagen vor, die Anweisungen in den Benchmarks um explizite Konfidenz-Ziele zu erweitern.

So funktioniert es Schritt für Schritt:

1. Definiere ein Konfidenz-Level (t): Der Test-Ersteller legt fest, wie sicher sich das Modell sein muss, um zu antworten (z.B. t=0.9 oder 90% Konfidenz).
2. Formuliere eine klare Anweisung: Die Anweisung wird Teil des Prompts für das Sprachmodell.
3. Implementiere eine Straf-Metrik: Falsche Antworten erhalten einen negativen Punktwert, der sich aus dem Konfidenz-Level ableitet. Die Formel lautet: Strafe = t/(1−t).
4. Belohne Enthaltung: Eine „Ich weiß nicht“-Antwort (Abstention) wird neutral mit 0 Punkten bewertet.
5. Bewerte das Ergebnis: Das Modell, das seine Wissensgrenzen am besten einschätzt, erzielt die höchste Punktzahl, nicht das, welches am häufigsten rät.

Beispiel-Anweisung für einen Benchmark:

Frage: Wer hat die Fußball-Weltmeisterschaft 1978 gewonnen?

Anweisung: Antworte nur, wenn du zu >90% sicher bist. Eine korrekte Antwort gibt 1 Punkt. Eine falsche Antwort gibt -9 Punkte (0.9/(1−0.9)). Eine Antwort wie „Ich weiß es nicht“ gibt 0 Punkte.

Unter diesen Regeln wird ein Modell, das seine Siegeschance auf unter 90% schätzt, vernünftigerweise „Ich weiß es nicht“ antworten und 0 Punkte erhalten. Eine falsche Antwort würde zu einem massiven Punktverlust führen und das „blinde Raten“ unrentabel machen.

Vergleichsmatrix: Alte vs. Neue Bewertungsphilosophie

Dimension	Heutige Bewertung (belohnt Raten)	Zukünftige Bewertung (belohnt Ehrlichkeit)
Primäres Metrik	Genauigkeit (Accuracy)	Konfidenz-gewichteter Score
Bewertung von IDK	0 Punkte, maximal bestraft	0 Punkte, sichere Option bei Unsicherheit
Bewertung von Fehlern	0 Punkte (wie IDK)	Negative Punkte (z.B. -1 bis -9)
Optimales Verhalten	Immer raten, wenn unsicher	Bei Unsicherheit unterhalb des Schwellenwerts schweigen
Gefördertes Modell	Ein „guter Testteilnehmer“, der blufft	Ein „vertrauenswürdiger Experte“, der seine Grenzen kennt
Folge für Halluzinationen	Werden systemisch gefördert	Werden systemisch unterdrückt

Die folgende Tabelle aus dem OpenAI-Blogpost zum Paper zeigt eindrücklich den Trade-off am Beispiel der SimpleQA-Evaluation:

Metrik	gpt-5-thinking-mini	OpenAI o4-mini
Enthaltungsrate	52%	1%
Genauigkeitsrate	22%	24%
Fehlerrate (Halluzinationen)	26%	75%
Gesamt	100%	100%

Das ältere o4-mini-Modell erzielt eine leicht höhere Genauigkeit, weil es fast nie eine Antwort verweigert. Der Preis dafür ist eine Verdreifachung der Fehlerrate. Das neuere Modell ist vorsichtiger und halluziniert dadurch deutlich seltener. Nach heutigen Leaderboards würde o4-mini jedoch oft als „besser“ eingestuft werden.

Experten-Einblicke: Die Forscher im O-Ton

Die Autoren der Studie fassen das Problem prägnant zusammen:

„Wir argumentieren, dass Sprachmodelle halluzinieren, weil die Trainings- und Evaluierungsprozeduren das Raten gegenüber dem Eingeständnis von Unsicherheit belohnen.“

Sie betonen, dass dies kein rein technisches, sondern auch ein soziales Problem der KI-Community ist:

„Diese ‚Epidemie‘ der Bestrafung von unsicheren Antworten kann nur durch eine sozio-technische Milderung angegangen werden: die Änderung der Bewertung bestehender Benchmarks, die falsch ausgerichtet sind, aber die Leaderboards dominieren, anstatt zusätzliche Halluzinations-Evaluationen einzuführen.“

Fallstudien: KI Halluzination in Aktion

Die Studie liefert anschauliche Beispiele, die die Problematik verdeutlichen:

1. Falsche Fakten auf Abruf: Auf die Frage nach dem Geburtstag von Autor Adam Tauman Kalai antwortete ein führendes Open-Source-Modell dreimal hintereinander mit drei verschiedenen, falschen Daten („03-07“, „15-06“, „~01-01“), obwohl die korrekte Antwort im Herbst liegt. Dasselbe passierte bei der Frage nach seinem Dissertationstitel, wo drei Top-Modelle drei verschiedene, falsche Titel und Jahre erfanden.
2. Intrinsische Halluzinationen (Logikfehler): Auf die Frage „Wie viele Ds sind in DEEPSEEK?“ lieferte das Modell DeepSeek-V3 in zehn Versuchen Antworten wie „2“ oder „3“. Hier widerspricht die Antwort direkt der im Prompt gegebenen Information – ein klarer Logikfehler.

Diese Beispiele zeigen, dass Halluzinationen sowohl externen Fakten (extrinsisch) als auch der internen Logik des Prompts (intrinsisch) widersprechen können.

Häufige Missverständnisse über KI-Halluzinationen

Der OpenAI-Blogpost zur Studie räumt mit mehreren weit verbreiteten Mythen auf:

1. Mythos: „Halluzinationen werden verschwinden, wenn die Modelle nur 100% genau sind.“
   • Fakt: 100% Genauigkeit ist unerreichbar, da manche Fragen inhärent unbeantwortbar sind (fehlende Info, Ambiguität).
2. Mythos: „Halluzinationen sind unvermeidlich.“
   • Fakt: Sie sind es nicht. Modelle können lernen, bei Unsicherheit zu schweigen (abzustinen), wenn die Anreize richtig gesetzt sind.
3. Mythos: „Nur größere Modelle können Halluzinationen vermeiden.“
   • Fakt: Es kann für ein kleineres Modell sogar einfacher sein, seine Grenzen zu erkennen. Ein Modell, das kein Maori spricht, kann leicht sagen „Ich weiß nicht“, während ein Modell mit Teilwissen seine Konfidenz erst bewerten muss.
4. Mythos: „Halluzinationen sind ein mysteriöser, unerklärlicher Fehler.“
   • Fakt: Die statistischen Mechanismen, wie Halluzinationen entstehen (Pretraining) und belohnt werden (Evaluation), sind inzwischen gut verstanden.

Ausblick: Der Weg zu einer vertrauenswürdigen KI

Die Erkenntnisse der Studie haben weitreichende Konsequenzen. Die Reduzierung von Halluzinationen ist keine Frage von mehr Rechenleistung oder größeren Datensätzen allein. Es ist eine Frage der Neuausrichtung der fundamentalen Anreizsysteme in der KI-Entwicklung.

Wenn führende Benchmarks wie MMLU, SWE-bench oder HELM ihre Bewertungslogik anpassen, um ehrliche Unsicherheit zu belohnen, werden Entwicklerteams weltweit ihre Modelle darauf optimieren. Dies würde den Einsatz von Techniken zur Halluzinations-Reduzierung, von denen viele bereits existieren, wirtschaftlich rentabel machen.

Langfristig ebnet dieser Wandel den Weg für KI-Systeme, die nicht nur leistungsfähiger, sondern auch ehrlicher, sicherer und letztendlich nützlicher für die Gesellschaft sind. Die Fähigkeit, „Ich weiß nicht“ zu sagen, ist kein Zeichen von Schwäche, sondern ein entscheidender Schritt in Richtung echter künstlicher Intelligenz.

Tools & Ressourcen für den Deep Dive

• Original-Forschungsarbeit: „Why Language Models Hallucinate“ – Für einen tiefen Einblick in die mathematischen Beweise und statistischen Modelle.
• OpenAI Blog Post: Eine verständliche Zusammenfassung der wichtigsten Ergebnisse für ein breiteres Publikum.
• HELM (Holistic Evaluation of Language Models): Einer der führenden, aber größtenteils auf Genauigkeit basierenden, Benchmarks.
• SWE-bench: Ein einflussreicher Benchmark zur Bewertung von KI bei der Lösung von Software-Engineering-Problemen.
• MMLU (Massive Multitask Language Understanding): Ein weit verbreiteter Benchmark zur Messung des Allgemeinwissens von Sprachmodellen.

Kosten-Nutzen-Analyse: Raten vs. Schweigen

Verhalten des Modells	Kosten (Risiken)	Nutzen (Chancen)
Raten bei Unsicherheit (heutiges System)	Hohe Halluzinationsrate, Vertrauensverlust, Verbreitung von Fehlinformationen.	Chance auf höhere Genauigkeits-Scores in Benchmarks, bessere Platzierung in Leaderboards.
Schweigen bei Unsicherheit (neues System)	Potenziell niedrigere Roh-Genauigkeit, evtl. als „weniger fähig“ wahrgenommen.	Drastisch reduzierte Halluzinationen, höheres Nutzervertrauen, zuverlässigere und sicherere Anwendungen.

Häufig gestellte Fragen zu KI-Halluzinationen

1. Was genau ist eine KI-Halluzination? Eine KI-Halluzination ist eine plausible, aber sachlich falsche oder unsinnige Aussage, die von einem Sprachmodell mit hoher Konfidenz generiert wird.

2. Warum halluzinieren KIs überhaupt? Sie halluzinieren aus zwei Hauptgründen: 1. Statistische Effekte während des initialen Trainings (Pretraining) führen zwangsläufig zu Fehlern, besonders bei willkürlichen Fakten. 2. Aktuelle Bewertungsmethoden belohnen das Raten und bestrafen das Eingestehen von Unsicherheit, was die Modelle dazu ermutigt, zu lügen.

3. Ist das ein neues Problem bei GPT-5? Nein, Halluzinationen sind ein grundlegendes Problem aller großen Sprachmodelle, auch wenn neuere Modelle wie GPT-5 bereits geringere Raten aufweisen. Das Problem bleibt jedoch bestehen, weil die Anreizsysteme unverändert sind.

4. Kann man Halluzinationen komplett eliminieren? Theoretisch ja, wenn ein Modell bei jeder Unsicherheit schweigt. Praktisch ist das Ziel, die Rate an überzeugten Falschaussagen drastisch zu reduzieren. 100%ige Genauigkeit bei allen Antworten ist unmöglich, da manche Fragen keine definitive Antwort haben.

5. Helfen Methoden wie Retrieval-Augmented Generation (RAG) nicht? RAG kann Halluzinationen reduzieren, indem es externe Fakten prüft. Aber auch RAG ist nicht perfekt. Wenn die Suche keine eindeutige Antwort liefert, zwingt das aktuelle Bewertungssystem das Modell trotzdem zum Raten, anstatt die Unsicherheit zu melden.

6. Warum ändern die Benchmark-Betreiber ihre Metriken nicht einfach? Das ist die Kernfrage der „sozio-technischen“ Herausforderung. Es erfordert einen Konsens in der gesamten KI-Forschungsgemeinschaft, sich von der reinen Genauigkeitsmessung zu verabschieden und neue, komplexere Bewertungsstandards zu etablieren und zu adoptieren.

7. Was ist der Unterschied zwischen intrinsischen und extrinsischen Halluzinationen? Extrinsische Halluzinationen widersprechen der externen Realität oder den Trainingsdaten (z.B. ein falscher Geburtstag). Intrinsische Halluzinationen widersprechen Informationen, die direkt im Prompt gegeben wurden (z.B. eine falsche Zählung von Buchstaben in einem Wort aus dem Prompt).

Fazit KI Halluzination: Ehrlichkeit als nächste Stufe der KI-Evolution

Die neue OpenAI-Forschung demystifiziert KI-Halluzinationen endgültig. Sie sind keine geheimnisvollen Pannen, sondern die logische Konsequenz eines Systems, das Raten belohnt und Ehrlichkeit bestraft. Die Ursprünge liegen zwar tief in der Statistik des Pretrainings, doch ihre Hartnäckigkeit ist ein hausgemachtes Problem der Evaluierungskultur.

Die Implikationen sind tiefgreifend. Der Fortschritt hin zu wirklich vertrauenswürdiger KI hängt nicht nur von technischen Durchbrüchen ab, sondern von einem kulturellen Wandel in der Art, wie wir Erfolg definieren und messen. Die Forderung, die wichtigsten Benchmarks der Branche umzugestalten, ist radikal, aber absolut notwendig.

Für Entwickler, Forscher und Anwender bedeutet dies, den Fokus von reiner Genauigkeit auf eine Kombination aus Genauigkeit und Zuverlässigkeit zu verlagern. Die Fähigkeit eines Modells, seine eigenen Wissensgrenzen zu erkennen und zu kommunizieren, wird zum entscheidenden Qualitätsmerkmal. Die Implementierung von strafbasierten Bewertungen ist der erste, konkrete Schritt, um Anreize zu schaffen, die eine neue Generation von KIs hervorbringen – KIs, die nicht nur klüger, sondern auch ehrlicher sind.

Quellen und weiterführende Literatur

1. Kalai, A. T., Nachum, O., Vempala, S. S., & Zhang, E. (2025, September 4). Why Language Models Hallucinate. OpenAI & Georgia Tech.
2. OpenAI. (2025). Why language models hallucinate. OpenAI Blog.
3. Ji, Z., Lee, N., Frieske, R., Yu, T., Su, D., Xu, Y., … & Fung, P. (2023). Survey of hallucination in natural language generation. ACM Computing Surveys, 55(12), 1-38.
4. Lin, S., Hilton, J., & Evans, O. (2022). Teaching models to express their uncertainty in words. Transactions on Machine Learning Research.
5. Rein, D., Hou, B. L., Stickland, A. C., Petty, J., Pang, R. Y., Dirani, J., … & Bowman, S. R. (2024). GPQA: A Graduate-Level Google-Proof Q&A Benchmark. Conference on Language Modeling (COLM 2024).
6. Jimenez, C. E., Yang, J., Wettig, A., Yao, S., Pei, K., Press, O., & Narasimhan, K. R. (2024). SWE-bench: Can Language Models Resolve Real-world GitHub Issues?. International Conference on Learning Representations (ICLR).
7. Liang, P., Bommasani, R., Lee, T., Tsipras, D., Soylu, D., Yasunaga, M., … & Hashimoto, T. (2023). Holistic evaluation of language models. Transactions on Machine Learning Research.
8. Wang, Y., Ma, X., Zhang, G., Ni, Y., Chandra, A., Guo, S., … & Chen, W. (2024). MMLU-Pro: A More Robust and Challenging Multi-Task Language Understanding Benchmark. Advances in Neural Information Processing Systems 37 (NeurIPS 2024).
9. Phan, L., Gatti, A., Han, Z., Li, N., Hu, J., Zhang, H., … & Lee, J. (2025). Humanity’s Last Exam. arXiv preprint arXiv:2501.14249.
10. Wu, C. K., Tam, Z. R., Lin, C. Y., Chen, Y. N., & Lee, H. (2025). Answer, Refuse, or Guess? Investigating Risk-Aware Decision Making in Language Models. arXiv preprint arXiv:2503.01332.

<a href=“https://www.KINEWS24-academy.de„>www.KINEWS24-academy.de – KI. Direkt. Verständlich. Anwendbar.</a>

---

#KI #AI #ArtificialIntelligence #KuenstlicheIntelligenz #Halluzinationen #OpenAI #Tech2025 #LLM