Wenn es um den Einsatz großer Sprachmodelle (LLMs) geht, stoßen Nutzer immer wieder auf ein häufiges Problem: Halluzinationen. Diese entstehen, wenn ein Modell scheinbar plausible, aber faktisch falsche oder sinnlose Antworten generiert. In einer kürzlich veröffentlichten Analyse auf Towards Data Science beschreibt Youness Mansar einen agentenbasierten Ansatz, der die Zuverlässigkeit von LLM-Ausgaben erheblich verbessern kann.

Das musst Du wissen: Agentenbasierter Ansatz zur Reduktion von LLM-Halluzinationen

• Halluzinationstypen:
  • Intrinsische Halluzinationen: Widersprüche zwischen der Modellantwort und dem bereitgestellten Kontext.
  • Extrinsische Halluzinationen: Antworten, die im Kontext nicht überprüfbar sind.
  • Inkohärente Halluzinationen: Unlogische oder kontextfremde Antworten.
• Wichtige Techniken zur Reduktion von Halluzinationen:
  • Grounding: Bereitstellung relevanter Kontextdaten, um präzisere Antworten zu fördern.
  • Strukturierte Ausgaben: Verwendung von JSON- oder YAML-Format, um die Lesbarkeit und Validierung zu erleichtern.
  • Chain-of-Thought-Prompts: Aufforderung an das Modell, seine Gedankengänge zu erklären, bevor es eine endgültige Antwort gibt.
  • Agentenbasierter Workflow: Nutzung von drei Schritten (Antwortgenerierung, Reformulierung, Verifikation) zur Selbstüberprüfung.
• Empfohlene Tools und Methoden:
  • LangGraph zur Erstellung modularer Agenten-Workflows.
  • Stärkere Modelle für sensitive Anwendungen.

Hauptteil: Techniken zur Halluzinationsreduktion im Detail

1. Grounding: Präzision durch kontextrelevante Informationen

Grounding beschreibt das Hinzufügen domänenspezifischer Daten zum Input eines LLMs, wodurch das Modell präzisere Antworten generieren kann. Ein praktisches Beispiel hierfür ist Retrieval-Augmented Generation (RAG), bei dem Modelle gezielt mit Inhalten aus einer externen Datenquelle angereichert werden. Dies minimiert das Risiko, dass das Modell auf falsche Annahmen zurückgreift.

Beispiel:

• Frage ohne Grounding: „Was ist 3×5?“
• Frage mit Grounding (unter Hinzufügung eines Mathebuchs als Kontext): „Was ist 3×5 laut dieser Tabelle?“
  • Letzteres liefert in der Regel exaktere Antworten.

2. Strukturierte Ausgaben: JSON und Co. zur Validierung

Ein einfacher, aber effektiver Ansatz ist es, das Modell zu strukturierter Ausgabe (z. B. JSON oder YAML) zu zwingen. Dies verhindert ausschweifende Antworten und erleichtert die Analyse. Mansar demonstriert dies mit einer Python-Implementierung, die Pydantic-Schemas verwendet, um strukturierte Antworten zu erzwingen.

pythonCode kopierenclass Answer(BaseModel):
    answer: str = Field(..., description="Ihre Antwort.")

Die resultierende Antwort wird nicht nur übersichtlich, sondern auch besser überprüfbar.

3. Chain-of-Thought-Prompts: Gedankengänge offenlegen

Indem das Modell aufgefordert wird, seine Überlegungen in einer „Chain of Thought“ darzulegen, können Benutzer den Entscheidungsprozess nachvollziehen. Ein weiteres nützliches Detail ist, das Modell explizit anzuweisen, „N/A“ (nicht anwendbar) zu antworten, wenn es keine ausreichenden Informationen findet.

Beispiel:

• Frage: „Wann starb Davis Jefferson?“
• Antwort mit Chain-of-Thought:
  • Begründung: „Der Kontext spricht über Thomas Jefferson, nicht über Davis Jefferson. Es gibt keine Informationen zu Davis Jefferson.“
  • Antwort: „N/A“

4. Agentenbasierter Ansatz: Workflow mit Selbstüberprüfung

Ein innovativer Ansatz zur Halluzinationsreduktion ist die Nutzung eines Agenten-Workflows, der aus drei Schritten besteht:

1. Antwortgenerierung: Das Modell erzeugt eine erste Antwort basierend auf dem Kontext.
2. Reformulierung: Die Antwort wird in eine deklarative Aussage umgewandelt, um die Überprüfung zu erleichtern.
3. Verifikation: Das Modell überprüft, ob die reformulierte Aussage mit dem bereitgestellten Kontext übereinstimmt.

Mansar zeigt, wie dies mit LangGraph implementiert werden kann. Jede Stufe des Workflows verwendet spezifische Schemata und Prompts, um die Ergebnisse weiter abzusichern.

Beispiel-Workflow:

• Kontext: „Thomas Jefferson starb 1826.“
• Frage: „Wann starb Davis Jefferson?“
  • Schritt 1 (Antwort): „1826“
  • Schritt 2 (Reformulierung): „Davis Jefferson starb 1826.“
  • Schritt 3 (Verifikation): „Die Aussage ist falsch, da Davis Jefferson im Kontext nicht erwähnt wird.“

Das Ergebnis ist eine sicherere Antwortkette, bei der Halluzinationen ausgeschlossen werden können.

5. Stärkere Modelle einsetzen

Obwohl budgetäre und latenzbedingte Einschränkungen oft den Einsatz leistungsfähigerer LLMs verhindern, bleibt dies eine Option für kritische Anwendungsfälle. Studien zeigen, dass fortschrittlichere Modelle weniger anfällig für Halluzinationen sind. Ein Beispiel ist die Hallucination-Leaderboard-Benchmark (https://github.com/vectara/hallucination-leaderboard), die verschiedene Modelle hinsichtlich ihrer Zuverlässigkeit bewertet.

Fazit: Agentenbasierter Ansatz zur Reduktion von LLM-Halluzinationen

Der Einsatz eines agentenbasierten Workflows mit LangGraph und weiteren Techniken wie Grounding, strukturierten Ausgaben und Chain-of-Thought-Prompts bietet eine vielversprechende Möglichkeit, die Halluzinationsrate von LLMs zu reduzieren. Dennoch bleibt die Evaluierung der spezifischen Workflows entscheidend, da kein Ansatz eine 100-prozentige Sicherheit bietet.

Die Zukunft der KI-gestützten Anwendungen hängt maßgeblich von der Verlässlichkeit der verwendeten Modelle ab. Mit den hier vorgestellten Techniken können Entwickler erste Schritte unternehmen, um die Qualität und Präzision ihrer LLM-Ausgaben nachhaltig zu verbessern.

Quelle: An Agentic Approach to Reducing LLM Hallucinations