Die Fähigkeit, zwischen Korrelation und Kausalität zu unterscheiden, ist für wissenschaftliches Arbeiten und fundierte Entscheidungen essenziell. In ihrem neuen Paper schlagen Eleni Sgouritsa und ihr Team eine innovative Methode vor, wie Large Language Models (LLMs) durch spezifisches „Prompting“ befähigt werden können, Kausalzusammenhänge aus Korrelationen abzuleiten. Das entwickelte Verfahren namens PC-SubQ nutzt Schritte des etablierten Peter-Clark-Algorithmus (PC) und zeigt in Tests deutliche Leistungsverbesserungen bei der Kausalitätsanalyse.

Warum Kausalität wichtig ist

Das Erkennen von Kausalzusammenhängen ist ein Kernbestandteil menschlicher Intelligenz. Die Herausforderung für LLMs besteht darin, diese Zusammenhänge formal abzuleiten, da sie oft nur Daten mit Korrelationen oder Co-Occurrences als Grundlage haben. Der Ansatz von Sgouritsa adressiert diese Problematik, indem er die Aufgabe der Kausalitätsanalyse in kleinere, lösbare Schritte zerlegt.

Das musst Du wissen: PC-SubQ-Ansatz

• Was ist PC-SubQ?
  Eine Methode, die Kausalitätsanalysen in acht algorithmische Schritte aufteilt, inspiriert vom Peter-Clark-Algorithmus (PC).
• Funktionsweise:
  • Jedes Teilproblem wird durch „Subquestions“ (SubQs) repräsentiert.
  • Antworten auf frühere SubQs werden in nachfolgende eingebettet, um die Analyse schrittweise zu verfeinern.
  • Die Methode nutzt „Few-Shot“-Beispiele, um das Modell auf jeden Schritt vorzubereiten.
• Evaluation:
  Getestet mit fünf LLMs (u.a. GPT-4 und PaLM 2) auf dem Corr2Cause-Benchmark, der Korrelationen und Kausalitätsfragen stellt.
• Leistung:
  Verbesserte F1-Scores und hohe Robustheit gegenüber Variablenumbennungen oder Paraphrasierungen.

Wie PC-SubQ die Kausalitätsanalyse vereinfacht

Die Methode basiert auf dem PC-Algorithmus, einem etablierten Werkzeug zur Kausalanalyse, das auf Bedingte-Unabhängigkeits-Tests beruht. Hierbei wird ein kausaler Graph schrittweise konstruiert:

1. Initialisierung: Ein vollständig verbundenes, ungerichtetes Graphmodell wird erstellt.
2. Konstruktion des Graphen-Skeletts: Nicht notwendige Kanten werden entfernt.
3. Orientierung der Kanten: V-Strukturen werden identifiziert und Kanten gerichtet.
4. Finalisierung des Graphen: Zusätzliche Orientierungen verhindern widersprüchliche Kausalstrukturen.

Das PC-SubQ-Framework übersetzt diese Schritte in klar definierte SubQs, die nacheinander abgearbeitet werden. Jeder Schritt enthält spezifische Hinweise, die das LLM durch die Aufgabe führen.

Testergebnisse und Vorteile – Verbesserte Genauigkeit

Das PC-SubQ-Verfahren zeigt eine konsistente Überlegenheit gegenüber anderen Strategien. Beispielsweise stieg der F1-Score von PaLM 2 bei der Kausalanalyse von 0,30 (bei Standard-Prompts) auf 0,64. Die Ergebnisse wurden anhand von Benchmarks und realitätsnahen Szenarien validiert. PC-SubQ wurde auf fünf LLMs getestet, darunter GPT-4, GPT-3.5-turbo und PaLM 2. Die Ergebnisse zeigen eine konsistente Verbesserung über alle Modelle hinweg. Beispielsweise stieg der F1-Score bei PaLM 2 von 0,30 auf 0,64, während GPT-4 besonders robust gegenüber Variationen der Eingabe blieb.

Robustheit bei Variationen

Ein bemerkenswerter Vorteil ist die Robustheit von PC-SubQ. Weder das Umbenennen von Variablen (z. B. „A“ wird zu „Z“) noch das Paraphrasieren der Fragestellungen beeinträchtigte die Genauigkeit. Auch bei Anwendungen in naturnahen Szenarien, wie der Analyse von Medikamentenwirkungen, blieb die Methodik leistungsstark. Darüber hinaus zeigt PC-SubQ auch bei Anwendungen mit realitätsnahen Variablen und Szenarien, wie etwa der Analyse von Medikamentenwirkungen, eine gleichbleibend hohe Performance. Selbst bei natürlicher Sprache, die in keinem Few-Shot-Training enthalten war, bleibt die Methodik präzise und nachvollziehbar

Interpretierbarkeit und Nachvollziehbarkeit

Ein entscheidender Vorteil des Ansatzes ist seine Transparenz. Da jeder SubQ-Schritt separat bewertet werden kann, lassen sich Fehlerquellen präzise lokalisieren. Dies bietet nicht nur bessere Ergebnisse, sondern auch eine tiefere Einsicht in die Arbeitsweise der Modelle. Ein weiterer Vorteil ist die Möglichkeit, Fehlerquellen gezielt zu lokalisieren. Da jede SubQ separat bewertet wird, können Fehlinterpretationen oder Rechenfehler eindeutig einem bestimmten Schritt zugeordnet werden. Dies erlaubt nicht nur eine präzisere Analyse, sondern auch eine iterative Verbesserung des Modells.

Herausforderungen und Ausblick

Trotz der Erfolge gibt es noch Optimierungspotenzial:

• Komplexität: Die Verarbeitung von Aufgaben mit mehr als fünf Variablen bleibt eine Herausforderung.
• Effizienz: Da jeder SubQ-Schritt separat ausgeführt wird, steigt die Rechenzeit an.

Zukünftige Arbeiten könnten darauf abzielen, effizientere Algorithmen oder Benchmark-Datensätze mit realistischeren Szenarien zu entwickeln. Auch die Integration von externen Tools, wie Python-Modulen für die Kausalanalyse, könnte weitere Fortschritte bringen. Eine weitere Herausforderung ist die erhöhte Rechenzeit durch die sequentielle Bearbeitung der SubQs. Für jeden Schritt werden separate LLM-Aufrufe benötigt, was die Bearbeitungszeit im Vergleich zu anderen Strategien erhöht. Dies macht die Methode besonders für Szenarien mit mehr als fünf Variablen weniger effizient. Zukünftige Arbeiten sollten sich auf die Optimierung der Effizienz konzentrieren, etwa durch parallele Verarbeitung oder alternative Algorithmen.

Die Leistung von PC-SubQ zeigt eine Abnahme bei wachsender Anzahl von Variablen. Während die Methode bei Szenarien mit zwei bis vier Variablen nahezu perfekte Ergebnisse liefert, nehmen F1-Score und Genauigkeit bei fünf oder sechs Variablen merklich ab. Hier zeigt sich, dass die Methode insbesondere für kleinere, präzise definierte Kausalitätsanalysen optimal geeignet ist.

Schritt-für-Schritt zur Kausalitätsanalyse:
Wie PC-SubQ Large Language Models unterstützt

Die PC-SubQ-Methode ermöglicht es, Large Language Models (LLMs) präzise Kausalitätsanalysen durchzuführen, indem komplexe Aufgaben in kleinere, lösbare Schritte zerlegt werden. Im Folgenden zeigen wir, wie dieser Ansatz anhand eines konkreten Beispiels funktioniert. Das Szenario: Wir wollen herausfinden, ob der Verkauf von Eiscreme direkt die Anzahl von Haiangriffen beeinflusst – ein klassisches Beispiel für eine potenzielle Korrelation ohne Kausalität.

Schritt 1: Ausgangslage – Die Prämisse formulieren

Eingabe:
Premise: „Es gibt drei Variablen: Eiscremeverkäufe (A), Haiangriffe (B) und Strandbesucher (C). Es wurde festgestellt:

• A korreliert mit B.
• A korreliert mit C.
• B korreliert mit C.
• A und B sind unabhängig, wenn C berücksichtigt wird.

Hypothese: A (Eiscremeverkäufe) verursacht direkt B (Haiangriffe).“

Aufgabe:
Initialisiere den Algorithmus mit einem vollständig verbundenen ungerichteten Graphen.

Antwort:

• Anfangszustand: (A, B), (A, C), (B, C)

Schritt 2: Eliminieren unnötiger Kanten (Graphen-Skelett erstellen)

Eingabe:
Premise: „Basierend auf den Korrelationen und Unabhängigkeiten:

• A ist unabhängig von B, wenn C berücksichtigt wird.“
  Initialisiere den Algorithmus mit dem Graphen: (A, B), (A, C), (B, C).

Aufgabe:
Entferne Kanten, die durch Unabhängigkeiten ausgeschlossen werden.

Antwort:

• Da A und B unabhängig sind, wenn C berücksichtigt wird, wird die Kante (A, B) entfernt.
• Resultierender Graph: (A, C), (B, C)

Schritt 3: Identifikation von Pfaden der Länge 2

Eingabe:
Graph: (A, C), (B, C)

Aufgabe:
Identifiziere alle Pfade der Länge 2 im Graphen.

Antwort:

• Pfad gefunden: (A, C, B)

Schritt 4: V-Strukturen bestimmen

Eingabe:
Pfad: (A, C, B)

Aufgabe:
Prüfe, ob der Pfad (A, C, B) eine V-Struktur bildet. Eine V-Struktur liegt vor, wenn keine direkte Verbindung zwischen A und B existiert und C der gemeinsame Punkt ist.

Antwort:

• A und B sind nicht direkt verbunden, und C ist der Schnittpunkt.
• V-Struktur identifiziert: A → C ← B

Schritt 5: Orientieren der Kanten

Eingabe:
Graph mit V-Struktur: A → C ← B

Aufgabe:
Überprüfe, ob weitere Kanten gerichtet werden können, ohne neue V-Strukturen einzuführen.

Antwort:

• Keine weiteren Kanten erforderlich.
• Finaler Graph: A → C ← B

Schritt 6: Hypothese überprüfen

Eingabe:
Finaler Graph: A → C ← B
Hypothese: „A verursacht direkt B.“

Aufgabe:
Bewerte die Hypothese basierend auf dem finalen Graphen.

Antwort:

• A und B sind nur indirekt über C verbunden.
• Hypothese abgelehnt: Eiscremeverkäufe verursachen nicht direkt Haiangriffe.

Das Beispiel zeigt, wie PC-SubQ LLMs dazu anleitet, durch logische Teilschritte von einer komplexen Prämisse zu einer klaren Antwort zu gelangen. Durch das strukturierte Vorgehen wird nicht nur die Analyse präziser, sondern auch für den Nutzer nachvollziehbar.

Fazit: Wie PC-SubQ Kausalitätsanalysen revolutioniert

Die PC-SubQ-Methode zeigt eindrucksvoll, wie die Leistungsfähigkeit von Large Language Models durch präzises und schrittweises Prompt-Design nicht nur gesteigert, sondern auch für Nutzer:innen besser nachvollziehbar gemacht werden kann. Das strukturierte Vorgehen macht deutlich, dass komplexe Aufgaben wie die Kausalitätsanalyse nicht allein durch mehr Daten oder größere Modelle gelöst werden müssen, sondern durch eine clevere Zerlegung in verständliche Teilschritte.

Besonders hervorzuheben ist die Transparenz: Die Methode ermöglicht nicht nur präzisere Ergebnisse, sondern liefert auch nachvollziehbare Begründungen für jeden Schritt der Analyse. Dadurch können Fehlerquellen lokalisiert und die Ergebnisse des Modells überprüft werden. Dies schafft Vertrauen in die Arbeitsweise von KI-Systemen – eine unverzichtbare Eigenschaft in sicherheitskritischen und wissenschaftlichen Anwendungen.

PC-SubQ setzt somit neue Maßstäbe für die Anwendung von LLMs in der Kausalitätsforschung und zeigt das Potenzial, den Umgang mit KI in datenintensiven Disziplinen grundlegend zu verändern. Das Schritt-für-Schritt-Prinzip bietet nicht nur Klarheit, sondern demonstriert auch, wie menschliche Denkstrukturen erfolgreich in maschinelle Prozesse übersetzt werden können.

Quelle: Prompting Strategies for Enabling Large Language Models to Infer Causation from Correlation