Ein internationales Forscherteam um Thuy Ngoc Nguyen von der University of Dayton hat eine wegweisende Studie zur Vorhersage menschlichen Verhaltens durch künstliche Intelligenz vorgelegt. Die Wissenschaftler untersuchten, wie gut große Sprachmodelle (LLMs) und kognitive Instance-Based Learning (IBL) Modelle menschliche Entscheidungen in komplexen Situationen vorhersagen können. Die Studie konzentrierte sich auf zwei sequentielle Entscheidungsaufgaben, die den Balanceakt zwischen Ausnutzung bekannter Optionen und Erforschung neuer Möglichkeiten sowie den Umgang mit verzögertem Feedback simulieren – Kernelemente realer Entscheidungsprozesse. Dabei verglichen die Forscher die Leistung von LLMs mit einem kognitiven IBL-Modell, das menschliches erfahrungsbasiertes Lernen nachahmt. Die Ergebnisse zeigen, dass LLMs besonders gut darin sind, Feedback schnell zu verarbeiten und ihre Vorhersagegenauigkeit zu verbessern. Das kognitive IBL-Modell hingegen bildet menschliches Erkundungsverhalten besser ab und erfasst effektiv die menschliche Tendenz zur Verlustaversion – also die Neigung, suboptimale Ziele mit geringeren Schritt-für-Schritt-Kosten zu wählen, anstatt nach der optimalen Lösung zu suchen. Diese Erkenntnisse unterstreichen das Potenzial, LLMs mit kognitiven Architekturen zu kombinieren. Eine solche Synergie könnte die Modellierung und das Verständnis komplexer menschlicher Entscheidungsmuster deutlich verbessern und den Weg für KI-Systeme ebnen, die menschliches Verhalten besser verstehen und vorhersagen können. Das musst Du wissen LLMs und kognitive IBL-Modelle wurden zur Vorhersage menschlichen Verhaltens in komplexen Entscheidungsszenarien verglichen LLMs zeigen Stärken bei der schnellen Verarbeitung von Feedback und Verbesserung der Vorhersagegenauigkeit Kognitive IBL-Modelle bilden menschliches Erkundungsverhalten und Verlustaversion besser ab Die Kombination beider Ansätze verspricht verbesserte Modellierung menschlicher Entscheidungsprozesse Die Forschung ebnet den Weg für KI-Systeme, die menschliches Verhalten besser verstehen und unterstützen können Titel Predicting and Understanding Human Action Decisions: Insights from Large Language Models and Cognitive Instance-Based Learning Autoren Thuy Ngoc Nguyen, Kasturi Jamale, Cleotilde Gonzalez Veröffentlichungsdatum Juli 2024 Veröffentlichungsdatum des Papers Juli 2024 Schlüsselbegriffe Große Sprachmodelle (LLMs) Kognitives Instance-Based Learning (IBL) Sequentielle Entscheidungsfindung Verlustaversion Künstliche Intelligenz Problemstellung Die Studie untersucht, ob und wie gut große Sprachmodelle und kognitive IBL-Modelle menschliches Verhalten in komplexen, sequentiellen Entscheidungssituationen vorhersagen können. Dabei geht es insbesondere um die Fähigkeit, menschliche Strategien und Verzerrungen wie Verlustaversion zu erfassen und die Balance zwischen Ausnutzung und Erforschung zu modellieren. Hauptbeitrag Die Forscher zeigen, dass LLMs besonders gut darin sind, Feedback schnell zu verarbeiten und ihre Vorhersagegenauigkeit zu verbessern, während kognitive IBL-Modelle menschliches Erkundungsverhalten und Verlustaversion besser abbilden. Die Studie legt nahe, dass eine Kombination beider Ansätze zu einer verbesserten Modellierung komplexer menschlicher Entscheidungsmuster führen könnte. Methodik Die Studie verwendete zwei sequentielle Entscheidungsaufgaben in interaktiven Gridworld-Umgebungen mit unterschiedlichen Komplexitätsstufen. Die Leistung von zwei Open-Source-LLMs (Mistral 7B und Llama-3 70B) wurde mit einem kognitiven IBL-Modell verglichen. Dabei wurden verschiedene Metriken wie Trajektorienabweichung, Vorhersagegenauigkeit und Explorationsentropie-Differenz verwendet, um die Fähigkeit der Modelle zu bewerten, menschliches Verhalten vorherzusagen und zu erfassen. Ergebnisse Das leichtgewichtige LLM Mistral-7B übertraf sowohl Llama-3 70B als auch das kognitive IBL-Modell bei der Vorhersage menschlicher Strategien. LLMs zeigten eine überlegene Fähigkeit, Feedback schnell zu verarbeiten und ihre Vorhersagegenauigkeit mit zunehmenden Demonstrationsdaten zu verbessern. Das kognitive IBL-Modell war besser darin, anfängliches menschliches Erkundungsverhalten abzubilden und die Tendenz zur Verlustaversion zu erfassen, insbesondere bei begrenzten Informationen. Die Vorhersage menschlichen Verhaltens erwies sich in komplexeren Entscheidungsumgebungen mit hoher Kosten-Nutzen-Spannung als schwieriger. Bedeutung Diese Forschung liefert wichtige Einblicke in die Stärken und Schwächen verschiedener KI-Ansätze bei der Vorhersage menschlichen Verhaltens in sequentiellen Entscheidungsaufgaben. Sie zeigt das Potenzial für die Entwicklung von KI-Systemen auf, die menschliches Verhalten besser verstehen und unterstützen können, was für viele Anwendungsbereiche von der Entscheidungsunterstützung bis hin zur personalisierten Assistenz von großer Bedeutung ist. Offene Fragen / Zukünftige Arbeit Zukünftige Forschung könnte sich auf die Integration von LLMs und kognitiven Modellen in einem kohärenten Rahmenwerk konzentrieren, um die Stärken beider Ansätze zu nutzen. Weitere Untersuchungen könnten die Anwendung dieser Modelle in Echtzeit-Interaktionssystemen erforschen und untersuchen, wie sie zur Verbesserung von KI-gestützten Entscheidungsunterstützungssystemen beitragen können. Zudem wäre es interessant, die Modelle weiter zu optimieren, um menschliches Verhalten noch genauer abzubilden und neue Verhaltensstrukturen aufzudecken. #KünstlicheIntelligenz, #Entscheidungsfindung, #KognitiveModellierung, #SprachModelle ArXiv, Studien-Paper-PDF