Vox Populi, Vox AI? Der Einsatz von Sprachmodellen zur Schätzung der deutschen öffentlichen Meinung Die rasante Entwicklung großer Sprachmodelle (LLMs) hat eine Debatte darüber entfacht, ob diese „synthetischen Stichproben“ traditionelle Umfragen ergänzen oder gar ersetzen könnten. Diese Diskussion basiert auf der Annahme, dass die Trainingsdaten der LLMs möglicherweise Einstellungen und Verhaltensweisen widerspiegeln, die in der Bevölkerung vorherrschen. Zahlreiche, hauptsächlich in den USA durchgeführte Studien haben LLMs dazu veranlasst, Umfrageteilnehmer zu simulieren. Einige dieser Studien fanden heraus, dass die generierten Antworten den tatsächlichen Umfragedaten nahekommen. Es gibt jedoch mehrere kontextuelle Faktoren, die die Übertragbarkeit solcher Erkenntnisse beeinträchtigen könnten. Diese Studie untersucht, inwieweit LLMs die öffentliche Meinung in Deutschland anhand des Beispiels der Wahlentscheidung schätzen können. Dabei wird eine synthetische Stichprobe erstellt, die den individuellen Merkmalen der Teilnehmer der deutschen Längsschnittstudie 2017 entspricht. Anschließend wird das Sprachmodell GPT-3.5 dazu aufgefordert, die Wahlentscheidung jedes Teilnehmers vorherzusagen und diese Vorhersagen mit den umfragebasierten Schätzungen auf aggregierter und untergruppenbezogener Ebene zu vergleichen. Die Ergebnisse zeigen, dass GPT-3.5 die Wahlentscheidungen der Bürger nicht genau vorhersagen kann und eine Tendenz zugunsten der Grünen und der Linken aufweist. Während das Sprachmodell die Tendenzen „typischer“ Wählergruppen, wie Parteianhänger, erfasst, verfehlt es die vielfältigen Faktoren, die individuelle Wahlentscheidungen beeinflussen. Durch die Untersuchung der LLM-basierten Vorhersage des Wahlverhaltens in einem neuen Kontext trägt unsere Studie zur wachsenden Forschung über die Bedingungen bei, unter denen LLMs zur Untersuchung der öffentlichen Meinung genutzt werden können. Die Ergebnisse weisen auf Unterschiede in der Meinungsrepräsentation in LLMs hin und unterstreichen die Einschränkungen bei der Anwendung zur Schätzung der öffentlichen Meinung. Das musst Du wissen – ChatGPT erstellt jetzt Wahlprognosen für Deutschland Schätzungsgenauigkeit: GPT-3.5 weist eine Verzerrung zugunsten der Grünen und der Linken auf. Methodik: Die Studie verwendet eine synthetische Stichprobe, die den Merkmalen der Teilnehmer der deutschen Längsschnittstudie 2017 entspricht. Limitierungen: Das Sprachmodell erfasst zwar typische Wählergruppen, verfehlt jedoch individuelle Entscheidungsfaktoren. Kontextuelle Faktoren: Die Übertragbarkeit der Erkenntnisse von US-basierten Studien auf Deutschland ist begrenzt. Forschungsbeitrag: Die Studie erweitert das Verständnis darüber, wie LLMs zur Untersuchung der öffentlichen Meinung eingesetzt werden können. Eine tiefere Betrachtung Die Forschung von Leah von der Heyde, Anna-Carolina Haensch und Alexander Wenz konzentriert sich auf die Anwendung von LLMs zur Schätzung der öffentlichen Meinung in Deutschland. Insbesondere wird untersucht, ob und wie GPT-3.5 Wahlentscheidungen vorhersagen kann. Dabei wird eine synthetische Stichprobe erstellt, die den individuellen Merkmalen der Teilnehmer der deutschen Längsschnittstudie 2017 entspricht. Diese Methode ermöglicht einen direkten Vergleich zwischen den Vorhersagen des Sprachmodells und den tatsächlichen Umfrageergebnissen. Methodik und Herangehensweise Die Studie verwendet GPT-3.5, ein fortschrittliches Sprachmodell, um Wahlentscheidungen vorherzusagen. Die Forscher generieren eine synthetische Stichprobe von „Personas“, die den individuellen Merkmalen der tatsächlichen Umfrageteilnehmer entsprechen. Anschließend wird das Modell angewiesen, die Wahlentscheidung dieser Personas vorherzusagen. Diese Vorhersagen werden dann auf aggregierter Ebene und innerhalb bestimmter Untergruppen analysiert und mit den tatsächlichen Umfrageergebnissen verglichen. Die Methode der synthetischen Stichprobe ist besonders interessant, da sie eine detaillierte Nachbildung der tatsächlichen Teilnehmer ermöglicht. Dies bietet eine solide Basis für den Vergleich der Modellvorhersagen mit den Umfragedaten. Trotz dieser sorgfältigen Herangehensweise zeigen die Ergebnisse jedoch, dass GPT-3.5 eine systematische Verzerrung aufweist, die sich zugunsten der Grünen und der Linken Parteien zeigt. Ergebnisse und Implikationen Die Ergebnisse der Studie zeigen, dass GPT-3.5 nicht in der Lage ist, die Wahlentscheidungen der deutschen Bürger präzise vorherzusagen. Besonders auffällig ist die Verzerrung zugunsten der Grünen und der Linken Parteien. Dies deutet darauf hin, dass das Sprachmodell bestimmte parteispezifische Tendenzen nicht korrekt erfasst und möglicherweise durch die Trainingsdaten beeinflusst wird, die nicht alle Facetten der deutschen Wählerschaft vollständig abdecken. Während das Modell die Tendenzen typischer Wählergruppen wie Parteianhänger einigermaßen genau erfasst, verfehlt es die vielfältigen individuellen Faktoren, die Wahlentscheidungen beeinflussen. Diese Diskrepanz unterstreicht die Einschränkungen der Anwendung von LLMs zur Schätzung der öffentlichen Meinung und hebt die Notwendigkeit hervor, kontextuelle Faktoren und die spezifischen Merkmale der Zielpopulation zu berücksichtigen. Kontextuelle Faktoren und zukünftige Forschung Ein zentraler Aspekt der Studie ist die Untersuchung der Übertragbarkeit von Erkenntnissen aus US-basierten Studien auf den deutschen Kontext. Die Ergebnisse zeigen, dass die Übertragbarkeit begrenzt ist und dass LLMs, die auf amerikanischen Daten trainiert wurden, nicht ohne weiteres auf die deutsche Wählerschaft angewendet werden können. Dies unterstreicht die Bedeutung kontextueller Faktoren bei der Anwendung von LLMs zur Schätzung der öffentlichen Meinung. Die Forschung von von der Heyde, Haensch und Wenz trägt wesentlich zum Verständnis der Bedingungen bei, unter denen LLMs zur Untersuchung der öffentlichen Meinung genutzt werden können. Ihre Arbeit zeigt die Notwendigkeit auf, die spezifischen Merkmale der Zielpopulation und die kontextuellen Faktoren sorgfältig zu berücksichtigen, um aussagekräftige und genaue Schätzungen zu erzielen. Fazit ChatGPT erstellt jetzt Wahlprognosen für Deutschland Die Untersuchung der Nutzung von LLMs zur Schätzung der öffentlichen Meinung in Deutschland zeigt sowohl Potenziale als auch erhebliche Einschränkungen auf. Obwohl GPT-3.5 in der Lage ist, typische Wählergruppen zu erfassen, zeigt es deutliche Verzerrungen und verfehlt die Erfassung individueller Wahlentscheidungsfaktoren. Dies unterstreicht die Notwendigkeit einer sorgfältigen Berücksichtigung kontextueller Faktoren und die spezifischen Merkmale der Zielpopulation bei der Anwendung von LLMs zur Schätzung der öffentlichen Meinung. Zukünftige Forschung sollte sich darauf konzentrieren, diese Einschränkungen zu überwinden und die Anwendbarkeit von LLMs in unterschiedlichen Kontexten weiter zu untersuchen. #ÖffentlicheMeinung #Sprachmodelle #KünstlicheIntelligenz #Wahlforschung #Deutschland von der Heyde, L., Haensch, A.-C., & Wenz, A. (2024). Vox Populi, Vox AI? Using Language Models to Estimate German Public Opinion. Verfügbar