KI und räumliche Intelligenz: Wie gut versteht GPT-4 Rotationen im 3D-Raum

KI und räumliche Intelligenz: Die Bedeutung räumlicher Intelligenz für technologische und wissenschaftliche Bereiche ist enorm. In Disziplinen wie Architektur, Ingenieurwesen und Medizin sind räumliche Fähigkeiten grundlegend, um dreidimensionale (3D) Strukturen zu visualisieren und zu verstehen. Diese Studie von Forschenden der Texas A&M University untersucht die Fähigkeiten des KI-Modells GPT-4V, räumliche Rotationen zu erfassen. Sie zeigt auf, dass es noch Herausforderungen gibt, aber auch Potenziale zur Verbesserung bestehen – besonders durch den Einsatz von Augmented Reality (AR).

1. Hintergrund zur Räumlichen Intelligenz und KI

Räumliche Intelligenz ist die Fähigkeit, Objekte im Raum mental zu drehen und ihre Orientierung zu verändern. Diese Fähigkeit wird oft mithilfe von Tests wie dem „Revised Purdue Spatial Visualization Test: Visualization of Rotations“ (PSVT:R) gemessen, einem Standardtest zur Beurteilung räumlicher Fähigkeiten. KI-Modelle wie GPT-4 haben in den letzten Jahren eine starke Entwicklung gezeigt, besonders durch multimodale Fähigkeiten, die sowohl Text als auch Bilder verarbeiten können. Dennoch bleibt die Frage offen, wie gut diese Modelle räumliche Transformationen und komplexe 3D-Rotationen verstehen.

2. Ziel und Methodik der Studie

Die Studie verfolgt das Ziel, die Fähigkeit von GPT-4 zu testen, räumliche Rotationen zu erkennen und korrekt zu beschreiben. Sie analysiert dabei drei zentrale Fragen:

• Wie schneidet GPT-4 im PSVT:R-Test ab, und wie vergleicht sich seine Leistung mit der von Menschen?
• Kann GPT-4 eine Rotationsabfolge korrekt beschreiben, wenn ein Koordinatensystem und visuelle Hilfen hinzugefügt werden?
• Wie verbessert sich die Leistung des Modells in einer Augmented-Reality-Umgebung, die zusätzliche räumliche Informationen überlagert?

Um diese Fragen zu beantworten, wurden verschiedene Experimente mit GPT-4V durchgeführt. Die Forschenden nutzten den PSVT:R-Test und eine AR-Umgebung, die räumliche Transformationen darstellt, um GPT-4 zu unterstützen.

3. Literaturübersicht: Dual-Coding-Theorie und AR im Bildungskontext

Die Dual-Coding-Theorie beschreibt, dass menschliche Kognition aus einem verbalen und einem bildhaften System besteht. Dies ermöglicht es uns, sowohl sprachliche als auch nichtsprachliche Informationen zu verarbeiten. AR verbindet beide Systeme, indem es digitale Informationen auf reale Objekte projiziert, was besonders im Bildungsbereich eine immersive Lernumgebung schafft. Mehrere Studien zeigen, dass AR im Bildungskontext zu einem besseren Verständnis von räumlichen Strukturen und einem gesteigerten Erinnerungsvermögen führen kann.

4. Durchführung der Experimente und Ergebnisse

Die Experimente wurden in drei Phasen durchgeführt:

1. Experiment 1: GPT-4 wurde im Standard-PSVT:R-Test getestet, der aus 30 Rotationsaufgaben besteht. Die Aufgaben verlangen, dass der Testteilnehmende die Rotation eines Objekts nachvollzieht und eine Auswahl aus fünf möglichen Endpositionen trifft. GPT-4 erzielte dabei nur eine Genauigkeit von 17 %.
2. Experiment 2: Das gleiche Experiment wurde mit zusätzlichen visuellen Hilfen wie einem Koordinatensystem wiederholt, das die x-, y- und z-Achsen anzeigt. Die Genauigkeit des Modells verbesserte sich jedoch nur leicht und blieb mit 23 % weiterhin unzureichend.
3. Experiment 3: In diesem Experiment wurde GPT-4 mithilfe einer AR-Anwendung getestet, die detaillierte räumliche Transformationen visualisierte. Drei Tests wurden durchgeführt:

• Test 3a: AR-Visualisierungen mit Koordinatensystem, jedoch ohne Winkelangaben und Rotationsgleichungen (25 % Genauigkeit).
• Test 3b: AR-Visualisierungen mit Koordinatensystem und Rotationswinkeln (75 % Genauigkeit).
• Test 3c: AR-Visualisierungen mit vollständigen Informationen, einschließlich Koordinatensystem, Winkel und Rotationsmatrix (100 % Genauigkeit).

Die Ergebnisse zeigen, dass die Genauigkeit von GPT-4 deutlich steigt, wenn zusätzliche Informationen wie Rotationswinkel und mathematische Gleichungen eingeblendet werden.

5. Diskussion: Herausforderungen und Potenziale

Die Ergebnisse deuten darauf hin, dass GPT-4 bei rein bildbasierten Aufgaben Schwierigkeiten hat, komplexe Rotationsaufgaben korrekt zu lösen. Die Leistung des Modells verbessert sich jedoch signifikant, wenn zusätzliche Text- und Bildinformationen zur Verfügung stehen, wie z. B. in einer AR-Umgebung. Dies zeigt, dass GPT-4 in einer multimodalen Umgebung, die sowohl Text- als auch visuelle Eingaben enthält, weitaus besser performt als bei reinen Bildaufgaben.

Ein weiterer bemerkenswerter Befund ist, dass GPT-4 durch den Einsatz von AR in der Lage ist, die räumliche Rotationsabfolge korrekt zu identifizieren und zu beschreiben. Diese Eigenschaft könnte zukünftig dazu genutzt werden, das Lernen in Bereichen wie Ingenieurwesen und Architektur zu verbessern, wo räumliches Verständnis essenziell ist. So könnte GPT-4 in einer AR-gestützten Unterrichtsumgebung als Tutor agieren und Studierende durch komplexe räumliche Aufgaben führen.

6. Fazit und Ausblick

Die Studie kommt zu dem Schluss, dass KI-Modelle wie GPT-4 zwar große Fortschritte in der Bildverarbeitung und im Textverständnis gemacht haben, aber immer noch Herausforderungen bei der reinen Interpretation räumlicher Transformationen bestehen. AR könnte eine wertvolle Ergänzung sein, die es KI-Modellen ermöglicht, diese Schwächen zu überwinden, indem es visuelle Informationen und mathematische Hilfestellungen in Echtzeit bereitstellt.

Für die Zukunft planen die Forschenden, ihre Studie mit einer größeren Stichprobe zu wiederholen und zu prüfen, ob sich die räumlichen Fähigkeiten von GPT-4 weiter verbessern lassen, wenn das Modell mehr kontextuelle Informationen erhält. Zudem wird erwogen, ähnliche Experimente mit anderen KI-Modellen durchzuführen und herauszufinden, inwiefern AR-basierte Ansätze eine nachhaltige Verbesserung der räumlichen Intelligenz ermöglichen können.

Zusammenfassung KI und räumliche Intelligenz

Die Kombination von GPT-4 und Augmented Reality bietet eine vielversprechende Möglichkeit, KI-gestützte Systeme zu schaffen, die räumliche Intelligenz trainieren und verbessern können. Die Ergebnisse dieser Studie zeigen, dass ein AR-gestütztes System, das Informationen wie Rotationswinkel und mathematische Gleichungen überlagert, das Verständnis komplexer räumlicher Transformationen bei KI-Modellen erheblich steigern kann. Dies könnte neue Möglichkeiten für die STEM-Bildung und die Anwendung von KI in Bereichen eröffnen, in denen räumliche Intelligenz von entscheidender Bedeutung ist

Quelle:

Monjoree, U., & Yan, W. (2024). AI’s Spatial Intelligence: Evaluating AI’s Understanding of Spatial Transformations in PSVTand Augmented Reality. Texas A&M University. Abgerufen von https://arxiv.org/abs/2411.06269.