FaRel-Bench testet die logischen Fähigkeiten von Sprachmodellen

FaRel-Bench ist ein Benchmarking-Projekt, das die logischen Fähigkeiten großer Sprachmodelle (LLMs) durch Familienbeziehungs-Quizze testet. Diese Tests nutzen bekannte Familienbeziehungen, um die Modelle herauszufordern und deren Fähigkeiten zur Erkennung und Differenzierung komplexer relationaler Strukturen zu bewerten. Das musst Du wissen FaRel-Bench testet die logischen Fähigkeiten von Sprachmodellen Projektziel: Bewertung der logischen Fähigkeiten von LLMs. Methode: Familienbeziehungs-Quizze mit variabler Komplexität. Messkriterium: Makro-durchschnittliche Genauigkeit über alle Beziehungsklassen. Modelle: Test verschiedener LLMs, sowohl mit offenen als auch geschlossenen Gewichten. Tools: Vier Python-Skripte zur Generierung, Durchführung und Auswertung der Quizze. FaRel-Bench generiert programmatisch Quizze basierend auf einem Graphen von Familienbeziehungen. Diese Beziehungen werden durch elterliche Verbindungen beschrieben und die Quizfragen verlangen, dass die LLMs die korrekten Verwandtschaftsgrade erkennen und auswählen. Beispielhafte Quizfragen reichen von einfachen Beziehungen wie Eltern-Kind zu komplexeren wie Nichte/Neffe oder Großeltern. Die Antworten der LLMs werden dann mit den korrekten Antworten verglichen und die Ergebnisse werden in einer Tabelle dargestellt, die die Genauigkeit der Modelle für jede Beziehungsklasse zeigt. Die Ergebnisse von FaRel-Bench zeigen, wie gut verschiedene LLMs in der Lage sind, logische Beziehungen zu verstehen und zu analysieren. Dies bietet wertvolle Einblicke in die Stärken und Schwächen aktueller KI-Modelle und deren Fortschritt im Bereich des logischen Denkens. #KI #Benchmarking #Familienbeziehungen #Logik #Sprachmodelle #LLM GitHub – FaRel-Bench