Die zunehmende Verbreitung von Künstlicher Intelligenz (KI) hat in den letzten Jahren das Interesse von Gesetzgebern auf der ganzen Welt geweckt. In Europa reagierte man darauf mit der Verabschiedung des EU AI Acts, der weltweit erste Versuch, eine umfassende gesetzliche Grundlage für KI zu schaffen. Diese Regelung soll sicherstellen, dass KI-Systeme transparent, sicher und fair bleiben. Doch wie können Entwickler und Regulierungsbehörden diese abstrakten, rechtlichen Anforderungen in der Praxis umsetzen?

Hier kommt das Projekt COMPL-AI ins Spiel, ein gemeinsames Vorhaben der ETH Zürich, INSAIT (ein führendes bulgarisches KI-Forschungsinstitut) und dem Start-up LatticeFlow AI. Sie haben eine technische Interpretation des EU AI Acts entwickelt, die es ermöglicht, KI-Modelle auf ihre Gesetzeskonformität zu überprüfen. Dieser Artikel beleuchtet die Bedeutung von COMPL-AI, wie es funktioniert, und welche Auswirkungen es auf die Entwicklung und Regulierung von KI-Modellen hat.

Was ist der COMPL-AI-Framework?

COMPL-AI ist der erste umfassende technische Rahmen, der die Anforderungen des EU AI Acts in messbare technische Kriterien übersetzt. Dabei handelt es sich um eine Sammlung von Benchmarks, mit denen die Compliance von General Purpose AI (GPAI)-Modellen, also allgemeinen KI-Systemen, bewertet wird. Diese Modelle sind besonders relevant, da sie in verschiedenen Anwendungen eingesetzt werden können, von Sprachmodellen wie GPT-4 bis hin zu Modellen für Bilderkennung und Datenverarbeitung.

Kernaspekte des COMPL-AI Frameworks

• Technische Übersetzung: COMPL-AI überträgt die rechtlichen Anforderungen des EU AI Acts in überprüfbare technische Kriterien für KI-Modelle.
• Compliance-Checker: Ein Set von Benchmarks ermöglicht es, zu bewerten, wie gut verschiedene KI-Modelle den zukünftigen gesetzlichen Anforderungen entsprechen.
• Open-Source-Tool: Der COMPL-AI-Framework ist als offenes und kostenlos zugängliches Tool entwickelt worden, das auf 27 modernsten Benchmarks basiert.
• Modellevaluation: Die Benchmarks wurden bereits auf 12 prominente KI-Modelle angewendet, darunter Modelle von OpenAI, Meta, Google, Anthropic und Alibaba.

Relevanz und Auswirkungen

Die Einführung von COMPL-AI ist ein wichtiger Schritt, um die Umsetzung des EU AI Acts voranzutreiben. Das Framework hat mehrere zentrale Auswirkungen auf die KI-Branche und Regulierungsbehörden:

• Praktische Umsetzung: Es bietet Entwicklern eine Möglichkeit, ihre Modelle auf die Übereinstimmung mit zukünftigen EU-Vorgaben hin zu überprüfen.
• Standardisierung: COMPL-AI bietet eine potenzielle Standardinterpretation von Schlüsselbegriffen wie Sicherheit, Nachvollziehbarkeit und Fairness.
• Richtlinien für Unternehmen: Es hilft Unternehmen, ihre KI-Systeme unabhängig davon zu bewerten, ob sie mit öffentlichen, angepassten oder privaten Modellen arbeiten.

Herausforderungen und Erkenntnisse

Die Anwendung des COMPL-AI-Frameworks auf bestehende KI-Modelle offenbarte einige zentrale Herausforderungen. Viele hochleistungsfähige Modelle fielen in Bereichen wie Cybersicherheit und Fairness durch. Interessanterweise schnitt OpenAIs GPT-4 Turbo überraschend gut ab, während kleinere Modelle oft Schwierigkeiten hatten, ethische Aspekte wie Diversität und Fairness zu priorisieren.

Welche Modelle wurden getestet?

Das COMPL-AI-Team hat zwölf große Sprachmodelle (Large Language Models, LLMs) untersucht, darunter:

1. OpenAI GPT-4 Turbo
2. Anthropic Claude 3 Opus
3. Meta Llama 2 13B
4. Mistral AI’s Modelle
5. Alibaba Qwen 1.5 72B Chat

Diese Modelle wurden hinsichtlich ihrer Compliance in verschiedenen Kategorien bewertet, darunter:

• Cybersicherheit
• Umweltfreundlichkeit
• Datenschutz und Governance
• Diskriminierung und fairnessbezogene Aspekte
• Schädliche Inhalte

Erkenntnisse aus der Modellbewertung

Einige wichtige Erkenntnisse aus der Bewertung der Modelle:

1. Cybersicherheit und Fairness: Viele Modelle schnitten in diesen Bereichen schlecht ab und erreichten oft weniger als 50 % Compliance.
2. Transparenz: Modelle wie GPT-4 Turbo und Claude 3 Opus zeigten eine hohe Transparenz, während andere Modelle Schwierigkeiten hatten, nachvollziehbare Erklärungen für ihre Ergebnisse zu liefern.
3. Schutz vor Angriffen: Anthropic-Modelle wiesen eine geringere Transparenz, dafür aber eine höhere Sicherheit gegen Cyberangriffe auf.
4. Kleinere Modelle: Diese zeigten größere Herausforderungen, insbesondere beim Ausbalancieren von Fähigkeiten und ethischen Aspekten.

Ein tiefgehender Blick in die Ergebnisse

Die Studie von COMPL-AI bietet eine detaillierte Analyse der getesteten Modelle. Hier sind einige der Ergebnisse:

Diese Tabelle zeigt, wie unterschiedlich die Modelle in den verschiedenen Kategorien abschneiden. So führt GPT-4 Turbo zwar in der Gesamtnote, hat aber Schwächen in der Fairness und Transparenz. Claude 3 Opus zeigt insgesamt ein starkes Ergebnis, bietet aber weniger Transparenz als sein OpenAI-Konkurrent.

Die Bedeutung für die Zukunft der KI

Das COMPL-AI-Framework markiert den Beginn eines neuen Zeitalters der KI-Governance. Durch die Verknüpfung der rechtlichen Anforderungen des EU AI Acts mit technischen Benchmarks bietet es Unternehmen und Entwicklern einen klaren Weg, ihre Modelle an rechtliche und ethische Vorgaben anzupassen. In Zukunft könnte dieser Ansatz auch über den EU AI Act hinaus für andere internationale Regulierungen angepasst werden.

Die Herausforderung der Erklärbarkeit

Ein zentraler Punkt, den das COMPL-AI-Team herausstellt, ist die Herausforderung der Erklärbarkeit. Auch wenn einige Modelle technisch beeindruckende Ergebnisse liefern, mangelt es an Werkzeugen, die nachvollziehen lassen, wie ein Modell zu einer bestimmten Entscheidung gekommen ist. Diese fehlende Nachvollziehbarkeit könnte nicht nur rechtliche, sondern auch ethische Probleme aufwerfen, insbesondere wenn es um diskriminierende oder unfaire Entscheidungen geht.

Schlussfolgerung: Ein Wegweiser für die Entwicklung und Regulierung von KI

Der COMPL-AI-Framework bietet eine praxisnahe Lösung für eines der größten Probleme bei der Umsetzung des EU AI Acts: die Übersetzung von abstrakten gesetzlichen Vorgaben in konkrete, technisch überprüfbare Kriterien. Dies wird nicht nur Entwicklern helfen, ihre KI-Modelle zu verbessern, sondern auch Regulierungsbehörden dabei unterstützen, sicherzustellen, dass KI-Systeme den höchsten ethischen und gesetzlichen Standards entsprechen.

Mit der zunehmenden Verbreitung von KI in allen Lebensbereichen wird es immer wichtiger, dass diese Technologien verantwortungsvoll und transparent eingesetzt werden. Das COMPL-AI-Projekt ist ein wichtiger Schritt in diese Richtung und könnte in Zukunft ein internationaler Standard für die Bewertung von KI-Modellen werden.

Quellen und weiterführende Artikel

1. How law-abiding is AI? ETH researchers put it to the test
2. ETH Zürich, INSAIT and LatticeFlow launch first-ever compliance evaluation framework
3. COMPL-AI Project Website