Einführung:

Die Verabschiedung des EU Artificial Intelligence Act im Jahr 2024 markiert einen bedeutenden Schritt in Richtung verantwortungsvoller KI-Entwicklung. Doch die Umsetzung dieser regulatorischen Anforderungen in konkrete technische Spezifikationen blieb bislang vage. Hier setzt COMPL-AI an, eine umfassende technische Interpretation des AI Acts, die regulatorische Vorschriften in messbare Anforderungen für Large Language Models (LLMs) übersetzt und gleichzeitig eine offene Benchmarking-Suite bereitstellt, um die Konformität von Modellen zu bewerten.

Hauptfrage:

Wie kann COMPL-AI als technische Grundlage zur Bewertung der EU AI Act-Konformität von LLMs dienen?

Folgefragen und Antworten:

1. Welche Herausforderungen adressiert COMPL-AI im Hinblick auf den EU AI Act?
   COMPL-AI zielt darauf ab, die oft abstrakten und breit gefassten regulatorischen Vorgaben des EU AI Acts in konkrete, technische Anforderungen zu übersetzen. Diese Anforderungen umfassen Aspekte wie Robustheit, Datenschutz, Transparenz und Fairness. Ohne eine technische Standardisierung dieser Prinzipien bleibt unklar, inwieweit ein Modell tatsächlich den gesetzlichen Vorschriften entspricht.
2. Was sind die ethischen Prinzipien des EU AI Act, die in COMPL-AI übersetzt werden?
   Der EU AI Act basiert auf sechs ethischen Prinzipien:
   • Menschliche Aufsicht
   • Technische Robustheit und Sicherheit
   • Datenschutz und Datenverwaltung
   • Transparenz
   • Diversität und Fairness
   • Soziales und ökologisches Wohlergehen
     COMPL-AI übersetzt diese Prinzipien in 12 messbare technische Anforderungen, die in den Benchmarks der Suite umgesetzt werden.
3. Wie wird die Konformität von LLMs gemessen?
   COMPL-AI bietet 27 Benchmarks, die unterschiedliche technische Anforderungen wie Robustheit, Cyberattacken-Resilienz, Fairness, Datenschutz und Nachverfolgbarkeit abdecken. Diese Benchmarks ermöglichen eine umfassende Bewertung der Konformität von LLMs im Hinblick auf die rechtlichen Vorgaben des EU AI Acts.
4. Welche Modelle wurden bewertet und welche Ergebnisse wurden erzielt?
   COMPL-AI bewertete 12 prominente LLMs, darunter ChatGPT, Llama und Claude. Keines der Modelle erfüllte die Anforderungen des EU AI Acts vollständig, insbesondere in den Bereichen Diversität, Fairness und Transparenz. Kleinere Modelle schnitten in Bezug auf Robustheit und Sicherheit schlechter ab.
5. Welche Benchmarks fehlen oder sind unzureichend entwickelt?
   In einigen Bereichen, wie der Erklärbarkeit und Nachverfolgbarkeit, gibt es derzeit keine ausgereiften Benchmarks. Es fehlen insbesondere Tools, um die Erklärbarkeit der Modelle verlässlich zu messen, was eine wesentliche Anforderung des EU AI Acts ist. Außerdem mangelt es den Modellen an Watermarking, um KI-generierte Inhalte als solche zu kennzeichnen, eine wichtige Anforderung des Artikels 50 des AI Acts.
6. Welche Auswirkungen wird der EU AI Act auf die KI-Entwicklung haben?
   Der EU AI Act wird die KI-Entwicklung grundlegend verändern. Bisher lag der Fokus vieler Modelle auf Fähigkeiten wie Wissenswiedergabe und Codierung, doch in Zukunft wird die Einhaltung von Sicherheits-, Datenschutz- und Fairnessanforderungen genauso wichtig sein, um rechtliche Vorgaben zu erfüllen. Kleinere Modelle werden insbesondere in Bereichen wie Robustheit stärker getestet und verbessert werden müssen.

Konkrete Tipps:

• Technische Standards entwickeln: Es müssen klare technische Standards etabliert werden, um die regulatorischen Anforderungen des EU AI Acts präzise zu messen und zu überprüfen.
• Fokus auf Fairness und Diversität: Modelle sollten nicht nur in Bezug auf ihre Fähigkeiten optimiert werden, sondern auch in den Bereichen Fairness und Nichtdiskriminierung stärker getestet und verbessert werden.
• Erklärbarkeit als Forschungsziel: Der Bereich der Erklärbarkeit von KI-Modellen erfordert verstärkte Forschung, um Modelle nach den Anforderungen des EU AI Acts transparent und nachvollziehbar zu machen.

Zusätzliche Aspekte:

• Wasserzeichen zur Nachverfolgbarkeit: Aktuelle Modelle verfügen oft nicht über Wasserzeichensysteme, um synthetische Inhalte zu kennzeichnen, was eine wesentliche Anforderung des EU AI Acts darstellt. Dies könnte die Fähigkeit beeinträchtigen, die gesetzlichen Vorschriften einzuhalten .
• Schwächen bei kleineren Modellen: Kleinere Modelle zeigen signifikante Schwächen in Bezug auf technische Robustheit und Vorhersehbarkeit. Dies weist auf einen klaren Bedarf an Forschung hin, um diese Lücke zu schließen .
• Vermeidung toxischer Inhalte: Eine Stärke der bewerteten Modelle ist ihre Fähigkeit, toxische oder schädliche Inhalte zu vermeiden, was die Bedeutung des Alignment-Prozesses unterstreicht, der für den Einsatz in der EU zentral ist .

Schlussfolgerung:

COMPL-AI bietet einen entscheidenden ersten Schritt in Richtung einer umfassenden technischen Interpretation des EU AI Acts und zeigt, dass eine stärkere Berücksichtigung von Fairness, Robustheit und Datenschutz in der Entwicklung von LLMs unerlässlich ist. Der Rahmen stellt gleichzeitig ein offenes Werkzeug dar, um die Konformität zu prüfen und dient als Grundlage für die Weiterentwicklung technischer Benchmarks.

Quellen:

• COMPL-AI Framework: A Technical Interpretation and LLM Benchmarking Suite for the EU Artificial Intelligence Act
• ETH Zurich Research Overview: Meyer, Florian, „LLM benchmarking suite for the EU AI Act“, 2024
• EU AI Act, European Parliament, 2024
• GitHub COMPL-AI Repository: https://github.com/compl-ai/compl-ai