Agents Open-Source Python Framework: Künstliche Intelligenz auf Basis von Large Language Models (LLMs) wie GPT-3 zeigt oft Inkonsistenzen mit menschlichen Präferenzen. Bisherige Forschung sammelte Daten über menschliche Präferenzen und richtete dann die vortrainierten Modelle mittels Verstärkungslernen oder Instruktionstuning aus – der sogenannte Feintuning-Schritt.

Im Gegensatz dazu ist es attraktiver, eingefrorene LLMs ohne zusätzliche Daten auszurichten. Diese Arbeit untersucht das Potenzial des letzteren Settings. Wir entdecken, dass durch die Integration von Selbstevaluierung und Zurückspulmechanismen unausgerichtete LLMs direkt Antworten produzieren können, die mit menschlichen Präferenzen übereinstimmen, und zwar durch Selbstverstärkung.

Forscher von AIWaves Inc., Zhejiang University und ETH Zürich stellen AGENTS vor, eine Open-Source-Bibliothek und ein Framework für LLM-basierte Sprachagenten. Das Ziel von AGENTS ist es, die Anpassung, Abstimmung und Bereitstellung von Sprachagenten so einfach wie möglich zu gestalten – auch für Nicht-Experten – und gleichzeitig für Programmierer und Forscher einfach erweiterbar zu sein.

Agents Open-Source Python Framework – Hintergrund

In den letzten Jahren haben Large Language Models (LLMs) wie GPT-3 enorme Fortschritte in natürlichsprachlichen Fähigkeiten gezeigt. Sie können Fragen von Menschen verstehen und beantworten, bei Programmieraufgaben helfen und mehr. Allerdings erzeugen sie häufig Ergebnisse, die nicht dem entsprechen, was Menschen bevorzugen würden.

Bisherige Forschung hat versucht, dieses Problem zu lösen, indem Daten über menschliche Präferenzen gesammelt und dann die vortrainierten Modelle durch Verstärkungslernen oder Instruktionstuning ausgerichtet wurden – der sogenannte Feintuning-Schritt. Es ist jedoch attraktiver, eingefrorene LLMs, die kein weiteres Training durchlaufen haben, ohne zusätzliche Daten auszurichten.

Kürzlich hat ein Team von Forschern entdeckt, dass unausgerichtete LLMs direkt Antworten produzieren können, die mit menschlichen Präferenzen übereinstimmen. Dies geschieht durch einen Prozess der Selbstverbesserung, indem Selbstevaluierung und Zurückspulmechanismen integriert werden. Im Interesse der KI-Sicherheit haben sie Rewindable Auto-regressive INference (RAIN) eingeführt, eine neuartige Inferenztechnik, die es vortrainierten LLMs ermöglicht, ihren eigenen generierten Text zu bewerten und die Evaluierungsergebnisse zu nutzen, um rückwärts zu spulen und vorwärts zu generieren.

Die RAIN Methode – Agents Open-Source Python Framework

RAIN ist bemerkenswert, da es ohne zusätzliche Daten für die Modellausrichtung auskommt. Es verzichtet auf Parameterupdates, Gradientenberechnungen oder Training. Das Modell erhält während der Selbstevaluierungsphase über eine feste Vorlagenaufforderung Anleitung, mit welchen menschlichen Präferenzen es sich ausrichten soll, so dass die anfängliche Abfrage nicht wiederholt geändert werden muss.

Die experimentellen Ergebnisse, die vom GPT-4-Modell und menschlichen Bewertern evaluiert wurden, zeigten die Wirksamkeit von RAIN: Beim HH-Datensatz verbesserte RAIN die Harmlosigkeitsrate von LLaMA 30B im Vergleich zur Vanilla-Inferenz von 82% auf 97%, bei gleichbleibender Hilfsbereitschaft. Gegen den führenden adversarialen Angriff llm-attacks auf Vicuna 33B etablierte RAIN eine neue Verteidigungsgrundlinie, indem es die Angriffserfolgsrate von 94% auf 19% senkte.

Vorteile von RAIN

RAIN bietet eine Reihe von Vorteilen gegenüber derzeit verwendeten Methoden zur Ausrichtung von Large Language Models (LLMs):

Übersicht

Die Bibliothek bietet auch die folgenden Kernfähigkeiten, die sie zu einer flexiblen Plattform für Sprachagenten machen:

Lang- und Kurzzeitgedächtnis

AGENTS beinhalten Gedächtniskomponenten, die es Sprachagenten ermöglichen, routinemäßig ein Kurzzeit-Arbeitsgedächtnis mit einem Notizblock zu aktualisieren und ein Langzeitgedächtnis unter Verwendung von VectorDB und semantischer Suche zu speichern und abzurufen. Anwender können durch einfaches Ausfüllen eines Feldes in der Konfigurationsdatei entscheiden, ob einem Agenten ein Langzeitgedächtnis, ein Kurzzeitgedächtnis oder beides gegeben werden soll.

Web-Navigation und Verwendung von Tools

Die Fähigkeit autonomer Agenten, externe Tools zu verwenden und im Internet zu surfen, ist eine weitere entscheidende Eigenschaft. AGENTS unterstützt einige weit verbreitete externe APIs und bietet eine abstrakte Klasse, die es Programmierern einfach macht, andere Tools einzubinden. Indem wir Websuche und -navigation als spezialisierte APIs klassifizieren, ermöglichen wir es Agenten auch, im Internet zu surfen und Informationen zu sammeln.

Interaktion zwischen Mensch und Agent

AGENTS unterstützt sowohl in Szenarien mit einem einzelnen Agenten als auch mit mehreren Agenten die Interaktion und Kommunikation zwischen einem oder mehreren Menschen und Sprachagenten.

Kontrollierbarkeit

Mit einem symbolischen Plan, oft als Standardarbeitsanweisung (SOP) bezeichnet, bieten AGENTS ein revolutionäres Paradigma für die Entwicklung steuerbarer Agenten. Ein SOP ist ein Graph mit mehreren Zuständen, der die verschiedenen Situationen beschreibt, denen ein Agent bei der Ausführung einer Aufgabe begegnen kann, und die Regeln für den Übergang zwischen den Zuständen. Ein SOP in AGENTS ist eine sorgfältig aufgezeichnete Sammlung detaillierter Anweisungen, die festlegen, wie ein Agent oder eine Gruppe von Agenten eine bestimmte Aktivität oder ein bestimmtes Verfahren ausführen soll.

Dies ähnelt SOPs in der realen Welt. Ein LLM kann SOPs generieren, die der Benutzer beim Personalisieren und Feintunen des Agenten ändern kann. Nach der Bereitstellung funktioniert ein Agent nach den für jeden Zustand festgelegten Anweisungen und Standards und ändert dynamisch seinen aktuellen Zustand als Reaktion auf Interaktionen mit der Außenwelt, Menschen oder anderen Agenten. Mit dem Aufkommen des symbolischen Plans ist es jetzt möglich, das Verhalten eines Agenten feingranular zu steuern, seine Stabilität und Vorhersagbarkeit zu verbessern und gleichzeitig die Abstimmung und Optimierung des Agenten zu erleichtern.

Das Team hofft, dass AGENTS es Forschern erleichtert, Sprachagenten zu untersuchen, Entwicklern, Anwendungen mit Sprachagenten zu erstellen, und nicht-technischen Zielgruppen, eigene einzigartige Sprachagenten zu erstellen und anzupassen.

Interaktion mehrerer Agenten

AGENTS ermöglichen anpassbare Multi-Agenten-Systeme und Einzelagenten-Fähigkeiten, die für bestimmte Anwendungen wie Spiele, soziale Experimente, Softwareentwicklung etc. nützlich sein können. Die “dynamische Planung” in AGENTS ist eine Neuerung für die Interaktion mehrerer Agenten. Dynamische Planung ermöglicht es, einen Controller-Agenten einzurichten, der als “Moderator” fungiert und basierend auf ihren Rollen und der jüngsten Historie entscheidet, welcher Agent als Nächstes handelt, anstatt die Reihenfolge für die Agentenaktionen durch hardcoded Regeln festzulegen. Die Verwendung dynamischer Planung ermöglicht eine flexiblere und natürlichere Kommunikation zwischen mehreren Agenten. Indem die Regel des Controllers in der Konfigurationsdatei in einfacher Sprache definiert wird, können Entwickler das Verhalten des Controllers schnell ändern.

Universelle Einsetzbarkeit

Der RAIN-Ansatz ist anpassungsfähig und kann für eine Vielzahl von sprachgenerierenden Aufgaben eingesetzt werden. Er passt perfekt zum auto-regressiven Inferenzparadigma, das für viele LLMs die Norm ist. Das bedeutet, dass RAIN hochgradig anpassbar und benutzerfreundlich ist und leicht in die meisten bestehenden LLMs integriert werden kann.

RAIN ermöglicht Ausrichtung von LLMs mit eingefrorenen Gewichten

Bei eingefrorenen Gewichten werden die Gewichte eines trainierten neuronalen Netzes fixiert, sodass keine weiteren Änderungen mehr möglich sind. RAIN erfordert im Gegensatz zu einigen anderen Ausrichtungsstrategien wie RLHF nicht die Wartung zusätzlicher Modelle oder die Speicherung von Gradientendaten und Rechengraphen. Der minimale Speicher-Overhead ist vergleichbar mit dem einer einfachen auto-regressiven Inferenz. Aufgrund seiner einfachen Implementierung und speichereffizienten Konstruktion ist RAIN eine realistische Option zur Ausrichtung von LLMs mit eingefrorenen Gewichten, da aufwendige Feintuning-Verfahren entfallen.

Lernfreiheit

RAIN verlässt sich nicht auf irgendwelche Arten von gelabelten oder ungelabelten Daten oder auf menschliche Anmerkungen. Es benötigt aufgrund seines lernfreien Betriebs keine großen Datenmengen oder Trainings. RAIN verbessert die Ausrichtungsleistung bei einer Reihe von Aufgaben erheblich und macht LLMs resistenter gegen feindliche Prompt-Angriffe. Es senkt die Angriffserfolgsrate deutlich, wenn es gegen eine bekannte adversariale Angriffsmethode getestet wird, was seine Wirksamkeit als Verteidigung gegen solche Angriffe zeigt.

Agents Open-Source Python Framework – Beispiele und Demos

Es wurden exemplarische Konfigurationsdateien, Codes und Demos sowohl für Einzelagenten- als auch für Multiagentensysteme bereitgestellt.

Web-Demos

Folgende Web-Demos wurden veröffentlicht:

• Customer Service Agent
• Debate
• Software Company
• Fiction Studio

Agents Open-Source Python Framework – Ausblick: Potenzial und Wert der RAIN-Forschung

Die RAIN-Methode zur Ausrichtung von LLMs an menschliche Präferenzen hat vielversprechende Zukunftsperspektiven und einen hohen Wert für verschiedene Akteure:

Nutzen für Forschung und Entwicklung

• Die RAIN-Technik kann leicht in bestehende LLMs integriert werden, um deren Sicherheit und Zuverlässigkeit zu verbessern. Dies eröffnet neue Möglichkeiten für die verantwortungsvolle KI-Forschung.
• RAIN ermöglicht die Ausrichtung von LLMs mit eingefrorenen Gewichten. Dadurch entfällt aufwendiges Fine-Tuning, was die Entwicklung neuer Modelle beschleunigen kann.
• Die lernfreie Natur von RAIN reduziert den Bedarf an Trainingsdaten und Annotationen. Dies senkt die Kosten für die Entwicklung aligneder LLMs.

Nutzen für Unternehmen

• Mithilfe von RAIN alignierten LLMs können Unternehmen KI-basierte Anwendungen erstellen, die sicherer und zuverlässiger mit Menschen interagieren.
• Durch die Resistenz gegen Angriffe eignen sich mit RAIN optimierte LLMs auch für den Einsatz in sicherheitskritischen Bereichen.
• Die Kosteneinsparungen durch Wegfall aufwendiger Fine-Tuning-Verfahren machen den Einsatz großer LLMs für mehr Unternehmen zugänglich.

Gesellschaftlicher Nutzen

• RAIN kann zu sichereren und ethischen KI-Systemen beitragen, die besser mit gesellschaftlichen Werten und Präferenzen aligniert sind.
• Verbraucher und Nutzer können sich auf alignedere KI-Interaktionen verlassen, z.B. in Dialogsystemen.
• Insgesamt kann RAIN helfen, das Vertrauen in KI-Systeme zu stärken und ihre gesellschaftliche Akzeptanz zu erhöhen.

RAIN hat also das Potenzial, großen Mehrwert für verschiedene Anspruchsgruppen zu generieren und die verantwortungsvolle Entwicklung und den Einsatz von KI voranzubringen.

Zusammenfassung Agents Open-Source Python Framework

Diese Studie hat RAIN als eine Methode vorgestellt, um LLMs an menschliche Präferenzen anzupassen, ohne dass zusätzliche Daten oder aufwendiges Feintuning erforderlich sind. Dies wird erreicht, indem LLMs ihre eigenen Ausgaben bewerten und verbessern können, was letztendlich zu abgestimmteren und sichereren KI-generierten Antworten führt.

AGENTS ist ein vielversprechendes Open-Source-Framework, das die Erstellung und Anpassung von autonomen Sprachagenten erleichtert. Die Integration von Lang- und Kurzzeitgedächtnis, Web-Navigation, Tool-Nutzung, Multi-Agenten-Kommunikation und feingranularer symbolischer Steuerung machen es zu einer flexiblen Plattform. Durch die einfache Anpassung über Konfigurationsdateien können auch Nicht-Experten eigene einzigartige Sprachagenten erstellen. Zugleich ist es durch die modulare Architektur einfach erweiterbar für Forscher und Entwickler. Insgesamt hat AGENTS das Potenzial, den Einsatz autonomer Sprachagenten für verschiedenste Anwendungsfälle zu beschleunigen.

Quelle: ArXiv, Studien-Paper

#künstlicheintelligenz #sprachagenten #python #open-source #framework

Die 10 besten Alternativen zu ChatGPT findest Du hier!
KI im Mittelstand – Jetzt künstliche Intelligenz im Unternehmen nutzen