AutoRAG-HP – Neue Forschung in der Hyperparameter-Optimierung für Retrieval-Augmented Generation

Die jüngsten Fortschritte in der Entwicklung großer Sprachmodelle (Large Language Models, LLMs) haben die Prinzipien des automatisierten maschinellen Lernens (AutoML) für Systeme zur retrieval-unterstützten Textgenerierung (Retrieval-Augmented Generation, RAG) grundlegend verändert. Zur Bewältigung der Herausforderungen der Hyperparameter-Optimierung und der Online-Anpassung in RAG-Systemen wurde das AutoRAG-HP-Framework entwickelt. Dieses formuliert die Hyperparameter-Einstellung als ein Online-Multi-Armed-Bandit (MAB)-Problem und führt eine neuartige zweistufige hierarchische MAB (Hier-MAB)-Methode zur effizienten Erkundung großer Suchräume ein. Das musst Du wissen AutoRAG-HP Framework: AutoRAG-HP optimiert Hyperparameter für RAG-Systeme mithilfe von Hier-MAB. Effizienz: Reduziert API-Aufrufe um 80 % im Vergleich zur Grid Search. Daten: Experimente mit ALCE-ASQA und Natural Questions Datensätzen. Leistung: Erzielt Recall@5 ≈0.8 in optimalen Suchräumen. Verfügbarkeit: Code wird öffentlich zugänglich gemacht. Einführung in AutoRAG-HP Die Hyperparameter-Optimierung ist entscheidend für die Leistung von RAG-Systemen, die LLMs verwenden, um relevante Informationen zu extrahieren und zu generieren. AutoRAG-HP stellt sich dieser Herausforderung durch die Nutzung von Hier-MAB, das eine zweistufige Struktur verwendet, um große Suchräume effizient zu erkunden. Dies ist besonders nützlich für komplexe Hyperparameter wie die Anzahl der abgerufenen Dokumente (top-k), das Kompressionsverhältnis der Eingabeaufforderung und die verwendeten Einbettungsmethoden. Effizienz und Leistung von AutoRAG-HP Die in der Studie durchgeführten Experimente zeigen, dass MAB-basierte Online-Lernmethoden bemerkenswerte Effizienzgewinne erzielen. Insbesondere wird gezeigt, dass AutoRAG-HP in Szenarien mit prominenten Gradienten im Suchraum einen Recall@5 von etwa 0.8 erreicht. Dabei benötigt es nur etwa 20 % der API-Aufrufe, die im Vergleich zur Grid Search Methode erforderlich wären. Dies unterstreicht die Effizienz und Praktikabilität des AutoRAG-HP-Frameworks, insbesondere in ressourcenintensiven Anwendungen. Vergleich mit anderen Methoden Der Hier-MAB-Ansatz übertrifft andere Basislinien in anspruchsvolleren Optimierungsszenarien. Diese Methodik ermöglicht eine feinere Abstimmung der Hyperparameter, was zu einer verbesserten Leistung und einer effizienteren Ressourcennutzung führt. Die Fähigkeit, Hyperparameter online und in Echtzeit anzupassen, macht AutoRAG-HP zu einem wertvollen Werkzeug für Entwickler und Forscher im Bereich des maschinellen Lernens und der künstlichen Intelligenz. Fazit AutoRAG-HP AutoRAG-HP bietet eine innovative Lösung für die Hyperparameter-Optimierung in RAG-Systemen und zeigt bemerkenswerte Verbesserungen in Bezug auf Effizienz und Leistung. Die Veröffentlichung des Codes wird es der breiteren Gemeinschaft ermöglichen, von diesen Fortschritten zu profitieren und weiter an der Verbesserung von RAG-Systemen zu arbeiten. #AutoML #RAG #HierMAB #MachineLearning #AIResearch ArXiv, Studien-Paper-PDF