Multiagent-Finetuning als neuer Weg zur Verbesserung großer Sprachmodelle

Multiagent-Finetuning: Ein neuer Ansatz zur Selbstverbesserung großer Sprachmodelle

Große Sprachmodelle (LLMs) haben in den letzten Jahren beeindruckende Fortschritte erzielt, stoßen jedoch an die Grenzen der ihnen zugrundeliegenden Trainingsdaten. Um Modelle über diese Daten hinaus zu verbessern, wurden verschiedene Ansätze erforscht, darunter die Generierung synthetischer Daten durch die LLMs selbst für eine autonome Selbstverbesserung. Diese Methoden erreichen jedoch oft einen Punkt abnehmender Renditen, da die Vielfalt der generierten Daten mit der Zeit abnimmt und somit weitere Leistungssteigerungen begrenzt.

Ein vielversprechender Ansatz zur Überwindung dieser Einschränkung ist das Multiagent-Finetuning. Hierbei wird eine Gruppe von Sprachmodellen, die alle vom selben Basismodell abgeleitet sind, durch unabhängige Aktualisierungen spezialisiert. Die Trainingsdaten für jedes Modell werden durch Multiagent-Interaktionen innerhalb der Modellgruppe generiert. Durch das Training jedes Modells mit unabhängigen Datensätzen wird eine Spezialisierung der einzelnen Modelle und gleichzeitig eine Diversifizierung über die gesamte Modellgruppe erreicht.

Ein Beispiel für diesen Ansatz ist die Verwendung eines "Debatten"-Mechanismus. Hierbei generieren mehrere "Generator"-Agenten Lösungsvorschläge für eine Aufgabe, während "Kritiker"-Agenten diese bewerten und eine finale Lösung auswählen. Die Interaktionen zwischen Generatoren und Kritikern erzeugen vielfältige Trainingsdaten, die zur Feinabstimmung der einzelnen Modelle verwendet werden. Dieser Ansatz ermöglicht es, verschiedene Argumentationsketten zu erhalten und die Modelle über viele Runden des Finetunings autonom zu verbessern.

Im Vergleich zu herkömmlichen Selbstverbesserungsmethoden, die oft auf Einzelagenten basieren, zeigt das Multiagent-Finetuning ein deutlich größeres Potenzial für kontinuierliche Verbesserung. Durch die Diversifizierung der Modelle wird verhindert, dass die generierten Daten zu homogen werden und die Leistung stagniert. Die Spezialisierung der einzelnen Modelle ermöglicht es zudem, verschiedene Aspekte einer Aufgabe zu erfassen und so die Gesamtperformance des Systems zu steigern.

Die Effektivität des Multiagent-Finetunings wurde in verschiedenen Studien anhand einer Reihe von Argumentationsaufgaben, darunter mathematische und logische Probleme, quantitativ nachgewiesen. Die Ergebnisse zeigen, dass dieser Ansatz die Leistung von LLMs deutlich verbessern kann, insbesondere bei komplexen Aufgaben, die mehrere Schritte erfordern. Zukünftige Forschung könnte sich auf die Skalierung dieses Ansatzes auf größere Modelle und komplexere Aufgaben konzentrieren, sowie auf die Entwicklung neuer Methoden zur Steuerung der Multiagent-Interaktionen.

Das Multiagent-Finetuning stellt somit einen vielversprechenden Ansatz zur Verbesserung von LLMs dar und eröffnet neue Möglichkeiten für die Entwicklung von KI-Systemen mit höherer Leistungsfähigkeit und Robustheit. Die Fähigkeit, verschiedene Argumentationsketten zu erhalten und die Modelle kontinuierlich zu verbessern, trägt dazu bei, die Grenzen der aktuellen LLM-Technologie zu überwinden und das Potenzial von KI für eine Vielzahl von Anwendungen weiter zu erschließen. Insbesondere für Unternehmen wie Mindverse, die sich auf die Entwicklung maßgeschneiderter KI-Lösungen spezialisiert haben, bietet dieser Ansatz neue Möglichkeiten zur Optimierung von Chatbots, Sprachassistenten, KI-Suchmaschinen und Wissenssystemen.

Bibliographie:

1. Subramaniam, V. et al. (2025). Multiagent Finetuning: Self Improvement with Diverse Reasoning Chains. arXiv preprint arXiv:2501.05707. https://arxiv.org/abs/2501.05707
2. https://arxiv.org/pdf/2501.05707
3. https://paperreading.club/page?id=277641
4. https://openreview.net/forum?id=JtGPIZpOrz
5. https://www.linkedin.com/posts/ju-seung-byun-1a76b01b9_excited-to-share-our-latest-work-accepted-activity-7245217231356207104-OkiT
6. https://openreview.net/pdf/847b7f9c1c983ec1c763f6957c3a9965ed8eaa63.pdf
7. https://www.researchgate.net/publication/381960577_Fine-Tuning_with_Divergent_Chains_of_Thought_Boosts_Reasoning_Through_Self-Correction_in_Language_Models
8. https://github.com/WooooDyy/LLM-Agent-Paper-List
9. https://www.researchgate.net/publication/384115481_Improving_LLM_Reasoning_with_Multi-Agent_Tree-of-Thought_Validator_Agent
10. https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1244/final-projects/CorneliaWeinzierlSreethuSuraSugunaVarshiniVelury.pdf