Übertragbarkeit von spezialisierten KI-Modellen im Finanzwesen: Neue Erkenntnisse und Herausforderungen

KI-Modelle im Finanzwesen: Neue Forschungsergebnisse zur Übertragbarkeit von spezialisierten LLMs

Die rasante Entwicklung großer Sprachmodelle (LLMs) hat in den letzten Jahren beeindruckende Fortschritte in der allgemeinen Sprachverarbeitung und im Schlussfolgern erzielt. Doch wie effektiv sind diese Modelle im Umgang mit den komplexen Anforderungen des Finanzsektors? Eine neue Studie untersucht die Übertragbarkeit von speziell für das Finanzwesen trainierten LLMs und liefert interessante Einblicke in die Stärken und Schwächen aktueller KI-Modelle.

Die Forscher evaluierten 16 leistungsstarke LLMs, darunter sowohl allgemeine als auch speziell für das Schlussfolgern trainierte Modelle, anhand von drei anspruchsvollen Finanzaufgaben. Diese Aufgaben umfassten die Verarbeitung von Finanztexten, die Interpretation von Tabellen und die Lösung von gleichungsbasierten Problemen. Dabei wurden verschiedene Fähigkeiten der Modelle getestet, darunter numerisches Schlussfolgern, das Verständnis von Finanzterminologie, die Verarbeitung langer Textpassagen und die Interpretation von Tabellen.

Die Ergebnisse zeigen, dass spezialisierte Datensätze und ein darauf abgestimmtes Vortraining die Leistung der LLMs im Finanzbereich deutlich verbessern. Allerdings führen allgemeine Verbesserungen, wie beispielsweise das Finetuning mit "Chain-of-Thought" (CoT), nicht immer zu konsistenten Leistungssteigerungen. Besonders bei Aufgaben mit langen Texten oder mehreren Tabellen stoßen alle untersuchten Reasoning-Strategien an ihre Grenzen.

Um diese Herausforderungen zu adressieren, entwickelten die Forscher ein eigenes, auf Finanzaufgaben optimiertes Modell basierend auf Llama-3.1-8B-Instruct. Durch CoT-Finetuning und Reinforcement Learning mit domänenspezifischen Reasoning-Pfaden erzielten sie eine deutliche Verbesserung der Leistung. Bereits mit einem einfachen Finetuning auf einem Finanzdatensatz erreichte das Modell eine konsistente Leistungssteigerung von 10% über alle Aufgaben hinweg und übertraf damit alle anderen 8B-Modelle sowie Llama3-70B-Instruct und Llama3.1-70B-Instruct im Durchschnitt.

Diese Ergebnisse unterstreichen die Notwendigkeit von domänenspezifischen Anpassungen für den Einsatz von LLMs im Finanzwesen. Zukünftige Forschung sollte sich verstärkt auf die Verbesserung der Fähigkeiten im Umgang mit mehreren Tabellen, langen Texten und der korrekten Interpretation von Finanzterminologie konzentrieren.

Die Studie liefert wertvolle Erkenntnisse für die Entwicklung und den Einsatz von KI-Modellen im Finanzsektor. Sie zeigt, dass spezialisierte Modelle ein großes Potenzial bieten, betont aber gleichzeitig die Notwendigkeit weiterer Forschung, um die Herausforderungen komplexer Finanzaufgaben zu bewältigen. Die Bereitstellung der Datensätze, Modelle und Codes durch die Forscher ermöglicht es anderen Wissenschaftlern, auf diesen Ergebnissen aufzubauen und die Entwicklung im Bereich der KI im Finanzwesen weiter voranzutreiben. Ein eigens eingerichtetes Leaderboard soll den Vergleich zukünftiger Datensätze und Modelle erleichtern und die Forschung in diesem Bereich weiter fördern.

Bibliographie:

1. Qian, L., Zhou, W., Wang, Y., Peng, X., Huang, J., & Xie, Q. (n.d.). Fino1: On the Transferability of Reasoning Enhanced LLMs to Finance.
2. Hugging Face Papers. https://huggingface.co/papers/2502.08127
3. Hugging Face Papers. https://huggingface.co/papers?ref=lorcandempsey.net
4. Arxiv. https://arxiv.org/abs/2305.01505
5. NeurIPS. https://neurips.cc/virtual/2023/poster/72670
6. Arxiv. https://arxiv.org/html/2311.10723v2
7. SSRN. https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5048316
8. ACL Anthology. https://aclanthology.org/2023.finnlp-1.3.pdf
9. Traive Finance. https://traivefinance.com/wp-content/uploads/2023/11/ICAIF_LLM_with_names.pdf
10. OpenReview. https://openreview.net/forum?id=AeGrf1uY0p