Die Rolle der Lernrate beim Fine-Tuning von LoRA-Varianten für große Sprachmodelle

Die Feinabstimmung großer Sprachmodelle (LLMs) ist ein zentraler Schritt, um diese Modelle an spezifische Aufgaben anzupassen. Angesichts der enormen Parameterzahlen moderner LLMs sind Parameter-Efficient Fine-Tuning (PEFT)-Methoden wie Low-Rank Adaptation (LoRA) zu einem De-facto-Standard geworden. Jüngste Forschungsarbeiten haben jedoch eine kritische Neubewertung der vermeintlichen Fortschritte bei LoRA-Varianten vorgenommen und kommen zu dem Schluss, dass die Lernrate ein entscheidender Faktor für die erzielte Leistung ist.

Die Bedeutung der Lernrate im Fine-Tuning von LLMs

LoRA ermöglicht es, nur einen kleinen Bruchteil der Parameter eines LLM zu aktualisieren, während der Großteil des vortrainierten Modells eingefroren bleibt. Dies reduziert den Rechen- und Speicheraufwand erheblich. Aufbauend auf diesem Paradigma wurden zahlreiche LoRA-Varianten vorgeschlagen, die alternative Initialisierungsstrategien oder architektonische Modifikationen einführen und dabei oft erhebliche Leistungsverbesserungen gegenüber dem ursprünglichen "Vanilla LoRA" beanspruchen. Diese Verbesserungen wurden jedoch häufig unter festen oder nur eng abgestimmten Hyperparameter-Einstellungen erzielt.

Eine systematische Neubewertung von fünf repräsentativen LoRA-PEFT-Methoden – darunter Vanilla LoRA sowie Varianten wie PiSSA, MiLoRA, Init[AB] und DoRA – unter einem einheitlichen Bewertungsprotokoll hat nun gezeigt, dass die Wahl der Lernrate eine überragende Rolle spielt. Die Untersuchung umfasste umfangreiche Hyperparametersuchen über mathematische und Code-Generierungsaufgaben bei verschiedenen Modellgrößen (Qwen3-0.6B, Gemma-3-1B, Llama-2-7B).

Umfassende Hyperparameter-Suche enthüllt ähnliche Leistungsniveaus

Die zentrale Erkenntnis der Studie ist, dass die verschiedenen LoRA-Methoden, sobald ihre Lernraten korrekt abgestimmt sind, ähnliche Spitzenleistungen (innerhalb von 1-2%) erreichen. Dies deutet darauf hin, dass das einfache "Vanilla LoRA" weiterhin eine wettbewerbsfähige Basismethode darstellt. Die Autoren schlussfolgern, dass unsachgemäße Lernraten oft ein falsches Bild von den Fortschritten bei LoRA-Varianten vermitteln.

Die Analyse wies zudem nach, dass unterschiedliche LoRA-Methoden bevorzugte, aber oft disparate Lernratenbereiche aufweisen. Beispielsweise benötigte PiSSA eine deutlich niedrigere optimale Lernrate als Vanilla LoRA, während andere Methoden in ähnlichen Bereichen wie LoRA lagen. Dies impliziert, dass Erfolge, die unter einer einzigen Trainingskonfiguration erzielt werden, möglicherweise keine robusten oder zuverlässigen methodischen Vorteile widerspiegeln.

Interessanterweise zeigten sich innerhalb dieser marginalen Leistungsunterschiede auch rangabhängige Verhaltensweisen: Einige fortgeschrittene Varianten übertrafen LoRA bei höheren Rängen leicht, blieben aber bei niedrigeren Rängen zurück (oder umgekehrt). Dies betont die Notwendigkeit, Verbesserungen über das gesamte Rangspektrum hinweg zu validieren.

Hessian-Analyse zur Erklärung optimaler Lernraten

Um die unterschiedlichen optimalen Lernratenbereiche zu erklären, wurde eine Analyse der Hessischen Matrix der Verlustfunktion durchgeführt. Die Hessische Matrix beschreibt die Krümmung der Verlustlandschaft. Ihr größter Eigenwert (λmax) ist eng mit der optimalen Lernrate verbunden, die umgekehrt proportional zu λmax skaliert. Klassische Lerntheorien besagen, dass eine effiziente Lernrate typischerweise im Bereich von 1/λmax bis 2/λmax liegt.

Die Ergebnisse der Studie zeigen, dass PiSSA die trainierbaren Parameter in einem Zustand deutlich höherer Krümmung initialisiert als andere Methoden, was theoretisch die Notwendigkeit einer niedrigeren Lernrate rechtfertigt. Bei anderen Initialisierungsvarianten waren die Eigenwertgrößen denen des Vanilla LoRA ähnlicher. Diese Beobachtungen stimmen mit den experimentell ermittelten optimalen Lernraten überein.

Implikationen für die Forschung und Praxis

Die vorliegende Arbeit hat wichtige Implikationen für die zukünftige Forschung und Anwendung von PEFT-Methoden:

- Die Ergebnisse legen nahe, dass die Optimierung von Hyperparametern, insbesondere der Lernrate, für die Leistungsbewertung von LoRA-Varianten von entscheidender Bedeutung ist. Studien, die dies vernachlässigen, könnten zu irreführenden Schlussfolgerungen führen. - Das "Vanilla LoRA" bleibt eine starke Basismethode. Neuere, komplexere Varianten bieten möglicherweise keine systematischen Vorteile, wenn sie nicht sorgfältig auf ihre spezifischen optimalen Hyperparameter abgestimmt werden. - Eine umfassende Hyperparametersuche sollte ein Standardprotokoll in der PEFT-Forschung sein, um die Zuverlässigkeit und Übertragbarkeit von Forschungsergebnissen zu gewährleisten. - Die Verbindung zwischen der Krümmung der Verlustlandschaft (Hessian-Eigenwerte) und der optimalen Lernrate bietet einen theoretischen Rahmen zum besseren Verständnis und zur Vorhersage des Verhaltens von LoRA-Varianten.

Die Studie konzentrierte sich auf Decoder-only LLMs bis zu einer Größe von 7B Parametern und auf mathematische sowie Code-Generierungsaufgaben. Die Skalierbarkeit dieser Erkenntnisse auf größere Modelle und andere Aufgabenbereiche bedarf weiterer Überprüfung. Dennoch liefert die Arbeit einen wertvollen Beitrag zur kritischen Bewertung und Weiterentwicklung von Parameter-Efficient Fine-Tuning-Techniken.

Bibliographie

1. Yu-Ang Lee, Ching-Yun Ko, Pin-Yu Chen, Mi-Yen Yeh. "Learning Rate Matters: Vanilla LoRA May Suffice for LLM Fine-tuning." arXiv preprint arXiv:2602.04998, 2026.
2. Hugging Face. "Daily Papers - Hugging Face." https://huggingface.co/papers?q=LoRA-based%20finetuning. Accessed February 7, 2026.
3. Oscar Key, Jean Kaddour, Pasquale Minervini. "Local LoRA: Memory-Efficient Fine-Tuning of Large Language Models." https://openreview.net/pdf?id=LHKmzWP7RN. Accessed February 7, 2026.
4. Soufiane Hayou, Nikhil Ghosh, Bin Yu. "The Impact of Initialization on LoRA Finetuning Dynamics." https://par.nsf.gov/servlets/purl/10635700. Accessed February 7, 2026.
5. Sunil Rao. "The Comprehensive Guide to Fine-tuning LLM." Medium, https://medium.com/data-science-collective/comprehensive-guide-to-fine-tuning-llm-4a8fd4d0e0af. Published June 14, 2025.
6. Kai Lv, Yuqing Yang, Tengxiao Liu, Qipeng Guo, Xipeng Qiu. "Full Parameter Fine-tuning for Large Language Models with Limited Resources." https://aclanthology.org/2024.acl-long.445.pdf. Published August 11, 2024.
7. Dan Biderman, Jacob Portes, Jose Javier Gonzalez Ortiz, Mansheej Paul, Philip Greengard, Connor Jennings, Daniel King, Sam Havens, Vitaliy Chiley, Jonathan Frankle, Cody Blakeney, John P. Cunningham. "LoRA Learns Less and Forgets Less." arXiv preprint arXiv:2405.09673, 2024.
8. Jui-Nan Yen, Si Si, Zhao Meng, Felix Yu, Sai Surya Duvvuri, Inderjit S. Dhillon, Cho-Jui Hsieh, Sanjiv Kumar. "LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization." arXiv preprint arXiv:2410.20625, 2024.