Mix-LN: Ein neuer Ansatz zur Schichtnormalisierung in großen Sprachmodellen

Tiefere Schichten in LLMs aktivieren: Mix-LN – Ein neuer Ansatz zur Schichtnormalisierung

Große Sprachmodelle (LLMs) haben in den letzten Jahren beeindruckende Fortschritte erzielt. Trotz ihrer Leistungsfähigkeit zeigen aktuelle Studien, dass die tieferen Schichten dieser Modelle oft nur minimal zum Gesamtergebnis beitragen und ohne merklichen Leistungsverlust reduziert werden könnten. Während dies von manchen als Chance zur Modellkomprimierung gesehen wird, identifizieren Forschende diesen Umstand als ein Defizit im Trainingsprozess, das auf die weitverbreitete Anwendung der Pre-Layer-Normalisierung (Pre-LN) zurückzuführen ist.

Pre-LN, wie sie in Modellen wie GPT und LLaMA verwendet wird, führt zu abnehmenden Gradientennormen in den tieferen Schichten, was deren Effektivität mindert. Im Gegensatz dazu erhält die Post-Layer-Normalisierung (Post-LN) größere Gradientennormen in tieferen Schichten, leidet jedoch unter verschwindenden Gradienten in den früheren Schichten. Diese Problematik stellt eine Herausforderung für das Training tiefer Netzwerke dar, da die Gradienten, die das Lernen der Modellparameter steuern, in den tieferen Schichten zu klein werden, um effektiv zu wirken.

Um dieses Problem zu lösen, wurde Mix-LN entwickelt, eine neuartige Normalisierungstechnik, die die Stärken von Pre-LN und Post-LN innerhalb desselben Modells kombiniert. Mix-LN wendet Post-LN auf die früheren Schichten und Pre-LN auf die tieferen Schichten an, wodurch gleichmäßigere Gradienten über alle Schichten hinweg gewährleistet werden. Dieser Ansatz zielt darauf ab, die Vorteile beider Methoden zu nutzen und gleichzeitig ihre jeweiligen Nachteile zu minimieren.

Extensive Experimente mit verschiedenen Modellgrößen von 70 Millionen bis 7 Milliarden Parametern zeigen, dass Mix-LN sowohl Pre-LN als auch Post-LN durchweg übertrifft. Mix-LN fördert ausgewogenere Gradientennormen im gesamten Netzwerk und verbessert die Gesamtqualität des LLM-Pre-Trainings. Die Ergebnisse deuten darauf hin, dass durch die Anwendung von Mix-LN alle Schichten des Netzwerks – sowohl flache als auch tiefe – effektiv zum Training beitragen können.

Darüber hinaus wurde gezeigt, dass mit Mix-LN vortrainierte Modelle im Vergleich zu Modellen, die Pre-LN oder Post-LN verwenden, während des Supervised Fine-Tunings (SFT) und des Reinforcement Learning from Human Feedback (RLHF) besser lernen. Dies unterstreicht die Bedeutung qualitativ hochwertiger tiefer Schichten für die Feinabstimmung und Anpassung von LLMs an spezifische Aufgaben und Benutzerpräferenzen.

Indem Mix-LN die Ineffizienz der tiefen Schichten in aktuellen LLMs effektiv adressiert, schaltet es deren Potenzial frei und erhöht die Modellkapazität, ohne die Modellgröße zu erhöhen. Dieser Aspekt ist besonders relevant im Kontext der steigenden Rechenkosten und des Ressourcenbedarfs für das Training immer größerer Sprachmodelle.

Die Forschungsergebnisse zu Mix-LN bieten einen vielversprechenden Ansatz zur Optimierung des Trainingsprozesses von LLMs und zur Verbesserung ihrer Leistungsfähigkeit. Durch die Kombination von Pre-LN und Post-LN ermöglicht Mix-LN eine effektivere Nutzung aller Schichten des Netzwerks und trägt dazu bei, das volle Potenzial von LLMs auszuschöpfen.

Bibliographie:

1. https://openreview.net/forum?id=BChpQU64RG
2. https://openreview.net/pdf/6ebfd55a1f1627df0ba79e64b365c1b3fca31ae8.pdf
3. https://arxiv.org/abs/2304.14802
4. https://sh-tsang.medium.com/review-pre-ln-transformer-on-layer-normalization-in-the-transformer-architecture-b6c91a89e9ab
5. https://aclanthology.org/2024.dlnld-1.pdf
6. https://www.redbooks.ibm.com/redbooks/pdfs/sg248409.pdf
7. https://epoch.ai/data/epochdb/notable_ai_models.csv
8. https://cvpr.thecvf.com/Conferences/2024/AcceptedPapers
9. https://neurips.cc/virtual/2023/papers.html
10. https://nips.cc/virtual/2023/events/spotlight-posters-2023