Neue Trainingsmethoden für Qwen2-VL-Modelle in der LLaMA-Factory

Direct Preference Optimization (DPO) im Vergleich zu Proximal Policy Optimization (PPO)

Traditionell wird RLHF durch den Einsatz eines Belohnungsmodells erreicht, das das Hauptmodell anleitet, hoch bewertete Antworten häufiger zu generieren und gering bewertete Antworten seltener. Diese Methode verwendet eine zusätzliche Referenzmodellkomponente, um sicherzustellen, dass das Hauptmodell nicht zu stark von der ursprünglichen Struktur abweicht. Dies geschieht oft durch die Einführung einer KL-Strafe. DPO hingegen verzichtet auf das Belohnungsmodell und optimiert das Hauptmodell direkt anhand von Präferenzdaten. Diese Methode nutzt eine analytische Umwandlung der Belohnungsfunktion in eine optimale RL-Politik, die es ermöglicht, die RL-Verlustfunktion direkt auf das Referenzmodell anzuwenden. Dies vereinfacht den Optimierungsprozess erheblich und erfordert keine komplizierte RL-basierte Feinabstimmung.

Wie trainiert man mit DPO?

Das Training mit DPO erfordert mehrere Schritte: - Ein supervisiertes Feinabstimmung (SFT)-Schritt - Das Annotieren von Daten mit Präferenzlabels - Das Trainieren eines Belohnungsmodells auf den Präferenzdaten - Den RL-Optimierungsschritt Die TRL-Bibliothek bietet Unterstützung für alle diese Schritte. Mit DPO entfällt jedoch die Notwendigkeit eines Belohnungsmodells und der RL-Optimierung, da die Präferenzdaten direkt zur Optimierung verwendet werden können.

Experiment mit Llama v2

Ein bemerkenswertes Experiment war die Feinabstimmung des Llama v2 Modells mit der DPO-Methode. Hierbei wurde das Modell zunächst mit dem QLoRA-Verfahren auf den SFT-Daten feinabgestimmt. Die Feinabstimmung erfolgte in einer 4-Bit-Quantisierung, was den Speicherbedarf reduziert und die Effizienz erhöht. Nach der SFT-Phase wurde das Modell mit der DPO-Methode weiter optimiert. Hierbei wurden sowohl das Hauptmodell als auch das Referenzmodell aus der vorherigen SFT-Phase verwendet. Die Modelle wurden mit LoRa-Adaptern geladen und in einem 4-Bit-Konfigurationsmodus trainiert.

Schlussfolgerung

Die Einführung von DPO und anderen Optimierungsmethoden für Qwen2-VL-Modelle bei der LLaMA-Factory stellt einen bedeutenden Fortschritt in der Feinabstimmung großer Sprachmodelle dar. Diese Methoden vereinfachen den Optimierungsprozess und ermöglichen es, Modelle effizienter und effektiver zu trainieren.

Bibliographie:

1. https://huggingface.co/blog/dpo-trl
2. https://huggingface.co/blog/stackllama
3. https://github.com/hiyouga/LLaMA-Factory/issues/1829
4. https://github.com/hiyouga/LLaMA-Factory/blob/main/examples/train_lora/llama3_lora_dpo.yaml
5. https://github.com/hiyouga/LLaMA-Factory/releases
6. https://github.com/hiyouga/LLaMA-Factory/blob/main/src/llamafactory/train/dpo/trainer.py
7. https://github.com/PKU-Alignment/safe-rlhf/blob/main/README.md
8. https://github.com/hiyouga/LLaMA-Factory/issues/4727