Fortschritte in der mathematischen Problemlösung durch iteratives Multi-Turn Präferenzlernen

Herausforderungen und Lücken in bestehenden Ansätzen

Ein zentrales Problem bestehender Algorithmen des direkten Präferenzlernens liegt darin, dass sie ursprünglich für Single-Turn-Chat-Aufgaben entwickelt wurden und die Komplexität von Multi-Turn-Überlegungen und der Integration externer Werkzeuge nicht vollständig erfassen. Dies stellt eine signifikante Herausforderung dar, da für mathematische Aufgaben, die Werkzeuge integrieren, komplexe und mehrstufige Überlegungen notwendig sind.

Das Multi-Turn Direct Preference Learning Framework

Um diese Lücke zu schließen, wurde ein neues Multi-Turn Direct Preference Learning Framework entwickelt. Dieses Framework ist speziell für den Kontext mathematischer Aufgaben ausgelegt, die die Integration externer Werkzeuge erfordern. Es nutzt Feedback von Code-Interpretern und optimiert Präferenzen auf Trajektorienebene. Zu den spezifischen Implementierungen dieses Frameworks gehören Multi-Turn DPO und Multi-Turn KTO.

Validierung und Ergebnisse

Die Effektivität des neuen Frameworks wurde durch das Training verschiedener Sprachmodelle mit einem erweiterten Prompt-Set aus den GSM8K- und MATH-Datensätzen validiert. Die Ergebnisse zeigen erhebliche Verbesserungen:

- Die Leistung des Gemma-1.1-it-7B Modells stieg von 77,5% auf 83,9% bei GSM8K und von 46,1% auf 51,2% bei MATH. - Ein Gemma-2-it-9B Modell verbesserte sich von 84,1% auf 86,3% bei GSM8K und von 51,0% auf 54,5% bei MATH.

Schlussfolgerung

Die Studie zeigt, dass das Multi-Turn Direct Preference Learning Framework ein vielversprechender Ansatz ist, um die mathematischen Problemlösungsfähigkeiten großer Sprachmodelle weiter zu verbessern. Durch die gezielte Integration externer Werkzeuge und die Optimierung von Präferenzen auf Trajektorienebene können signifikante Leistungssteigerungen erzielt werden. Diese Fortschritte eröffnen neue Möglichkeiten für die Anwendung von LLMs in komplexen mathematischen Aufgaben und darüber hinaus.

Bibliographie

1. http://www.arxiv.org/abs/2409.02392
2. http://www.arxiv.org/pdf/2409.02392
3. https://twitter.com/StatsPapers/status/1831649081120243993
4. https://chatpaper.com/chatpaper/zh-CN/paper/55359
5. https://weixiongust.github.io/WeiXiongUST/cv.pdf
6. https://chatpaper.com/chatpaper/?id=7&date=1725465600&page=1
7. https://github.com/dair-ai/ML-Papers-of-the-Week
8. https://twitter.com/fly51fly/status/1831813129787019275
9. https://arxiv-sanity-lite.com/?rank=pid&pid=2404.02078
10. https://icml.cc/virtual/2024/papers.html