Adaptive Schwierigkeitsgradierung zur Effizienzsteigerung bei der CoT-Datengenerierung für LLMs

Effizientere CoT-Datengenerierung durch adaptive Schwierigkeitsgrade für LLMs

Die Entwicklung leistungsstarker Sprachmodelle (LLMs) im Bereich der Künstlichen Intelligenz (KI) schreitet rasant voran. Ein wichtiger Faktor für die Verbesserung der Fähigkeiten von LLMs, insbesondere im Hinblick auf komplexes Schlussfolgern, ist die Verfügbarkeit qualitativ hochwertiger Trainingsdaten. Ein vielversprechender Ansatz hierfür ist die Nutzung von Chain-of-Thought (CoT) Daten, die den Denkprozess eines Modells durch schrittweise Argumentation transparent machen. Eine neue Forschungsarbeit des AlM DeepDive Teams von Zhongxing Telecom Equipment (ZTE) stellt nun eine innovative Methode zur Generierung von CoT-Daten vor, die auf einer LLM-adaptiven Schwierigkeitsgradierung von Fragen basiert.

Bisherige Ansätze zur CoT-Datengenerierung konzentrierten sich oft auf die Verwendung großer, leistungsstarker LLMs wie DeepSeek-R1 (671B) zur Erstellung der Daten. Diese Methode ist zwar effektiv, aber auch ressourcenintensiv und kostspielig. Die neue Methode von ZTE zielt darauf ab, die Effizienz der CoT-Datengenerierung zu steigern, indem der Schwierigkeitsgrad der Fragen an die Fähigkeiten des jeweiligen LLMs angepasst wird.

LLM-adaptive Schwierigkeitsgradierung

Der Kern der neuen Methode liegt in der adaptiven Schwierigkeitsgradierung. Zunächst wird die Schwierigkeit der Fragen anhand der Leistungsfähigkeit des zu trainierenden LLMs bewertet und eine LLM-adaptive Datenbank erstellt. Anschließend werden Fragen aus dieser Datenbank basierend auf einer Verteilung der Schwierigkeitsgrade ausgewählt. DeepSeek-R1 (671B) wird dann verwendet, um für diese ausgewählten Fragen hochwertige CoT-Daten mit korrekten Antworten zu generieren. Durch die Anpassung des Schwierigkeitsgrades wird der Aufwand für die Datengenerierung reduziert und die Effizienz des überwachten Finetunings (SFT) des Modells erhöht.

Verbesserte Leistung in Mathematik und Codegenerierung

Die Wirksamkeit dieser Methode wurde in den Bereichen komplexe mathematische Wettbewerbsaufgaben und Codegenerierung getestet. Die Ergebnisse sind vielversprechend: Mit nur 2.000 hochwertigen mathematischen CoT-Daten übertraf das ZMath-32B Modell von ZTE das DeepSeek-Distill-32B Modell in mathematischen Schlussfolgerungsaufgaben. Ähnliche Ergebnisse wurden auch im Bereich der Codegenerierung erzielt, wo das ZCode-32B Modell mit ebenfalls nur 2.000 CoT-Daten das DeepSeek-Distill-32B Modell übertraf.

Implikationen für die Zukunft der LLM-Entwicklung

Die von ZTE entwickelte Methode zur LLM-adaptiven CoT-Datengenerierung bietet ein großes Potenzial für die zukünftige Entwicklung von LLMs. Durch die effizientere Nutzung von Ressourcen und die gezielte Anpassung der Trainingsdaten an die Fähigkeiten des jeweiligen LLMs können kleinere Modelle mit deutlich weniger Aufwand trainiert und deren Leistung gesteigert werden. Dies eröffnet neue Möglichkeiten für den Einsatz von LLMs in einer Vielzahl von Anwendungen, von der Lösung komplexer mathematischer Probleme bis hin zur automatisierten Codegenerierung.

Die Forschungsergebnisse unterstreichen die Bedeutung von qualitativ hochwertigen Trainingsdaten und innovativen Methoden zur Datengenerierung für die Weiterentwicklung von KI-Systemen. Die adaptive Schwierigkeitsgradierung von Fragen stellt einen wichtigen Schritt in Richtung effizienterer und leistungsfähigerer LLMs dar.

Bibliographie:

1. https://arxiv.org/abs/2504.11919
2. https://arxiv.org/html/2504.11919v1
3. https://powerdrill.ai/discover/summary-rethinking-the-generation-of-high-quality-cot-data-cm9na2n1j4pxq07svnwf8v02a
4. http://paperreading.club/page?id=299911
5. https://huggingface.co/papers
6. https://github.com/Xuchen-Li/llm-arxiv-daily
7. https://chatpaper.com/chatpaper/zh-CN?id=2&date=1744819200&page=1
8. https://www.sciencedirect.com/science/article/pii/S0933365725000132
9. https://github.com/dair-ai/ML-Papers-of-the-Week
10. https://papers.nips.cc/paper_files/paper/2024/file/6c1d2496c04d1ef648d58684b699643f-Paper-Datasets_and_Benchmarks_Track.pdf