Bewertung von CodeLLMs unter Berücksichtigung menschlicher Präferenzen mit CodeArena

CodeLLMs und menschliche Präferenzen: Ein neuer Benchmark für die Bewertung von KI-gestützter Codegenerierung

Die Entwicklung von Code Large Language Models (CodeLLMs) hat in den letzten Jahren rasante Fortschritte in der automatisierten Codegenerierung erzielt. Bisherige Benchmarks konzentrierten sich jedoch primär auf die funktionale Korrektheit des generierten Codes anhand von Testfällen. Die Übereinstimmung mit menschlichen Präferenzen, die in realen Anwendungsszenarien eine entscheidende Rolle spielt, blieb dabei weitgehend unberücksichtigt. Ein neuer Benchmark namens CodeArena adressiert diese Lücke und bietet eine Grundlage zur Bewertung, wie gut CodeLLMs die Erwartungen von Entwicklern erfüllen.

CodeArena: Ein praxisnaher Benchmark

CodeArena umfasst 397 sorgfältig ausgewählte Beispiele, die die Komplexität und Vielfalt realer Programmieraufgaben abbilden. Die Beispiele decken 40 Kategorien und 44 Programmiersprachen ab und basieren auf konkreten Nutzeranfragen. Im Gegensatz zu bisherigen Benchmarks, die oft auf isolierte Code-Schnipsel fokussieren, berücksichtigt CodeArena den gesamten Kontext der Aufgabenstellung. Dies ermöglicht eine realistischere Bewertung der CodeLLMs, die über die reine Überprüfung der funktionalen Korrektheit hinausgeht.

Die in CodeArena enthaltenen Beispiele wurden einem strengen Prozess der manuellen Annotation und Qualitätskontrolle unterzogen. Vier Vollzeit-Mitarbeiter mit Expertise in verschiedenen Programmiersprachen annotierten die Beispiele und vier Senior-Entwickler führten eine zusätzliche Qualitätsprüfung durch. Dieser mehrstufige Prozess gewährleistet die hohe Qualität und Relevanz der im Benchmark enthaltenen Daten.

SynCode-Instruct: Ein synthetischer Trainingsdatensatz

Neben CodeArena wurde auch SynCode-Instruct entwickelt, ein umfangreicher synthetischer Trainingsdatensatz mit fast 20 Milliarden Tokens. Dieser Datensatz basiert auf von Webseiten extrahierten Anweisungen und dient der Verbesserung der Leistung von CodeLLMs. Die Erstellung von SynCode-Instruct umfasste mehrere Schritte, darunter die Filterung von Code-bezogenen Texten, die Generierung neuer Fragen und Antworten mithilfe von Qwen2.5-72B und die Bewertung der generierten Antworten durch ein LLM.

Die Kombination von CodeArena und SynCode-Instruct bietet ein leistungsstarkes Werkzeug zur Entwicklung und Bewertung von CodeLLMs, die den menschlichen Präferenzen entsprechen. Der auf SynCode-Instruct trainierte Qwen2.5-SynCoder dient als starke Baseline für CodeArena und zeigt das Potenzial von synthetischen Trainingsdaten zur Verbesserung der Codegenerierung.

Evaluierung und Ergebnisse

Über 40 LLMs wurden anhand von CodeArena systematisch evaluiert. Die Ergebnisse zeigen signifikante Leistungsunterschiede zwischen CodeArena und traditionellen, auf Codeausführung basierenden Benchmarks. Insbesondere wurde eine deutliche Lücke zwischen Open-Source-CodeLLMs wie Qwen2.5-Coder und proprietären LLMs wie OpenAI o1 festgestellt. Dies unterstreicht die Bedeutung der Ausrichtung von KI-Modellen auf menschliche Präferenzen im Bereich der Codegenerierung.

Die Evaluierungsergebnisse werden in einem dynamischen Leaderboard festgehalten, das die kontinuierliche Bewertung und den Vergleich verschiedener CodeLLMs ermöglicht. CodeArena bietet somit eine wertvolle Ressource für die Community, um den Fortschritt in der Entwicklung von nutzerfreundlichen und effektiven KI-gestützten Codegenerierungs-Tools zu verfolgen.

Ausblick

Die Entwicklung von CodeLLMs, die den menschlichen Präferenzen entsprechen, ist ein fortlaufender Prozess. CodeArena und SynCode-Instruct stellen wichtige Schritte in diese Richtung dar und legen die Grundlage für zukünftige Forschung und Entwicklung. Die Berücksichtigung menschlicher Erwartungen bei der Entwicklung von KI-Systemen ist entscheidend, um die Akzeptanz und den praktischen Nutzen dieser Technologien zu maximieren. Mindverse, als deutscher Anbieter von KI-Lösungen, verfolgt diese Entwicklungen aufmerksam und integriert die neuesten Erkenntnisse in seine Produkte, um seinen Kunden stets die besten KI-gestützten Tools für die Content-Erstellung und -Recherche zu bieten.

Bibliography

1. Yang, J., Yang, J., Jin, K., Miao, Y., Zhang, L., Yang, L., Cui, Z., Zhang, Y., Hui, B., & Lin, J. (2024). Evaluating and Aligning CodeLLMs on Human Preference. arXiv preprint arXiv:2412.05210.
2. Yang, J., Yang, J., Jin, K., Miao, Y., Zhang, L., Yang, L., Cui, Z., Zhang, Y., Hui, B., & Lin, J. (2024). Evaluating and Aligning CodeLLMs on Human Preference. arXiv preprint arXiv:2412.05210v1.
3. Evaluating and Aligning CodeLLMs on Human Preference. ChatPaper. Retrieved from https://chatpaper.com/chatpaper/paper/88248
4. Kumar, S. (2024, December 11). Evaluating and Aligning Code Generation LLMs on Human Preferences. LinkedIn. https://www.linkedin.com/posts/techsachinkumar_evaluating-and-aligning-code-generation-llms-activity-7271856819545772033-bVc9
5. Evaluating and Aligning CodeLLMs on Human Preference. Paper Reading AI Learner. Retrieved from https://paperreading.club/page?id=270993
6. Yang, J., Yang, J., Jin, K., Miao, Y., Zhang, L., Yang, L., Cui, Z., Zhang, Y., Hui, B., & Lin, J. (2024). Aligning CodeLLMs with Direct Preference Optimization. ResearchGate. https://www.researchgate.net/publication/385216219_Aligning_CodeLLMs_with_Direct_Preference_Optimization
7. Humaneval. Papers with Code. Retrieved from https://paperswithcode.com/task/humaneval?page=3&q=
8. Yufei, G. (n.d.). AlignLLMHumanSurvey. GitHub. Retrieved from https://github.com/GaryYufei/AlignLLMHumanSurvey
9. Wang, Y., Zhong, W., Li, L., Mi, F., Zeng, X., Huang, W., Shang, L., Jiang, X., & Liu, Q. (2024). Aligning Large Language Models with Human: A Survey. In Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (pp. 9007-9032). https://aclanthology.org/2024.acl-long.572.pdf
10. Ouyang, L., Wu, Y., Li, X., Zhang, T., Liang, P., Zhou, D., … & Wen, Y. (2023). Training language models to follow instructions with human feedback. In Advances in Neural Information Processing Systems (Vol. 36). https://proceedings.neurips.cc/paper_files/paper/2023/file/99b419554537c66bf27e5eb7a74c7de4-Paper-Conference.pdf