Hybride Sprachmodelle: Die Integration von GPT und BERT für verbesserte Leistung und Flexibilität

Die Verschmelzung von GPT und BERT: Ein hybrider Ansatz im Sprachmodelltraining

Die Welt der Sprachmodelle wird von zwei dominierenden Paradigmen geprägt: den kausalen Sprachmodellen (CLM) wie GPT und den maskierten Sprachmodellen (MLM) wie BERT. Während CLMs sich durch ihre Fähigkeit zur effizienten Textgenerierung auszeichnen, da sie Texte sequenziell von links nach rechts verarbeiten, brillieren MLMs bei Aufgaben, die ein tiefes Sprachverständnis erfordern. Durch die bidirektionale Verarbeitung des Textes – also die Berücksichtigung sowohl des vorhergehenden als auch des nachfolgenden Kontextes – können MLMs reichhaltigere kontextuelle Repräsentationen erstellen.

Ein kürzlich veröffentlichtes Paper von Charpentier und Samuel (2024) präsentiert einen neuartigen Ansatz, der die Stärken beider Paradigmen in einem einzigen Modell vereint: GPT-BERT. Der Kerngedanke besteht darin, die beiden Trainingsziele durch eine Neuformulierung der MLM-Ausgabe zu vereinheitlichen. Anstatt die maskierten Token an ihren ursprünglichen Positionen vorherzusagen, werden die Vorhersagen um eine Position nach rechts verschoben und somit an das Next-Token-Vorhersagemuster der CLMs angepasst. Diese Modifikation ermöglicht das Training eines einzigen Modells, das nahtlos zwischen maskiertem und kausalem Modus wechseln kann, ohne architektonische Änderungen oder zusätzliche Parameter.

Die Methodik hinter GPT-BERT

Die Grundlage für die Vereinigung der beiden Ansätze bildet die sogenannte "Masked Next-Token Prediction" (MNTP). Hierbei wird, wie beim traditionellen MLM, ein Token maskiert. Der Unterschied besteht darin, dass die Vorhersage für das maskierte Token an der vorhergehenden Position ausgegeben wird. Dadurch wird erreicht, dass sowohl MLM als auch CLM auf das gleiche Vorhersagemuster ausgerichtet sind.

Um sicherzustellen, dass das Modell alle Daten für beide Zielsetzungen sieht, wird der Datensatz dupliziert. Ein Satz dient dem kausalen, der andere dem maskierten Training. Das Verhältnis zwischen kausalem und maskiertem Training kann dabei flexibel angepasst werden.

Die Architektur des Transformer-Modells basiert auf LTG-BERT, wurde jedoch um einige zusätzliche Modifikationen erweitert, darunter ein Attention Gate, Layer Weighting, Batch-Size Scheduling und Mask Scheduling. Diese Anpassungen zielen darauf ab, die Leistung und die Sample-Effizienz des Modells zu verbessern.

Evaluierung und Ergebnisse

Die Leistungsfähigkeit von GPT-BERT wurde im Rahmen der BabyLM Challenge 2024 evaluiert. Die Ergebnisse zeigen, dass das hybride Training sowohl maskierte als auch kausale Modelle in ihrer Leistung übertrifft. Dies deutet darauf hin, dass die Integration von MLM- und CLM-Zielen während des Pre-Trainings zu robusteren und leistungsfähigeren Sprachmodellen führt, selbst in Szenarien mit begrenzten Ressourcen.

Ausblick

Der hybride Ansatz von GPT-BERT eröffnet neue Möglichkeiten für die Entwicklung effizienterer und vielseitigerer Sprachmodelle. Durch die Kombination der Stärken von CLM und MLM in einem einzigen Modell können zukünftige Anwendungen von einer verbesserten Textgenerierung und einem tieferen Sprachverständnis profitieren. Die Veröffentlichung der Modelle, Trainingskorpora und des Codes durch die Autoren ermöglicht es der Forschungsgemeinschaft, auf diesem vielversprechenden Ansatz aufzubauen und ihn weiterzuentwickeln.

Bibliographie:

1. Charpentier, L. G. G., & Samuel, D. (2024). GPT or BERT: why not both?. arXiv preprint arXiv:2410.24159.
2. https://arxiv.org/html/2410.24159v1
3. https://www.chatpaper.com/chatpaper/paper/72923
4. https://medium.com/@prudhvithtavva/bert-vs-gpt-a-tale-of-two-transformers-that-revolutionized-nlp-11fff8e61984
5. https://datascience.stackexchange.com/questions/123053/why-does-everyone-use-bert-in-research-instead-of-llama-or-gpt-or-palm-etc
6. https://blog.invgate.com/gpt-3-vs-bert
7. https://bert-vs-gpt2.dbvis.de/
8. https://livechatai.com/blog/gpt-vs-bert
9. https://www.coursera.org/articles/bert-vs-gpt
10. https://www.exxactcorp.com/blog/deep-learning/gpt-3-vs-bert-llm-comparison