Niedrigbit-Quantisierung und ihre Auswirkungen auf untrainierte große Sprachmodelle

Niedrigbit-Quantisierung begünstigt untrainierte LLMs: Skalierungsgesetze für quantisierte LLMs mit 100T Training-Token

Die Forschung im Bereich der großen Sprachmodelle (LLMs) konzentriert sich zunehmend auf Effizienzsteigerung, insbesondere durch Quantisierung. Ein aktuelles Paper untersucht die Auswirkungen der Niedrigbit-Quantisierung auf LLMs und enthüllt dabei ein überraschendes Ergebnis: Untrainierte Modelle profitieren stärker von dieser Technik als vollständig trainierte. Dieses Phänomen, das als quantisierungsbedingte Degradation (QiD) bezeichnet wird, ist bei kleineren, umfassend trainierten Modellen deutlich stärker ausgeprägt als bei größeren Modellen oder solchen mit weniger Trainingsdaten.

Die Studie analysierte über 1500 quantisierte LLM-Checkpoints unterschiedlicher Größe und Trainingsstufen in einer kontrollierten Umgebung. Dabei wurden Skalierungsgesetze abgeleitet, um die Beziehung zwischen QiD und Faktoren wie Anzahl der Training-Token, Modellgröße und Bitbreite zu verstehen. Die Ergebnisse zeigen, dass größere Modelle und solche mit weniger Trainingstoken eine geringere QiD aufweisen. Umgekehrt leiden kleinere, extensiv trainierte Modelle unter einer erheblichen Verschlechterung der Leistung nach der Quantisierung.

QiD als Indikator für den Trainingsstand

Die Forscher schlagen vor, QiD als Maß für den Trainingsstand eines LLMs zu verwenden. Mithilfe der abgeleiteten Skalierungsgesetze lässt sich abschätzen, wie viele Trainingstoken für ein vollständiges Training von LLMs verschiedener Größen erforderlich sind. Die Studie schätzt, dass ein 70B-Modell etwa 17 Billionen Token benötigt, während ein 405B-Modell fast 50 Billionen Token benötigt, um als relativ vollständig trainiert zu gelten.

Ausblick auf zukünftige LLMs

Die Skalierungsgesetze ermöglichen auch Prognosen zur Quantisierungsleistung zukünftiger LLMs, die voraussichtlich mit über 100 Billionen Token trainiert werden. Die Projektionen deuten darauf hin, dass die Niedrigbit-Quantisierung bei diesen Modellen möglicherweise nicht die gewünschten Ergebnisse liefert. Dies stellt eine potenzielle Herausforderung für die zukünftige Anwendung von Niedrigbit-Quantisierung dar und unterstreicht die Bedeutung des Trainingsstandes bei der Bewertung von Quantisierungsverfahren.

Implikationen für Mindverse

Für Mindverse, einen deutschen Anbieter von KI-gestützten Content-Tools, sind diese Erkenntnisse relevant. Die Entwicklung maßgeschneiderter Lösungen wie Chatbots, Voicebots, KI-Suchmaschinen und Wissenssysteme profitiert von effizienten LLMs. Die Forschungsergebnisse unterstreichen die Notwendigkeit, den Trainingsstand und die Modellgröße bei der Auswahl und Optimierung von LLMs für spezifische Anwendungen zu berücksichtigen. Die Quantisierung, insbesondere im Niedrigbit-Bereich, kann zwar die Effizienz steigern, birgt aber auch das Risiko einer Leistungsverschlechterung, insbesondere bei umfassend trainierten Modellen. Für Mindverse ist es daher wichtig, die Entwicklungen in diesem Bereich zu verfolgen und die Erkenntnisse in die Produktentwicklung zu integrieren.

Fazit

Die Studie liefert wertvolle Einblicke in die Beziehung zwischen Niedrigbit-Quantisierung und dem Trainingsstand von LLMs. Die abgeleiteten Skalierungsgesetze ermöglichen eine bessere Vorhersage der Quantisierungsleistung und bieten ein neues Werkzeug zur Beurteilung des Trainingsstandes. Die Ergebnisse unterstreichen die Notwendigkeit, den Trainingsstand bei der Entwicklung und Anwendung von Quantisierungsverfahren zu berücksichtigen und weisen auf potenzielle Herausforderungen für die zukünftige Anwendung von Niedrigbit-Quantisierung bei extrem großen LLMs hin. Die veröffentlichten Checkpoints bieten der Forschungsgemeinschaft eine wertvolle Ressource für weitere Untersuchungen in diesem Bereich.

Bibliographie:

1. https://www.chatpaper.com/chatpaper/zh-CN?id=5&date=1732636800&page=1
2. https://arxiv.org/abs/2410.12119
3. https://chatpaper.com/chatpaper/ja?id=5&date=1732636800&page=1
4. https://arxiv.org/abs/2405.17233
5. https://openreview.net/forum?id=UldnqRQWKS
6. https://storage.prod.researchhub.com/uploads/papers/2024/04/24/2404.05405.pdf
7. https://www.linkedin.com/posts/aleksagordic_wake-up-new-scaling-laws-paper-just-dropped-activity-7262236210998206465-FgWS
8. https://www.lesswrong.com/posts/midXmMb2Xg37F2Kgn/new-scaling-laws-for-large-language-models
9. https://huggingface.co/papers/2402.17764
10. https://www.youtube.com/watch?v=N7n66FL7wqM