FocusLLM Neue Strategien zur Kontextskalierung in Sprachmodellen durch Paralleles Dekodieren

Das FocusLLM-Framework

Um diese Herausforderungen zu bewältigen, wurde das FocusLLM-Framework entwickelt, das darauf abzielt, die Kontextlänge eines jeden dekodierungsbasierten LLMs zu erweitern. FocusLLM verarbeitet lange Texteingaben, indem es diese in Abschnitte unterteilt, die auf der ursprünglichen Kontextlänge des Modells basieren, um das Problem der Aufmerksamkeitsablenkung zu mildern. Anschließend wird der lokale Kontext jedem Abschnitt als Prompt hinzugefügt, um wesentliche Informationen aus jedem Abschnitt basierend auf einem neuartigen parallelen Dekodierungsmechanismus zu extrahieren und letztendlich die extrahierten Informationen in den lokalen Kontext zu integrieren.

Merkmale von FocusLLM

• Längenskalierung: FocusLLM überwindet die inhärenten Positionsbeschränkungen und ermöglicht es dem Modell, Textlängen zu verarbeiten, die um das Zehn- oder sogar Hundertfache erweitert sind.
• Trainingseffizienz: Im Gegensatz zum vollständigen Feintuning bleiben die ursprünglichen Modellparameter eingefroren und es werden nur wenige trainierbare Parameter hinzugefügt. Der Trainingsprozess kann innerhalb eines Trainingsbudgets von 0,5 Milliarden Tokens abgeschlossen werden, was erheblich geringer ist als bei früheren Arbeiten.
• Vielseitigkeit: FocusLLM glänzt nicht nur in nachgelagerten Aufgaben mit klaren Anweisungen, wie z.B. der Beantwortung von Fragen, sondern zeigt auch starke Sprachmodellierungsfähigkeiten bei langen Dokumenten.

Evaluation und Ergebnisse

Um die Wirksamkeit von FocusLLM zu validieren, wurde es auf eine Vielzahl von Aufgaben angewendet. Zunächst wurde die Sprachmodellierungsfähigkeit von FocusLLM bewertet. Trainiert mit einer Eingabelänge von nur 8K, behält FocusLLM eine niedrige Perplexität bei Dokumenten mit 128K Tokens und sogar längeren Sequenzen bei. Anschließend wurde die Anwendbarkeit von FocusLLM in realen Szenarien anhand von zwei weit verbreiteten Benchmarks evaluiert: Longbench und ∞-Bench. Longbench umfasst eine Vielzahl von Aufgaben, während ∞-Bench Modelle erfordert, die Inferenz auf extrem langen Sequenzen (>100K Tokens) durchführen. Die experimentellen Ergebnisse zeigen, dass FocusLLM auf beiden Benchmarks eine überlegene Leistung erzielt hat und alle Baselines übertrifft.

Schlussfolgerung

FocusLLM ist ein trainings-effizientes Framework, das in der Lage ist, bei minimalen Kosten ein effektives Verständnis und eine effektive Argumentation über lange Sequenzen zu erreichen. Wir hoffen, dass FocusLLM zur Forschung im Zusammenhang mit der Entwicklung leicht implementierbarer Langkontext-Fähigkeiten beitragen kann.

Methodik

Architektur

Die Gesamtarchitektur von FocusLLM ist einfach und intuitiv. Jeder Decoder teilt dasselbe Modell (z.B. LLaMA-2). Zusätzlich wird der ursprüngliche Decoder um eine kleine Anzahl neuer Parameter erweitert, um das Modell mit der Fähigkeit auszustatten, Kandidaten-Tokens zu generieren.

Training

Im Trainingsprozess bleiben die ursprünglichen Modellparameter eingefroren, und es werden nur wenige neue Parameter trainiert. Dies ermöglicht eine effiziente Verarbeitung und Integration der Informationen aus den verschiedenen Textabschnitten.