Effizienzsteigerung bei der Inferenz von Diffusion Large Language Models durch Focus-dLLM

Die Landschaft der Künstlichen Intelligenz wird stetig durch Innovationen im Bereich der Large Language Models (LLMs) geprägt. Insbesondere Diffusion Large Language Models (dLLMs) etablieren sich zunehmend als eine vielversprechende Methode für die Textgenerierung. Sie zeichnen sich durch ihre Fähigkeit aus, lange Kontexte in einem nicht-autoregressiven Paradigma zu verarbeiten, was eine parallele Aktualisierung mehrerer Positionen ermöglicht und somit das Potenzial für einen höheren Dekodierungsdurchsatz birgt. Trotz dieser Vorteile stellt die hohe Rechenintensität der bidirektionalen Full-Attention-Mechanismen eine signifikante Hürde für die Effizienz der Inferenz dar, insbesondere bei sehr langen Kontexten.

Herausforderungen bei der Inferenz von dLLMs mit langem Kontext

Die Verarbeitung langer Kontexte ist für dLLMs rechenintensiv. Bestehende Ansätze zur Beschleunigung konzentrieren sich häufig auf zwei Hauptstrategien: die Approximation des Key-Value (KV)-Caches und die Implementierung von Sparse Attention. Während der approximierte KV-Cache versucht, die Aktualisierung von KV-Zuständen auf eine ausgewählte Untermenge von Token zu beschränken, bleibt die Berechnung der Aufmerksamkeit über den gesamten zwischengespeicherten Kontext kostspielig. Sparse Attention, obwohl vielversprechend, war bisher in dLLMs weniger effektiv. Dies liegt daran, dass die Wichtigkeit von Token, die noch nicht dekodiert wurden, schwer abzuschätzen ist, da die Positionen der unmaskierten Token während des Diffusionsprozesses unbekannt bleiben. Dies führt oft zu ungenauen Schätzungen und suboptimaler Leistung.

Focus-dLLM: Ein neuer Ansatz zur Effizienzsteigerung

In diesem Kontext wurde ein neuartiges, trainingsfreies Framework namens Focus-dLLM vorgestellt. Es zielt darauf ab, die Inferenz von dLLMs mit langem Kontext präzise und effizient zu beschleunigen. Das Framework basiert auf zwei zentralen Erkenntnissen, die eine gezielte Reduzierung redundanter Berechnungen ermöglichen:

Zeitliche Konsistenz der Token-Konfidenz

Analysen haben gezeigt, dass die Konfidenzwerte von Token über aufeinanderfolgende Denoising-Schritte hinweg stark positiv korrelieren. Das bedeutet, dass Token, die in einem Schritt mit hoher Wahrscheinlichkeit demaskiert werden, bereits im vorherigen Schritt eine hohe Konfidenz aufweisen. Aufbauend auf dieser Erkenntnis hat Focus-dLLM einen "Past Confidence-Guided Indicator" entwickelt. Dieser Indikator nutzt die Konfidenzwerte des vorherigen Schritts, um die Regionen der unmaskierten Token im aktuellen Schritt vorherzusagen. Um die semantische Kohärenz zu wahren, werden diese vorhergesagten Positionen durch eine Fenstererweiterung ergänzt, wodurch ein fokussierter Satz von Queries für die Aufmerksamkeitsberechnung entsteht.

Räumliche Konsistenz von Attention Sinks

Ein weiteres wichtiges Ergebnis der Analyse ist die Beobachtung von "Attention Sinks" in dLLMs. Dies sind Token, die maßgeblich zur semantischen Kontinuität beitragen und eine starke Konsistenz über verschiedene Schichten hinweg aufweisen. Focus-dLLM nutzt diese Eigenschaft, indem es eine "Sink-Aware Pruning"-Strategie implementiert. Diese Strategie identifiziert und bewahrt die Attention Sinks, um die Generierungsqualität zu erhalten, während gleichzeitig redundante Aufmerksamkeitsberechnungen für weniger wichtige Token reduziert werden. Die identifizierten Sink-Token werden über die Schichten hinweg wiederverwendet, was den Rechenaufwand weiter minimiert.

Implementierung und Funktionsweise von Focus-dLLM

Focus-dLLM integriert diese Erkenntnisse in einen effizienten Inferenz-Workflow, der einen approximierten KV-Cache mit einer semi-autoregressiven Remasking-Strategie kombiniert. Das Framework arbeitet wie folgt:

• Vorhersage unmaskierter Positionen: Mithilfe des "Past Confidence-Guided Indicators" werden jene masked Positionen im aktuellen Schritt vorhergesagt, die voraussichtlich demaskiert werden. Diese dienen als fokussierte Queries.
• Fenstererweiterung: Um die lokale semantische Kohärenz zu gewährleisten, werden die vorhergesagten Positionen durch eine Fenstererweiterung ergänzt, wodurch ein aktiver Query-Satz gebildet wird.
• Sink-Aware Sparse Attention: Für nachfolgende Schichten, die als "sparse layers" behandelt werden, werden die Positionen der Attention Sinks, die in den ersten "dense layers" identifiziert wurden, wiederverwendet.
• Blockweises Token-Pruning: Um die Recheneffizienz zu maximieren, werden Prompt-Token in Blöcke unterteilt. Nur die relevantesten Blöcke werden für die Aufmerksamkeitsberechnung ausgewählt, basierend auf Relevanz-Scores, die die Interaktionen zwischen den vorhergesagten Queries und den Prompt-Blöcken aggregieren.

Die Kombination dieser Techniken ermöglicht es Focus-dLLM, die Aufmerksamkeit nur über die vorhergesagten Queries und die ausgewählten, notwendigen Key-Value-Paare zu berechnen, was zu erheblichen Beschleunigungen ohne Leistungseinbußen führt.

Experimentelle Validierung und Ergebnisse

Focus-dLLM wurde umfassend auf dem LongBench-Benchmark evaluiert, der für die Analyse der Langkontextfähigkeiten von LLMs konzipiert ist. Die Tests wurden an zwei repräsentativen dLLMs, UltraLLaDA und Dream-7B-Instruct, durchgeführt und mit etablierten Beschleunigungs-Frameworks wie Fast-dLLM, Sparse-dLLM und SparseD verglichen.

• Genauigkeit: Focus-dLLM zeigte eine robuste Leistung. Bei UltraLLaDA erreichte es den höchsten Durchschnittswert und übertraf sowohl die Baseline als auch alle konkurrierenden Beschleunigungs-Frameworks. Bei Dream-7B-Instruct übertraf Focus-dLLM Sparse-dLLM und Fast-dLLM und erreichte eine vergleichbare Genauigkeit wie die Vanilla-Baseline.
• Effizienz: Das Framework demonstrierte eine überlegene Skalierbarkeit. Die Beschleunigung im Vergleich zur Vanilla-Baseline nahm mit zunehmender Kontextlänge signifikant zu: von einer 9,4-fachen Beschleunigung bei 8K Kontextlänge auf eine 29,6-fache Beschleunigung bei 32K Kontextlänge. Dies ist auf die effektive Reduzierung redundanter Aufmerksamkeitsberechnungen zurückzuführen.
• Gleichgewicht zwischen Genauigkeit und Effizienz: Focus-dLLM bildete eine stärkere Pareto-Front im Vergleich zu früheren Ansätzen, indem es einen höheren Durchsatz bei vergleichbarer oder besserer Genauigkeit erzielte.

Ablationsstudien bestätigten die Wirksamkeit jedes einzelnen Komponenten von Focus-dLLM. Der "Past Confidence-Guided Indicator" und die "Sink-Aware Sparse Attention" trugen maßgeblich zur Verbesserung der Genauigkeit und des Durchsatzes bei. Insbesondere die Einbeziehung von Attention Sinks führte zu einer klaren Leistungssteigerung, was die Bedeutung der Beibehaltung kritischer Kontextinformationen unterstreicht.

Fazit

Focus-dLLM stellt einen bedeutenden Fortschritt in der Beschleunigung von Diffusion Large Language Models dar, insbesondere im Hinblick auf die Verarbeitung langer Kontexte. Durch die innovative Kombination eines auf Konfidenz basierenden Indikators und einer auf Attention Sinks ausgerichteten Pruning-Strategie gelingt es, die Inferenz von dLLMs erheblich zu beschleunigen, ohne Kompromisse bei der Genauigkeit einzugehen. Dies eröffnet neue Möglichkeiten für die effiziente Anwendung von dLLMs in rechenintensiven Szenarien und trägt dazu bei, das volle Potenzial dieser Modelle auszuschöpfen.

Die Forschung zeigt jedoch auch Limitationen auf, wie die manuelle Konfiguration von Hyperparametern und die derzeitige Beschränkung auf Textaufgaben. Zukünftige Arbeiten könnten die Entwicklung adaptiver Mechanismen zur dynamischen Parameteranpassung und die Erweiterung auf multimodales Reasoning umfassen, um die Vielseitigkeit und Robustheit des Frameworks weiter zu verbessern.

Bibliography

1. Long, L., Huang, Y., Bai, S., Gong, R., Zhang, J., Zhou, A., & Yang, J. (2026). Focus-dLLM: Accelerating Long-Context Diffusion LLM Inference via Confidence-Guided Context Focusing. arXiv preprint arXiv:2602.02159.
2. Longxmas/Focus-dLLM. (2026). README.md. GitHub. [https://github.com/Longxmas/Focus-dLLM/blob/master/README.md]
3. TheMoonlight.io. (n.d.). Accelerating Long-Context Diffusion LLM Inference via Confidence-Guided Context Focusing. [https://www.themoonlight.io/review/focus-dllm-accelerating-long-context-diffusion-llm-inference-via-confidence-guided-context-focusing]
4. Li, Z., Zhang, Y., Pan, T., Sun, Y., Duan, Z., Fang, J., Han, R., Wang, Z., & Wang, J. (2025). FocusLLM: Precise Understanding of Long Context by Dynamic Condensing. ACL Anthology. [https://aclanthology.org/2025.acl-long.1500/]
5. Hooper, C., Kim, S., Mohammadzadeh, H., Maheswaran, M., Zhao, S., Paik, J., Mahoney, M. W., Keutzer, K., & Gholami, A. (2025). Squeezed Attention: Accelerating Long Context Length LLM Inference. arXiv preprint arXiv:2507.03170. [https://www.stat.berkeley.edu/~mmahoney/pubs/2025.acl-long.1568.pdf]