Wie Sprachmodelle grammatische Wortarten intern repräsentieren

Warum Wortarten ein aufschlussreicher Testfall für die KI-Interpretierbarkeit sind

Große Sprachmodelle erzeugen Texte, beantworten Fragen und verarbeiten komplexe sprachliche Zusammenhänge. Welche internen Repräsentationen diesen Leistungen zugrunde liegen, ist jedoch weiterhin nur teilweise geklärt. Für Unternehmen, Forschungseinrichtungen und Entwickler stellt sich daher eine zentrale Frage: Lassen sich die sprachlichen Fähigkeiten eines Modells auf nachvollziehbare interne Merkmale zurückführen?

Eine aktuelle Forschungsarbeit von Alessandro Bondielli, Lucia Passaro, Serena Auriemma und Alessandro Lenci vom Computational Linguistics Laboratory der Universität Pisa untersucht diese Frage anhand von Wortarten. Im Mittelpunkt stehen sogenannte Sparse Autoencoder, kurz SAE. Diese Modelle werden in der mechanistischen Interpretierbarkeit eingesetzt, um die hochdimensionalen Aktivierungen großer Sprachmodelle in potenziell verständlichere Merkmale zu zerlegen.

Die Untersuchung kommt zu einem differenzierten Ergebnis. Grammatische Kategorien wie Substantive, Verben, Artikel oder Pronomen sind in den Aktivierungen eines Sprachmodells deutlich erkennbar. Sie werden aber offenbar nicht nach dem einfachen Muster „eine Wortart, ein Merkmal“ gespeichert. Stattdessen stützen sich die Kategorien auf Gruppen von latenten Merkmalen. Diese Gruppen überschneiden sich teilweise und reagieren nicht nur auf grammatische Eigenschaften, sondern auch auf Wortform, Kontext und semantische Zusammenhänge.

Damit berührt die Studie eine grundlegende Annahme vieler Interpretierbarkeitsansätze: die Vorstellung, dass einzelne latente Einheiten jeweils ein klar abgrenzbares Konzept repräsentieren. Die Ergebnisse legen nahe, dass sprachliche Kategorien in realen Modellen häufig verteilt und strukturiert kodiert sind.

Was Sparse Autoencoder in Sprachmodellen sichtbar machen sollen

Vom Aktivierungsraum zu interpretierbaren Merkmalen

Ein Sprachmodell verarbeitet Wörter und Textabschnitte nicht als einfache Listen von Begriffen. Während der Berechnung entstehen in den einzelnen Schichten Vektoren mit sehr vielen Dimensionen. Diese Vektoren enthalten Informationen über Syntax, Bedeutung, Position, Kontext und mögliche nächste Wörter. Für Menschen sind solche Aktivierungsräume nur schwer direkt zu interpretieren.

Sparse Autoencoder sollen diese Komplexität reduzieren. Sie werden auf Aktivierungen eines bereits trainierten Modells angewendet und versuchen, diese mit einer größeren Anzahl künstlicher Merkmale zu rekonstruieren. Gleichzeitig wird eine Sparsamkeitsbedingung eingeführt: Bei der Verarbeitung eines bestimmten Inputs sollen möglichst wenige Merkmale stark aktiviert werden.

Die dahinterliegende Hoffnung ist, dass einzelne latente Merkmale verständlichen Eigenschaften entsprechen. Ein Merkmal könnte beispielsweise häufig bei bestimmten syntaktischen Konstruktionen, thematischen Begriffen oder stilistischen Mustern aktiviert werden. In der Forschung wird deshalb untersucht, ob sich in den latenten Einheiten sogenannte monosemantische Features finden lassen, also Merkmale mit einer vergleichsweise klaren Bedeutung.

Die Interpretation ist allerdings nicht automatisch eindeutig. Ein SAE kann die internen Zustände eines Modells auf unterschiedliche Weise zerlegen. Die Ergebnisse hängen unter anderem von der Architektur, dem Trainingsverfahren, der verwendeten Schicht, der Datengrundlage und der gewählten Sparsamkeitsregel ab. Zudem können sich mehrere Merkmale ein Konzept teilen oder ein einzelnes Merkmal an verschiedenen Berechnungen beteiligt sein.

Warum einzelne Neuronen nicht die ganze Erklärung liefern

Frühere Untersuchungen zur Interpretierbarkeit haben gezeigt, dass sprachliche und semantische Informationen häufig über mehrere Komponenten verteilt sind. Ein bestimmtes Neuron kann beispielsweise bei verschiedenen, nur teilweise verwandten Mustern reagieren. Umgekehrt kann ein sprachliches Konzept auf mehrere Neuronen oder latente Dimensionen verteilt sein.

Die neue Studie prüft diese Frage anhand eines kontrollierten linguistischen Beispiels. Wortarten eignen sich dafür besonders gut, weil sie einerseits klar definierte Kategorien bilden und andererseits stark mit Kontext und Verwendung zusammenhängen. Ein Wort kann je nach Satz unterschiedliche grammatische Funktionen übernehmen. Außerdem unterscheiden sich Wortarten hinsichtlich ihrer Produktivität und ihrer Verteilung im Wortschatz.

Die Forscherinnen und Forscher fragen daher nicht nur, ob ein Modell Wortarten unterscheiden kann. Sie untersuchen auch, wie diese Information im SAE-Latentraum organisiert ist. Entscheidend ist dabei die Unterscheidung zwischen der bloßen Vorhersagbarkeit einer Kategorie und ihrer konkreten internen Repräsentation.

Untersuchungsdesign: Sprachmodell, Datensatz und Klassifikation

Die Analyse basiert nach den Angaben der Autoren auf Aktivierungen von Llama 3 mit acht Milliarden Parametern. Betrachtet wurde eine ausgewählte Modellschicht. Als sprachliche Datengrundlage diente der englische GUM-Bestand innerhalb der Universal-Dependencies-Ressourcen. Die Texte enthalten syntaktisch annotierte Wörter, denen unter anderem Wortartmarkierungen zugeordnet sind.

Die untersuchten Kategorien umfassen offene und geschlossene Wortartklassen. Zu den offenen Klassen gehören unter anderem Substantive, Adjektive und Adverbien. Diese Klassen können in einer Sprache vergleichsweise leicht durch neue Wörter erweitert werden. Geschlossene Klassen wie Artikel, Pronomen und koordinierende Konjunktionen bestehen dagegen aus einer begrenzteren Zahl häufig verwendeter Elemente.

Aus den Aktivierungen des Sparse Autoencoders wurde anschließend untersucht, wie gut sich die Wortarten mit Klassifikationsverfahren vorhersagen lassen. Ein wichtiger Bestandteil der Analyse war die Auswahl relevanter latenter Merkmale. Dadurch wollten die Autoren feststellen, ob eine verhältnismäßig kleine Gruppe von Merkmalen für die Klassifikation ausreicht und ob diese Gruppen über Trainings- und Testdaten hinweg stabil bleiben.

Die Studie prüft außerdem, ob die Vorhersageleistung lediglich auf dem Auswendiglernen einzelner Wörter beruht. Das wäre eine wesentliche Einschränkung: Wenn das Modell beispielsweise ein bestimmtes Wort immer als Substantiv einstuft, würde dies noch nicht zeigen, dass es die grammatische Kategorie unabhängig vom konkreten Lexem repräsentiert. Die Auswertung zielt deshalb darauf, lexikalische Memorierung von allgemeinerer morphosyntaktischer Information zu unterscheiden.

Die zentralen Ergebnisse der Studie

Wortarten sind aus SAE-Aktivierungen gut rekonstruierbar

Das erste Ergebnis ist grundsätzlich positiv für die Interpretierbarkeitsforschung: Wortartinformationen sind in den SAE-Aktivierungen deutlich vorhanden. Ein Klassifikator kann die Kategorien mit hoher Zuverlässigkeit aus den latenten Merkmalen ableiten.

Damit zeigt die Untersuchung, dass die morphosyntaktische Struktur eines Satzes nicht nur in den endgültigen Ausgaben des Sprachmodells erkennbar ist. Sie ist bereits in internen Repräsentationen enthalten, die durch einen Sparse Autoencoder zugänglich gemacht werden können.

Die Rekonstruierbarkeit allein beweist jedoch nicht, dass das Modell Wortarten in derselben Weise verarbeitet wie ein linguistisches Regelwerk. Sie zeigt zunächst, dass die Aktivierungsmuster genügend Informationen enthalten, um die Kategorien vorherzusagen. Ob diese Informationen für die Berechnung kausal genutzt werden oder lediglich als Nebenprodukt anderer Modellprozesse auftreten, bleibt eine weitergehende Frage.

Keine einfache Zuordnung von Wortart und Einzelmerkmal

Die wichtigste Einschränkung betrifft die Organisation der Merkmale. Den Ergebnissen zufolge existiert keine eindeutige Eins-zu-eins-Beziehung zwischen einer Wortart und einer einzelnen latenten Einheit. Vielmehr werden die Kategorien durch kompakte Gruppen von Merkmalen unterstützt.

Nach den Angaben zur Studie reichen rund 498 latente Merkmale aus einem deutlich größeren SAE-Raum aus, um die Mehrklassenklassifikation der untersuchten Wortarten zu ermöglichen. Das bedeutet nicht, dass ausschließlich diese Merkmale an der Sprachverarbeitung beteiligt sind. Es zeigt vielmehr, dass ein begrenzter Teil des Latentraums besonders relevante Informationen für die untersuchte Aufgabe bündelt.

Die Befunde sprechen gegen eine stark vereinfachte Vorstellung, wonach beispielsweise ein einzelnes Merkmal ausschließlich für Substantive und ein anderes ausschließlich für Verben zuständig wäre. Stattdessen entsteht die Kategorie aus einem Aktivierungsmuster mehrerer Einheiten. Die Stärke, Kombination und Wechselwirkung dieser Aktivierungen können den jeweiligen Wortartbereich bestimmen.

Geschlossene und offene Klassen unterscheiden sich

Die Untersuchung stellt deutliche Unterschiede zwischen offenen und geschlossenen Wortartklassen fest. Geschlossene Klassen wie Determinierer, Pronomen und koordinierende Konjunktionen werden offenbar durch kleinere und stärker fokussierte Merkmalsgruppen repräsentiert.

Das ist mit ihrer sprachlichen Funktion vereinbar. Wörter aus geschlossenen Klassen treten häufig in relativ stabilen syntaktischen Umgebungen auf und bilden begrenzte Inventare. Dadurch können sich im Aktivierungsraum wiederkehrende Muster herausbilden, die vergleichsweise klar voneinander abgegrenzt sind.

Offene Klassen wie Substantive, Adjektive und Adverbien weisen dagegen breiter verteilte Merkmalsgruppen auf. Diese Kategorien umfassen eine große Zahl unterschiedlicher Wörter und sind stärker mit Bedeutung, Kontext und syntaktischer Verwendung verbunden. Ein Substantiv kann beispielsweise als Subjekt, Objekt oder Teil einer festen Benennung auftreten. Ein Adjektiv kann attributiv, prädikativ oder adverbial verwendet werden.

Die breitere Verteilung bedeutet, dass die betreffende Kategorie nicht weniger real oder weniger gut gelernt ist. Sie verweist vielmehr auf eine komplexere interne Struktur, in der grammatische, lexikalische und semantische Informationen miteinander verbunden sind.

Die Merkmalsgruppen bleiben auf Testdaten stabil

Die relevanten Gruppen latenter Merkmale zeigten sich nach den vorliegenden Angaben auch auf zurückgehaltenen Testdaten. Diese Stabilität spricht dafür, dass die Ergebnisse nicht ausschließlich auf zufällige Korrelationen im Trainingsmaterial zurückzuführen sind.

Gleichzeitig bedeutet Stabilität nicht, dass die Merkmalsgruppen vollständig invariant sind. Die Kategorien überlappen teilweise, insbesondere wenn sie sprachlich oder funktional miteinander verbunden sind. Ein Merkmal kann daher für mehrere Wortarten relevant sein, ohne dass die Klassifikation dadurch unzuverlässig wird.

Für die Interpretation ist diese Überschneidung entscheidend. Sie legt nahe, dass das Modell Wortarten nicht als isolierte Schubladen behandelt. Vielmehr können gemeinsame Merkmale etwa auf Form, Position, syntaktische Umgebung oder semantische Ähnlichkeit reagieren.

Warum die Ergebnisse nicht auf bloßes Auswendiglernen reduziert werden können

Ein Sprachmodell kann sprachliche Kategorien auf mindestens zwei grundsätzlich unterschiedliche Arten scheinbar beherrschen. Es kann einzelne Wörter mit bestimmten Labels verbinden. Oder es kann generalisierbare Muster erlernen, die auch bei neuen Wörtern und veränderten Kontexten funktionieren.

Die Studie untersucht, in welchem Maß die beobachtete Klassifikationsleistung über eine reine Lexikonerinnerung hinausgeht. Die Autoren berichten, dass die Rekonstruierbarkeit der Wortarten nicht vollständig durch die Identität einzelner Wörter erklärt wird.

Diese Feststellung ist für die Bewertung der Ergebnisse relevant. Wenn die Merkmale nur bestimmte häufige Wörter kodieren würden, wäre die Schlussfolgerung über morphosyntaktische Repräsentationen deutlich schwächer. Die Stabilität auf nicht verwendeten Daten und die Auswertung der Merkmalsgruppen liefern dagegen Hinweise auf eine allgemeinere Kodierung.

Dennoch sollte zwischen „nicht ausschließlich lexikalisch“ und „vollständig abstrakt“ unterschieden werden. Sprachliche Kategorien sind in realen Sätzen oft mit Wortform, Häufigkeit und Kontext verbunden. Ein Merkmal kann deshalb sowohl morphosyntaktische als auch oberflächennahe Eigenschaften erfassen. Die Analyse zeigt gerade, dass solche Überschneidungen einen Teil der internen Repräsentation ausmachen.

Verteilte Repräsentation statt atomarer Grammatikmerkmale

Ein Kategoriebegriff entsteht aus mehreren Signalen

Die Ergebnisse lassen sich als Hinweis auf eine verteilte Repräsentation interpretieren. Dabei wird ein sprachliches Konzept nicht von einer einzigen Einheit getragen, sondern durch das gemeinsame Muster mehrerer Merkmale. Dieses Muster kann je nach Kategorie, Kontext und Position variieren.

Ein solches System entspricht eher einem Netzwerk aus teilweise überlappenden Signalen als einer Sammlung isolierter Schalter. Für ein bestimmtes Token können mehrere latente Merkmale gleichzeitig aktiviert werden. Manche liefern Informationen über die Wortart, andere über syntaktische Umgebung oder semantische Eigenschaften. Erst die Kombination ergibt ein robustes Klassifikationssignal.

Dieses Prinzip ist aus anderen Bereichen der neuronalen Repräsentationsforschung bekannt. Auch bei Bild- und Sprachmodellen werden Konzepte häufig in Unterräumen oder Merkmalsbündeln abgebildet. Die aktuelle Studie überträgt diese Perspektive auf einen klar abgegrenzten Bereich der Sprachverarbeitung.

Überlappung als Information, nicht nur als Störfaktor

Überlappende Merkmalsgruppen können die Interpretation erschweren. Wenn ein latentes Merkmal bei mehreren Wortarten aktiv ist, lässt sich daraus nicht ohne Weiteres eine eindeutige Bedeutung ableiten. Gleichzeitig kann die Überlappung linguistisch aufschlussreich sein.

Wortarten sind in natürlichen Sprachen nicht vollständig unabhängig voneinander. Substantive und Adjektive können ähnliche morphologische Formen aufweisen. Pronomen und Determinierer stehen in bestimmten syntaktischen Beziehungen. Adverbien können in manchen Konstruktionen Eigenschaften zeigen, die an Adjektive oder Präpositionalgruppen erinnern.

Die gemeinsame Nutzung einzelner Merkmale kann daher widerspiegeln, dass das Modell nicht nur formale Labels verarbeitet, sondern mehrere zusammenhängende Eigenschaften gleichzeitig erfasst. Für die Forschung stellt sich damit die Frage, welche Merkmale tatsächlich grammatische Kategorien tragen und welche lediglich korrelierende Oberflächenmuster abbilden.

Einordnung in die Forschung zur Sprachrepräsentation

Frühere Arbeiten zu linguistischen Kategorien in Sprachmodellen

Die Untersuchung steht in einer Forschungstradition, die seit mehreren Jahren analysiert, wo und wie Sprachmodelle linguistische Informationen speichern. Frühere Arbeiten haben unter anderem gezeigt, dass syntaktische Aufgaben in bestimmten Modellschichten besonders gut lösbar sind, während semantische Informationen in anderen Bereichen stärker hervortreten können.

Arbeiten zur gemeinsamen Kodierung linguistischer Kategorien weisen darauf hin, dass grammatische Eigenschaften nicht unabhängig voneinander verarbeitet werden. Wortart, syntaktische Funktion, morphologische Form und semantische Rolle können sich im Aktivierungsraum gegenseitig beeinflussen.

Auch Studien zu Verteilungsrepräsentationen haben gezeigt, dass Wortarten in Vektorräumen nicht immer scharf voneinander getrennt sind. Wörter liegen teilweise zwischen prototypischen Kategorien. Dies gilt insbesondere dort, wo ihre Verwendung kontextabhängig ist oder traditionelle linguistische Klassen an feste Analyseentscheidungen gebunden sind.

Die SAE-Studie betrachtet dabei nicht nur gewöhnliche Wortvektoren, sondern Merkmale, die aus internen Aktivierungen eines großen Sprachmodells gewonnen werden. Dadurch verschiebt sich der Fokus von der Frage „Wo liegen Wörter im semantischen Raum?“ hin zu der Frage „Welche internen Merkmalskombinationen ermöglichen grammatische Unterscheidungen?“

Bezug zu dichten und verteilten SAE-Merkmalen

Eine weitere relevante Forschungslinie befasst sich mit latenten Merkmalen, die entgegen der Zielsetzung eines Sparse Autoencoders relativ häufig aktiviert werden. Solche sogenannten dichten Merkmale wurden zunächst teilweise als unerwünschte Artefakte betrachtet. Neuere Untersuchungen argumentieren jedoch, dass sie funktionale Eigenschaften des Residualraums eines Sprachmodells widerspiegeln können.

Zu den beschriebenen Funktionen dichter Merkmale gehören unter anderem Positionsverfolgung, Kontextbindung, Entropieregulierung, buchstabenbezogene Ausgabesignale und Wortartinformationen. Diese Befunde ergänzen die aktuelle Untersuchung, auch wenn beide Ansätze unterschiedliche Schwerpunkte setzen.

Die Studie zu Wortarten konzentriert sich auf die Frage, wie eine bestimmte linguistische Kategorie aus sparsamen Aktivierungsmustern abgeleitet werden kann. Die Forschung zu dichten Merkmalen macht dagegen deutlich, dass eine hohe Aktivierungshäufigkeit nicht automatisch bedeutet, dass ein Merkmal unbrauchbar oder bedeutungslos ist. Für die praktische Interpretation müssen daher sowohl sparsame als auch dichte Strukturen berücksichtigt werden.

Was die Studie für die mechanistische Interpretierbarkeit bedeutet

Von der Merkmalsbenennung zur Funktionsanalyse

Die Ergebnisse sprechen dafür, bei der Analyse von Sprachmodellen nicht bei der Benennung einzelner Merkmale stehen zu bleiben. Ein latentes Merkmal, das häufig zusammen mit Substantiven aktiviert wird, ist nicht zwangsläufig ein „Substantiv-Neuron“. Es kann ebenso Informationen über Position, Kontext, Wortform oder eine bestimmte syntaktische Konstruktion enthalten.

Eine belastbare Interpretation sollte daher mehrere Ebenen miteinander verbinden:

• die statistische Aktivierung eines Merkmals bei bestimmten Eingaben
• die Stabilität dieses Musters über unterschiedliche Daten hinweg
• die Abgrenzung gegenüber bloßer Wort- oder Datensatzmemorierung
• die Beziehung zu anderen gleichzeitig aktivierten Merkmalen
• die funktionale Auswirkung einer gezielten Veränderung oder Entfernung des Merkmals

Insbesondere der letzte Punkt ist wichtig. Eine Korrelation zwischen Aktivierung und Wortart zeigt, dass ein Merkmal die Kategorie vorhersagen kann. Sie beweist jedoch nicht, dass das Modell dieses Merkmal für seine Entscheidung benötigt. Erst kausale Eingriffe, etwa gezieltes Abschalten oder Verstärken ausgewählter Aktivierungen, können Hinweise auf die funktionale Rolle liefern.

Warum Kausaltests der nächste Schritt sind

Die Autoren weisen selbst auf die Bedeutung weiterer Tests hin, insbesondere auf kausale Interventionen. Dabei würde untersucht, ob sich die Wortartverarbeitung des Modells verändert, wenn die relevanten latenten Gruppen gezielt manipuliert werden.

Mehrere Ergebnisse sind denkbar. Wenn das Entfernen einer Merkmalsgruppe die korrekte Vorhersage bestimmter Wortarten deutlich verschlechtert, wäre dies ein Hinweis auf eine funktionale Beteiligung. Wenn das Modell die Leistung durch andere Merkmale kompensieren kann, würde dies die Redundanz oder verteilte Organisation der Repräsentation verdeutlichen.

Auch eine Aktivierung in neuen Kontexten könnte getestet werden. So ließe sich prüfen, ob die Merkmale tatsächlich grammatische Kategorien beeinflussen oder lediglich mit bestimmten Mustern korrelieren. Für eine umfassende Erklärung wären außerdem Vergleiche zwischen verschiedenen Modellfamilien, Schichten und SAE-Architekturen erforderlich.

Relevanz für Unternehmen und professionelle KI-Anwendungen

Interpretierbarkeit als Grundlage für Risikomanagement

Für Unternehmen ist die Forschung nicht nur aus wissenschaftlicher Sicht relevant. Sprachmodelle werden zunehmend in Anwendungen eingesetzt, bei denen Nachvollziehbarkeit, Qualitätssicherung und Risikokontrolle eine wichtige Rolle spielen. Dazu gehören etwa Dokumentenanalyse, Kundenkommunikation, Wissensmanagement, Compliance-Prüfungen und automatisierte Recherche.

Wenn interne Modellinformationen besser verstanden werden, können Entwickler möglicherweise präziser untersuchen, warum ein System bestimmte Ausgaben erzeugt. Die Erkenntnis, dass sprachliche Kategorien über Merkmalsgruppen verteilt sind, verhindert dabei eine zu einfache Fehlersuche. Ein unerwartetes Verhalten muss nicht auf ein einzelnes „falsches Neuron“ zurückgehen, sondern kann aus dem Zusammenspiel mehrerer Komponenten entstehen.

Für Monitoring-Systeme ergeben sich daraus mehrere Konsequenzen:

• Aktivierungen sollten möglichst in Gruppen und Schichten analysiert werden.
• Einzelne interpretierte Features sollten nicht isoliert als vollständige Erklärungen verwendet werden.
• Tests sollten verschiedene Wortformen, Kontexte und Domänen abdecken.
• Die Ergebnisse statistischer Sonden sollten durch kausale Experimente ergänzt werden.
• Die Übertragbarkeit auf andere Modelle und Sprachen sollte separat überprüft werden.

Auswirkungen auf Modellbewertung und Qualitätstests

Die Studie zeigt außerdem, dass die Leistungsbewertung eines Sprachmodells über reine Endmetriken hinausgehen kann. Ein System kann bei einer Wortartklassifikation sehr gute Werte erreichen, aber dennoch unterschiedliche interne Strategien verwenden. Ein Modell könnte beispielsweise stark auf Wortformen reagieren, während ein anderes stärker syntaktische Kontexte berücksichtigt.

Für B2B-Anwendungen kann diese Unterscheidung relevant sein. Ein Modell, das morphosyntaktische Kategorien robust abstrahiert, könnte bei unbekannten Begriffen oder ungewöhnlichen Formulierungen anders reagieren als ein Modell, das sich stärker auf bekannte Oberflächenmuster stützt. Die Untersuchung interner Repräsentationen kann daher zusätzliche Informationen über Generalisierungsfähigkeit liefern.

Diese Schlussfolgerung sollte allerdings nicht überdehnt werden. Die vorliegende Studie untersucht einen eng umrissenen Ausschnitt der Sprachverarbeitung. Daraus lässt sich nicht unmittelbar ableiten, wie zuverlässig ein Modell bei juristischen, medizinischen oder wirtschaftlichen Aufgaben arbeitet. Die Ergebnisse können jedoch als methodischer Baustein für eine umfassendere Prüfung dienen.

Potenzielle Bedeutung für erklärbare KI-Werkzeuge

Werkzeuge zur Analyse von Modellaktivierungen könnten künftig dabei helfen, sprachliche Fehler systematischer zu untersuchen. Wenn ein Modell beispielsweise in längeren Sätzen die syntaktische Funktion eines Wortes verwechselt, könnte eine Analyse der relevanten Merkmalsgruppen Hinweise darauf geben, ob ein Kontextsignal fehlt, falsch gewichtet oder mit einer anderen Kategorie vermischt wird.

Für Anbieter integrierter KI-Plattformen wie Mindverse ist dabei vor allem die Übersetzung komplexer Forschung in praktische Prüfprozesse relevant. Anwenderinnen und Anwender benötigen in der Regel keine vollständige Rekonstruktion des neuronalen Netzes. Sie brauchen belastbare Aussagen darüber, unter welchen Bedingungen ein Modell zuverlässig arbeitet, welche Einschränkungen bestehen und wie Ergebnisse kontrolliert werden können.

Die Forschung zu SAEs kann dafür Grundlagen liefern. Sie ersetzt jedoch keine standardisierten Evaluierungen, Datenschutzprüfungen, Sicherheitsmechanismen oder fachliche Kontrolle. Interpretierbarkeit ist ein Bestandteil verantwortungsvoller KI-Entwicklung, aber kein alleiniger Nachweis für die Eignung eines Systems.

Offene Fragen und Grenzen der Untersuchung

Begrenzte Auswahl an Modell und Sprache

Die Aussagekraft der Studie ist zunächst an das untersuchte Modell und die verwendeten englischen Daten gebunden. Llama 3 mit acht Milliarden Parametern ist nur ein Vertreter einer großen Zahl unterschiedlicher Sprachmodelle. Andere Modelle können ihre linguistischen Informationen anders organisieren, selbst wenn sie vergleichbare Leistungswerte erzielen.

Auch Englisch bildet nur einen Teil der sprachlichen Vielfalt ab. In Sprachen mit umfangreicher Flexion, freierer Wortstellung oder anderen grammatischen Kategorien könnten Wortarten in den latenten Räumen anders verteilt sein. Deutsch stellt beispielsweise durch Komposita, Kasusmarkierungen und flexible Satzstrukturen eigene Anforderungen an die Repräsentation. Eine Übertragung der Ergebnisse auf deutschsprachige Modelle ist daher nicht automatisch zulässig.

Die Wahl des Sparse Autoencoders beeinflusst die Analyse

SAEs sind Analysewerkzeuge und keine neutralen Fenster auf die Modellinterna. Ihre Architektur und Trainingsbedingungen bestimmen mit, welche Merkmale sichtbar werden. Unterschiedliche Sparsitätsparameter können dazu führen, dass ein Konzept auf wenige stark spezialisierte Einheiten oder auf eine größere Zahl schwächerer Merkmale verteilt erscheint.

Auch die Wahl der Modellschicht ist entscheidend. Frühere Schichten können stärker formale und syntaktische Informationen enthalten, während spätere Schichten näher an semantischen oder ausgabebezogenen Prozessen liegen. Ein Ergebnis für eine einzelne Schicht beschreibt daher nicht automatisch die Repräsentation im gesamten Modell.

Vorhersagbarkeit ist nicht gleich Verstehen

Die Fähigkeit eines Klassifikators, Wortarten aus Aktivierungen vorherzusagen, wird in der Interpretierbarkeitsforschung häufig als Probe oder „Probe Task“ genutzt. Solche Verfahren sind hilfreich, aber methodisch begrenzt. Ein leistungsfähiger Klassifikator kann Informationen aus einem Aktivierungsraum extrahieren, die das Modell selbst nicht in derselben Weise für seine Berechnung verwendet.

Die Ergebnisse sollten daher als Nachweis zugänglicher Information verstanden werden, nicht als vollständige Erklärung des Verarbeitungsmechanismus. Für eine stärkere Aussage wären Interventionen, Aktivierungsvergleiche über verschiedene Aufgaben hinweg und Analysen des tatsächlichen Modelloutputs notwendig.

Die Bedeutung von „kompakt“ muss kontextbezogen bewertet werden

Die Bezeichnung einer Merkmalsgruppe als kompakt ist immer relativ zur Größe des untersuchten Latentraums und zur verwendeten Aufgabe. Eine Gruppe von einigen hundert Merkmalen kann im Verhältnis zu einem Raum mit rund 130.000 Einheiten klein sein. Sie ist dennoch nicht mit einem einzigen, vollständig verständlichen Konzept gleichzusetzen.

Darüber hinaus können weitere Merkmale an der Verarbeitung beteiligt sein, ohne für den eingesetzten Klassifikator besonders nützlich zu sein. Ein statistisch ausgewähltes Subset beschreibt deshalb vor allem die für die konkrete Vorhersage relevanten Signale. Es muss nicht sämtliche kausal bedeutsamen Komponenten umfassen.

Wie die Forschung weitergeführt werden könnte

Aus den Ergebnissen ergeben sich mehrere Richtungen für künftige Untersuchungen. Erstens sollten die Merkmalsgruppen durch gezielte kausale Eingriffe überprüft werden. Dabei wäre zu klären, welche Gruppen für die Erkennung bestimmter Wortarten notwendig sind und in welchem Umfang das Modell auf alternative Signale zurückgreifen kann.

Zweitens sind Vergleiche über Sprachen hinweg erforderlich. Besonders interessant wäre die Frage, ob offene und geschlossene Klassen in morphologisch reicheren Sprachen ähnlich unterschiedlich repräsentiert werden. Auch der Einfluss von Kasus, Genus, Numerus und freierer Wortstellung könnte untersucht werden.

Drittens sollten mehrere SAE-Architekturen und Trainingsverfahren miteinander verglichen werden. Wenn ähnliche Merkmalsgruppen unabhängig voneinander entstehen, würde dies die Annahme stützen, dass sie eine stabile Eigenschaft der Modellrepräsentation darstellen. Große Abweichungen würden dagegen zeigen, wie stark die Analyse vom verwendeten Zerlegungsverfahren abhängt.

Viertens könnten die Untersuchungen auf weitere linguistische Kategorien ausgeweitet werden. Dazu gehören syntaktische Funktionen, morphologische Merkmale, semantische Rollen und Diskursrelationen. Ein umfassenderes Bild könnte zeigen, ob auch diese Eigenschaften in überlappenden, kategorieabhängigen Gruppen organisiert sind.

Fünftens wäre eine Verbindung von Aktivierungsanalyse und Modelltraining denkbar. Wenn bestimmte Merkmalsgruppen gezielt verstärkt, entfernt oder mit zusätzlichen Daten beeinflusst werden, könnte untersucht werden, ob sich die interne Struktur und die beobachtbaren Fähigkeiten des Modells systematisch verändern.

Einordnung für die Praxis: Was Sie aus den Ergebnissen ableiten können

Für die praktische Arbeit mit Sprachmodellen lassen sich aus der Studie vor allem methodische Schlussfolgerungen ableiten. Wenn Sie die Zuverlässigkeit eines Modells untersuchen, sollten Sie nicht davon ausgehen, dass eine einzelne interne Einheit eine komplette sprachliche Kategorie repräsentiert. Sinnvoller ist es, Aktivierungsmuster, Kontext und Modellschicht gemeinsam zu betrachten.

Für anspruchsvolle Anwendungen empfiehlt sich ein mehrstufiges Vorgehen:

• Definieren Sie zunächst die konkrete sprachliche oder fachliche Fähigkeit, die Sie bewerten möchten.
• Testen Sie das Modell mit kontrollierten Beispielen, die Wortform, Kontext und Kategorie voneinander trennen.
• Prüfen Sie die Leistung auf unbekannten Wörtern und veränderten Satzstrukturen.
• Analysieren Sie relevante Aktivierungen nicht nur einzeln, sondern als Merkmalsgruppen.
• Unterscheiden Sie zwischen statistischer Korrelation und kausaler Funktion.
• Wiederholen Sie die Tests über mehrere Modelle, Schichten und Datensätze hinweg.
• Dokumentieren Sie Unsicherheiten und Grenzen der Interpretation.

Dieses Vorgehen ist besonders dann wichtig, wenn die Ergebnisse eines Sprachmodells in geschäftliche Prozesse einfließen. Eine plausible Erklärung einzelner Aktivierungen kann zusätzliche Hinweise geben, ersetzt aber nicht die Überprüfung der tatsächlichen Ausgabequalität, Robustheit und Sicherheit.

Fazit

Die Studie der Universität Pisa liefert einen detaillierten Einblick in die Frage, wie große Sprachmodelle grammatische Wortarten intern abbilden. Die untersuchten SAE-Aktivierungen enthalten ausreichend Information, um Wortarten zuverlässig zu unterscheiden. Gleichzeitig zeigen die Ergebnisse, dass diese Information nicht in einer einfachen Sammlung isolierter, eindeutig benannter Merkmale organisiert ist.

Stattdessen entstehen die Kategorien aus kompakten, aber teilweise überlappenden Gruppen latenter Einheiten. Geschlossene Wortarten werden stärker fokussiert repräsentiert, während offene Klassen breitere und kontextabhängigere Merkmalsgruppen nutzen. Die Befunde sind mit einer verteilten und kategorieabhängigen Repräsentation vereinbar, die neben Grammatik auch Wortform und Kontext berücksichtigt.

Für die Interpretierbarkeit von KI-Systemen ist das eine wichtige Differenzierung. Die Tatsache, dass ein Konzept aus Aktivierungen vorhergesagt werden kann, bedeutet nicht automatisch, dass es als einzelnes neuronales Merkmal vorliegt oder kausal auf genau einer Einheit beruht. Verlässliche Erklärungen müssen daher Gruppen, Wechselwirkungen und Interventionen berücksichtigen.

Für Unternehmen ergibt sich daraus ein nüchterner, aber praktischer Schluss: Werkzeuge wie Sparse Autoencoder können zusätzliche Transparenz über Sprachmodelle schaffen. Ihre Ergebnisse sollten jedoch als Teil eines umfassenden Evaluationsprozesses verstanden werden. Zusammen mit kontrollierten Tests, kausalen Analysen und domänenspezifischer Qualitätssicherung können sie dazu beitragen, die Leistungsfähigkeit und Grenzen moderner KI-Systeme besser einzuordnen.

Quellen

Alessandro Bondielli, Lucia Passaro, Serena Auriemma und Alessandro Lenci: „Parts-of-Speech as Emergent Categories in SAE Latent Space“, arXiv:2609.29362. https://arxiv.org/abs/2609.29362 Hugging Face Papers: „Parts-of-Speech as Emergent Categories in SAE Latent Space“. https://huggingface.co/papers/2609.29362 Giulio Starace, Konstantinos Papakostas, Rochelle Choenni et al.: „Probing LLMs for Joint Encoding of Linguistic Categories“, Findings of EMNLP 2023, Seiten 7158–7179. https://aclanthology.org/2023.findings-emnlp.476.pdf Xiaoqing Sun, Alessandro Stolfo, Joshua Engels et al.: „Dense SAE Latents Are Features, Not Bugs“, arXiv:2506.15679. https://arxiv.org/html/2506.15679 Jiří Milička, Ivan Kraus, Arnold Stanovský et al.: „Semantic Space of Parts of Speech“, arXiv:2608.15443. https://arxiv.org/pdf/2608.15443v1 Andrey Kutuzov, Erik Velldal und Lilja Øvrelid: „Redefining part-of-speech classes with distributional semantic models“, Proceedings of the 20th SIGNLL Conference on Computational Natural Language Learning, 2016. http://www.velldal.net/erik/pubs/KutVelOvr16.pdf James Oldfield, Christos Tzelepis, Yannis Panagakis et al.: „Parts of Speech–Grounded Subspaces in Vision-Language Models“, NeurIPS 2023. https://proceedings.neurips.cc/paper_files/paper/2023/file/07cf32cf61224da628157b7ed0ce994a-Paper-Conference.pdf