Als Forscher von Google im Jahr 2017 ihr bahnbrechendes Paper „Attention Is All You Need“ veröffentlichten, ahnten nur wenige, dass der darin beschriebene Transformer-Mechanismus das Fundament der modernen generativen künstlichen Intelligenz werden würde. Frühere Sprachmodelle, basierend auf rekurrierenden neuronalen Netzen (RNNs), lasen Texte Wort für Wort von links nach rechts. Bei langen Sätzen verblasste der Kontext rasch – ähnlich einem Leser, der am Ende eines verschachtelten Satzes vergessen hat, wer das Subjekt am Anfang war.
Die Kernidee: Jeder Begriff befragt jeden anderen
Der Selbstaufmerksamkeits-Mechanismus (Self-Attention) löste dieses Problem, indem er die serielle Verarbeitung durch eine parallele Beziehungsmatrix ersetzte. Trifft das Modell auf ein Wort wie „Bank“, muss es ermitteln, ob es sich um ein Sitzmöbel im Park oder um ein Finanzinstitut handelt. Die Antwort liegt in den umgebenden Wörtern des Kontexts.
Dazu projiziert das Modell jeden Wortvektor über trainierte Gewichtsmatrizen in drei verschiedene Rollen: Query (die Frage: „Wonach suche ich?“), Key (das Etikett: „Was biete ich an?“) und Value (der eigentliche Informationsgehalt). Mathematisch wird das Skalarprodukt aus dem Query-Vektor des aktuellen Worts und den Key-Vektoren aller anderen Wörter im Satz gebildet. Nach einer Skalierung und einer Softmax-Normalisierung entsteht eine Aufmerksamkeitskarte: ein Satz von Prozentwerten, die angeben, wie stark sich das Modell auf jedes Nachbarwort konzentrieren soll.
Multi-Head Attention: Mehrere Perspektiven gleichzeitig
In der Praxis arbeitet ein Transformer nicht mit einem einzigen Aufmerksamkeitskanal, sondern mit vielen parallelen Modulen, den sogenannten Attention Heads. Während ein Head grammatikalische Bezüge zwischen Subjekt und Verb verfolgt, erkennt ein anderer stilistische Nuancen oder zeitliche Abfolgen. Die Ergebnisse aller Heads werden anschließend zusammengeführt und durch ein nachgeschaltetes feed-forward-Netzwerk weiterverarbeitet.
Für KORNIZA liegt die Bedeutung dieses Mechanismus in seiner Entzauberung: Hinter der scheinbar intuitiven Sprachkompetenz großer Sprachmodelle verbirgt sich kein menschenähnliches Verstehen, sondern ein präzise kalkulierter, hochdimensionaler Ähnlichkeitsvergleich von Wortvektoren. Wer diese mathematische Mechanik begreift, kann die Stärken und Halluzinationsrisiken moderner KI-Systeme nüchtern einordnen.
Das Funktionsschema im Detail
Die begleitende wissenschaftliche Abbildung aus einer Publikation in Bioinformatics Advances (Zhang et al., 2023) visualisiert die mathematischen Schritte innerhalb eines Attention Heads: von den linearen Projektionen der Eingangsdaten über die Matrizenmultiplikation bis hin zur gewichteten Ausgabe. Sie dient hier als didaktische Übersicht für das Zusammenspiel von Query, Key und Value.




