AI Guide

Aufmerksamkeit berechnen: Was im Inneren eines Attention Heads wirklich geschieht

Statt Sprache starr Wort für Wort abzuarbeiten, vergleicht der Attention-Mechanismus alle Begriffe gleichzeitig miteinander. Ein Blick auf Query-, Key- und Value-Vektoren zeigt, warum Transformer Zusammenhänge erfassen können.

KORNIZA Redaktion2 Min. Lesezeit
Schematische Darstellung eines Attention Heads mit Matrizen für Query, Key und Value sowie Softmax-Gewichtung.
Funktionsweise eines Attention Heads mit Query-, Key- und Value-Vektoren. Wissenschaftliche Grafik: Zhang et al., Bioinformatics Advances (2023). Bildquelle · CC BY 4.0.

Als Forscher von Google im Jahr 2017 ihr bahnbrechendes Paper „Attention Is All You Need“ veröffentlichten, ahnten nur wenige, dass der darin beschriebene Transformer-Mechanismus das Fundament der modernen generativen künstlichen Intelligenz werden würde. Frühere Sprachmodelle, basierend auf rekurrierenden neuronalen Netzen (RNNs), lasen Texte Wort für Wort von links nach rechts. Bei langen Sätzen verblasste der Kontext rasch – ähnlich einem Leser, der am Ende eines verschachtelten Satzes vergessen hat, wer das Subjekt am Anfang war.

Die Kernidee: Jeder Begriff befragt jeden anderen

Der Selbstaufmerksamkeits-Mechanismus (Self-Attention) löste dieses Problem, indem er die serielle Verarbeitung durch eine parallele Beziehungsmatrix ersetzte. Trifft das Modell auf ein Wort wie „Bank“, muss es ermitteln, ob es sich um ein Sitzmöbel im Park oder um ein Finanzinstitut handelt. Die Antwort liegt in den umgebenden Wörtern des Kontexts.

Dazu projiziert das Modell jeden Wortvektor über trainierte Gewichtsmatrizen in drei verschiedene Rollen: Query (die Frage: „Wonach suche ich?“), Key (das Etikett: „Was biete ich an?“) und Value (der eigentliche Informationsgehalt). Mathematisch wird das Skalarprodukt aus dem Query-Vektor des aktuellen Worts und den Key-Vektoren aller anderen Wörter im Satz gebildet. Nach einer Skalierung und einer Softmax-Normalisierung entsteht eine Aufmerksamkeitskarte: ein Satz von Prozentwerten, die angeben, wie stark sich das Modell auf jedes Nachbarwort konzentrieren soll.

Multi-Head Attention: Mehrere Perspektiven gleichzeitig

In der Praxis arbeitet ein Transformer nicht mit einem einzigen Aufmerksamkeitskanal, sondern mit vielen parallelen Modulen, den sogenannten Attention Heads. Während ein Head grammatikalische Bezüge zwischen Subjekt und Verb verfolgt, erkennt ein anderer stilistische Nuancen oder zeitliche Abfolgen. Die Ergebnisse aller Heads werden anschließend zusammengeführt und durch ein nachgeschaltetes feed-forward-Netzwerk weiterverarbeitet.

Für KORNIZA liegt die Bedeutung dieses Mechanismus in seiner Entzauberung: Hinter der scheinbar intuitiven Sprachkompetenz großer Sprachmodelle verbirgt sich kein menschenähnliches Verstehen, sondern ein präzise kalkulierter, hochdimensionaler Ähnlichkeitsvergleich von Wortvektoren. Wer diese mathematische Mechanik begreift, kann die Stärken und Halluzinationsrisiken moderner KI-Systeme nüchtern einordnen.

Das Funktionsschema im Detail

Die begleitende wissenschaftliche Abbildung aus einer Publikation in Bioinformatics Advances (Zhang et al., 2023) visualisiert die mathematischen Schritte innerhalb eines Attention Heads: von den linearen Projektionen der Eingangsdaten über die Matrizenmultiplikation bis hin zur gewichteten Ausgabe. Sie dient hier als didaktische Übersicht für das Zusammenspiel von Query, Key und Value.

Quellen und Recherche