Kein Ausschnitt
Jede der 64 Komponenten von q, k und v ist eine gewichtete Summe aller 384 Komponenten von x̂. Die Köpfe teilen x̂ nicht unter sich auf.
Klicke Zeilen, Zellen oder Streifen an
negativ · 0 · positiv
Attentiongewicht
maskiert (Zukunft)
Zeile i = fragendes Token mit seiner Query. Spalte j = angefragtes Token: Key oben, Value unten. Jede Zelle liegt im Schnittpunkt der beiden Vektoren, aus denen sie berechnet wird.
Zeile trifft Spalte
Die Bewertung einer Zelle ist das Skalarprodukt aus der Query ihrer Zeile und dem Key ihrer Spalte, geteilt durch √64 = 8.
Gewichteter Mittelwert
Der Kopfausgang mischt die Values der sichtbaren Positionen. Die Gewichte einer Zeile summieren sich zu 1; spätere Positionen erhalten 0.