Was wird weitergegeben?
Zunächst IDs, dann Zahlenvektoren. Die Gewichte bleiben beim Vorwärtslauf gleich; die Aktivierungen ändern sich mit der Eingabe.
Die Struktur folgt dem Notebook, die Zahlen stammen aus einem kleinen eigenen Modell.
Pre-Norm-Blöcke, kausale Multi-Head-Attention, GELU und geteilte Ein-/Ausgabegewichte bleiben erhalten.
Für lesbare Zahlen verwenden wir 2 statt 6 Blöcke, je 3 statt 6 Köpfe,
6 statt 384 Dimensionen und 24 statt 1536 FFN-Einheiten.
Das feste Lehrvokabular hat 8 Tokens: ganze Wörter und
<end>.
Es ersetzt hier BPE und ChatML. Es gibt keinen Paddingbedarf; Dropout ist ausgeschaltet.
Das Update nutzt SGD, das Notebook AdamW. Die Startgewichte sind reproduzierbar zufällig;
die Anzeige enthält keine Gewichte oder Antworten des trainierten GuppyLM.
Die GesamtstrukturKlicke auf einen Baustein
Den Gesamtplan bei Bedarf seitlich verschieben ↔
BerechnungswegUnverändert weiterreichenLernbare GewichteGradienten im Training
Ein Vektor pro Tokenposition. Attention verbindet Positionen; das FFN verarbeitet jede Position einzeln.
Was wird verändert?
Beim Training liefert der Verlust die Ausgangsgröße für Backpropagation. Erst der Optimierer verändert die Gewichte — einschließlich der Embeddings.
Was wiederholt sich?
Ein Token auswählen, an die Eingabe anhängen und erneut vorwärts rechnen. Dabei werden keine Gradienten berechnet und keine Gewichte verändert.