Interaktive Visualisierung des Skip-Gram-Verfahrens — von der Textvorverarbeitung über den One-Hot-Datensatz und das neuronale Netz bis zur Vektor-Datenbank und PCA-Projektion.
1 · Beispieltext · aufbereiteter Datensatz · Steuerung
— Token: Hover für Sparse-Vektor · Datensatz-Tabelle: Hover für Erklärung
Beispieltext
Aufbereiteter Datensatz
Jede Zeile ist ein Trainingsbeispiel (eine Textposition):
links das Ziel-Wort, rechts sein Kontext-Vektor als Zeilenvektor
der Länge = Vokabulargröße; jede Spalte steht für ein
Vokabelwort. Bei Fenstergröße > 1 werden die dünn besetzten
Kontext-One-Hot-Vektoren aufsummiert. Tabelle nicht veränderbar, scrollbar.
2 · Neuronales Netz · Vektor-Datenbank · Projektion
— Netz: Hover über ein Neuron zeigt die Verbindungsgewichte · PCA/Loss live je Epoche
Netzwerk · Eingabe: one-hot · versteckt: linear · Ausgabe: Softmax