Byte-Pair-Encoding zum Anfassen

Diese App zeigt das Prinzip von BPE: Starte mit einzelnen Zeichen, zähle benachbarte Paare und füge die häufigsten Paare zu neuen Tokens zusammen.

1. Trainings-Text

Leerzeichen werden als ␠ angezeigt, Zeilenumbrüche als ↵. Änderungen am Text starten das Training automatisch neu.
Was du beobachten wirst
Gilt für die Auto-Funktion mit der Voreinstellung „Leerzeichen überspringen“.

2. Aktueller Token-Zustand

Das Vokabular ist die Liste aller Tokens, die der Tokenizer kennt: alle Einzelzeichen des Trainings-Textes plus ein neues Token pro Merge. Es wächst mit jedem Merge. Die Zahl der verschiedenen Tokens im Text kann dagegen gleich bleiben oder sinken.

3. Häufigste Paare

Klicke auf ein Paar, um es manuell zusammenzufügen. Die Auto-Funktion nimmt das häufigste passende Paar.

Grüner Rahmen: wird als Nächstes gemergt. Gestrichelt: gleich häufig (Gleichstand).

4. Gelernte Merge-Regeln

Diese Regeln werden später auf neue Texte angewendet.

5. Neuen Text mit gelernten Regeln tokenisieren