Bagging verstehen: Bootstrap-Samples & Entscheidungsbäume

Was zeigt diese Demo?

1 · Bootstrap: Ziehen mit Zurücklegen

Aus den 20 Trainingspunkten wird 20-mal mit Zurücklegen gezogen. Jedes Bootstrap-Sample hat also wieder Größe 20 – aber: Manche Punkte kommen mehrfach vor (Chip mit ×2, ×3…), andere gar nicht. Die nie gezogenen Punkte heißen Out-of-Bag (OOB). Im Mittel landen nur rund 63 % der verschiedenen Punkte in einem Sample.

2 · Ein Baum pro Sample

Für jedes Sample wird ein eigener Entscheidungsbaum trainiert. Der Algorithmus sucht an jedem Knoten den Split mit dem größten Informationsgewinn: Wie stark sinkt die Unordnung (Entropie H) der Klassen, wenn man die Daten an einem Schwellenwert teilt? Duplikate zählen dabei mehrfach. Weil jedes Sample etwas andere Daten enthält, sehen die Bäume unterschiedlich aus – genau das ist gewollt.

3 · Bagging: Mehrheitsentscheid

Für einen neuen Punkt gibt jeder Baum eine Vorhersage ab (der Entscheidungspfad wird blau markiert). Die Endvorhersage ist der Mehrheitsentscheid. Einzelne Bäume dürfen sich irren – solange sich die Fehler nicht wiederholen, korrigiert die Abstimmung sie. Fachlich: Bagging senkt die Varianz des Modells, ohne den Bias zu erhöhen.

Ausprobieren

Anzahl der Samples ändern, „Neu ziehen“ klicken und beobachten, wie sich Samples und Bäume ändern. Besonders spannend: Testpunkt D – ein Grenzfall, bei dem sich die Bäume oft uneinig sind.