Das universelle Approximationstheorem

Experimentieridee: Starte mit 2–3 Neuronen und beobachte, wie das Netz die Funktion nur grob trifft. Erhöhe dann schrittweise die Neuronenzahl (Netz wird dabei neu initialisiert) — die Approximation wird beliebig gut. Genau das besagt das Theorem.

Experimentieridee: Verändere zuerst nur den Bias b — die Kurve verschiebt sich. Dann das Gewicht w — die Kurve wird steiler oder flacher (negatives w spiegelt sie). Das Ausgangsgewicht v streckt oder staucht sie in der Höhe. Mit diesen drei Reglern pro Neuron kannst du die graue Zielfunktion exakt treffen — genau so „arbeitet" auch der Gradientenabstieg, nur automatisch.