Grundlagen des Machine Learning

Was ist Machine Learning?

Die viel zitierte Definition von Tom Mitchell (1997) lautet sinngemäß: Ein Computerprogramm lernt aus Erfahrung E in Bezug auf eine Klasse von Aufgaben T und ein Leistungsmaß P, wenn sich seine mit P gemessene Leistung bei Aufgaben aus T mit der Erfahrung E verbessert. In den meisten praktischen Fällen ist die Erfahrung ein Datensatz, und das Programm lernt eine Funktion \(\hat f\), die Eingaben \(\mathbf{x}\) auf Ausgaben \(y\) abbildet.

Lernarten

• Überwachtes Lernen: Jedes Trainingsbeispiel enthält die richtige Ausgabe (ein Label). Ist \(y\) numerisch, spricht man von Regression, ist \(y\) kategorial, von Klassifikation. Siehe Überwachtes Lernen.
• Unüberwachtes Lernen: Es gibt keine Labels; Ziel ist es, Strukturen wie Cluster oder niedrigdimensionale Darstellungen zu finden. Siehe Unüberwachtes Lernen.
• Bestärkendes Lernen (Reinforcement Learning): Ein Agent lernt eine Strategie, indem er mit einer Umgebung interagiert und Belohnungen erhält. Es wird unter anderem beim RLHF eingesetzt.
• Selbstüberwachtes Lernen: Die Labels werden aus den Daten selbst abgeleitet, etwa indem das nächste Wort eines Textes vorhergesagt wird. Es ist die Grundlage moderner Sprachmodelle.

Verlustfunktionen

Überwachtes Lernen wird meist als Minimierung des durchschnittlichen Verlusts auf den Trainingsdaten formuliert, ein Prinzip namens empirische Risikominimierung:

\[ \hat f = \arg\min_{f \in \mathcal{F}} \frac{1}{n}\sum_{i=1}^n L\big(y_i, f(\mathbf{x}_i)\big), \]

wobei \(\mathcal{F}\) die Klasse der infrage kommenden Modelle ist. Übliche Wahlen sind der quadratische Fehler \(L(y, \hat y) = (y - \hat y)^2\) für Regression und die Kreuzentropie für Klassifikation. Sie entsprechen den Schätzkriterien der linearen Regression bzw. der logistischen Regression.

Trainings-, Validierungs- und Testdaten

Der auf den Trainingsdaten gemessene Fehler ist zu optimistisch, weil das Modell genau an diese Daten angepasst wurde. Die verfügbaren Daten werden daher aufgeteilt:

• Die Trainingsdaten dienen zur Anpassung des Modells,
• die Validierungsdaten zur Wahl von Hyperparametern und zum Vergleich von Modellkandidaten,
• die Testdaten werden ganz am Ende einmal verwendet, um die Leistung auf neuen Daten abzuschätzen.

Wenn wenige Daten vorhanden sind, ersetzt die Kreuzvalidierung eine einzelne Validierungsmenge.

Data Leakage

Leakage (Datenleck) liegt vor, wenn Informationen, die zum Vorhersagezeitpunkt nicht verfügbar wären, in das Training einfließen. Typische Beispiele sind die Standardisierung des gesamten Datensatzes vor der Aufteilung oder Merkmale, die erst nach dem Ergebnis erfasst werden. Leakage führt zu viel zu optimistischen Leistungsschätzungen. Alle Vorverarbeitungsschritte sollten nur auf den Trainingsdaten angepasst werden.

Über- und Unteranpassung

• Unteranpassung (Underfitting): Das Modell ist zu einfach, um die Struktur der Daten zu erfassen; Trainings- und Testfehler sind beide hoch.
• Überanpassung (Overfitting): Das Modell ist so flexibel, dass es auch das Rauschen mitlernt; der Trainingsfehler ist niedrig, der Testfehler hoch.

Mit steigender Modellkomplexität sinkt der Trainingsfehler typischerweise immer weiter, während der Testfehler zuerst sinkt und dann wieder steigt. Ziel ist ein Modell nahe dem Minimum des Testfehlers.

Der Bias-Varianz-Zielkonflikt

Für den quadratischen Verlust sei \(y = f(\mathbf{x}) + \varepsilon\) mit \(E(\varepsilon) = 0\) und \(\operatorname{Var}(\varepsilon) = \sigma^2\). Der erwartete Vorhersagefehler an einer Stelle \(\mathbf{x}\), gemittelt über Trainingsdatensätze und Rauschen, zerlegt sich in

\[ E\big[(y - \hat f(\mathbf{x}))^2\big] = \underbrace{\big[E\,\hat f(\mathbf{x}) - f(\mathbf{x})\big]^2}_{\text{Bias}^2} + \underbrace{\operatorname{Var}\big[\hat f(\mathbf{x})\big]}_{\text{Varianz}} + \underbrace{\sigma^2}_{\text{irreduzibler Fehler}} . \]

Einfache Modelle haben tendenziell hohen Bias und geringe Varianz, flexible Modelle geringen Bias und hohe Varianz. Dies ist das Gegenstück zur Zerlegung des mittleren quadratischen Fehlers eines Schätzers.

Double Descent

Sehr große, überparametrisierte Modelle wie moderne neuronale Netze folgen nicht immer der klassischen U-förmigen Testfehlerkurve. Belkin et al. (2019) beschrieben einen „Double Descent“, bei dem der Testfehler wieder sinkt, sobald das Modell groß genug ist, um die Trainingsdaten exakt zu reproduzieren. Der klassische Zielkonflikt bleibt eine nützliche Orientierung, ist aber nicht das vollständige Bild.

Weiter: Überwachtes Lernen