Modellbewertung¶
Ein Modell ist nur so gut wie seine Leistung auf Daten, die es noch nicht gesehen hat. Diese Seite behandelt, wie man diese Leistung zuverlässig schätzt, welche Gütemaße man verwendet und wie Regularisierung Modellen beim Generalisieren hilft.
Kreuzvalidierung¶
Bei der \(k\)-fachen Kreuzvalidierung werden die Daten in \(k\) etwa gleich große Teile (Folds) zerlegt. Jeder Fold dient einmal als Validierungsmenge, während das Modell auf den übrigen \(k-1\) Folds trainiert wird. Der Kreuzvalidierungsschätzer ist der Mittelwert der \(k\) Validierungsfehler:
Übliche Wahlen sind \(k = 5\) oder \(k = 10\); der Sonderfall \(k = n\) ist die Leave-One-out-Kreuzvalidierung.
Wichtige Varianten:
- Die stratifizierte Kreuzvalidierung hält die Klassenanteile in jedem Fold gleich, was bei unausgewogenen Daten wichtig ist.
- Die gruppierte Kreuzvalidierung hält alle Beobachtungen derselben Gruppe (etwa desselben Patienten) im selben Fold.
- Bei Zeitreihen wird auf der Vergangenheit trainiert und auf der Zukunft validiert, etwa mit einem rollierenden Ursprung.
- Die verschachtelte Kreuzvalidierung verwendet eine innere Schleife zur Abstimmung der Hyperparameter und eine äußere für eine unverzerrte Leistungsschätzung.
Gütemaße¶
Regression¶
- Mittlerer quadratischer Fehler (MSE) und seine Wurzel, der RMSE, der in der Einheit von \(y\) angegeben ist.
- Mittlerer absoluter Fehler (MAE), der weniger empfindlich auf große Fehler reagiert.
- \(R^2\), der Anteil der erklärten Varianz (siehe Lineare Regression).
Klassifikation¶
Die Ergebnisse einer binären Klassifikation werden in einer Konfusionsmatrix zusammengefasst:
| tatsächlich positiv | tatsächlich negativ | |
|---|---|---|
| vorhergesagt positiv | richtig positiv (TP) | falsch positiv (FP) |
| vorhergesagt negativ | falsch negativ (FN) | richtig negativ (TN) |
Daraus leitet man ab:
Die Accuracy heißt auf Deutsch Treffergenauigkeit, die Precision positiver Vorhersagewert. Der Recall wird auch Sensitivität oder Richtig-positiv-Rate genannt. Die Spezifität ist \(TN/(TN + FP)\). Falsch positive und falsch negative Ergebnisse entsprechen den Fehlern 1. und 2. Art.
Unausgewogene Klassen
Sind nur 1 % der Fälle positiv, wie etwa bei der Betrugserkennung, erreicht ein Modell, das immer „negativ“ vorhersagt, eine Accuracy von 99 % und ist dennoch nutzlos. Precision, Recall, der \(F_1\)-Wert oder die Fläche unter der Precision-Recall-Kurve sind in solchen Fällen aussagekräftiger.
Wenn ein Modell Wahrscheinlichkeiten ausgibt, sind zwei weitere Aspekte wichtig. Der Log-Loss (Kreuzentropie) belohnt sichere richtige Vorhersagen und bestraft sichere falsche stark. Die Kalibrierung fragt, ob vorhergesagte Wahrscheinlichkeiten den beobachteten Häufigkeiten entsprechen: Unter den Fällen mit einer vorhergesagten Wahrscheinlichkeit von 0,3 sollten etwa 30 % positiv sein.
ROC-Kurve und AUC¶
Ein probabilistischer Klassifikator wie die logistische Regression liefert Scores, und die vorhergesagte Klasse hängt vom Schwellenwert ab. Die ROC-Kurve (Receiver Operating Characteristic) trägt die Richtig-positiv-Rate gegen die Falsch-positiv-Rate (\(1 -\) Spezifität) auf, während der Schwellenwert alle möglichen Werte durchläuft.
Die Fläche unter der Kurve (Area Under the Curve, AUC) fasst die ROC-Kurve in einer Zahl zusammen. Eine AUC von 0,5 entspricht zufälligem Raten, eine AUC von 1 perfekter Trennung. Die AUC ist gleich der Wahrscheinlichkeit, dass ein zufällig gewählter positiver Fall einen höheren Score erhält als ein zufällig gewählter negativer Fall (Gleichstände zählen zur Hälfte). Sie hängt von keinem Schwellenwert ab, sagt aber nichts über die Kalibrierung aus.
Regularisierung¶
Regularisierung verringert Überanpassung, indem zum Verlust ein Strafterm für die Größe der Koeffizienten addiert wird. Man nimmt bewusst etwas Verzerrung in Kauf, um die Varianz stärker zu senken (siehe den Bias-Varianz-Zielkonflikt):
- Ridge-Regression (L2-Strafterm, Hoerl & Kennard, 1970): \(P(\boldsymbol\beta) = \sum_{j=1}^p \beta_j^2\). Alle Koeffizienten werden in Richtung null geschrumpft.
- Lasso (L1-Strafterm, Tibshirani, 1996): \(P(\boldsymbol\beta) = \sum_{j=1}^p |\beta_j|\). Einige Koeffizienten werden exakt null, das Lasso führt also auch eine Variablenauswahl durch.
- Elastic Net: eine gewichtete Kombination beider Strafterme.
Der Achsenabschnitt wird üblicherweise nicht bestraft. Die Stärke \(\lambda\) ist ein Hyperparameter, der per Kreuzvalidierung gewählt wird. Weitere Formen der Regularisierung sind frühes Stoppen, die Begrenzung der Baumtiefe und bei neuronalen Netzen Dropout und Weight Decay.
Vor dem Bestrafen standardisieren
Da der Strafterm von der Größe der Koeffizienten abhängt und diese von den Einheiten der Merkmale abhängt, sollten die Merkmale vor der Anpassung von Ridge- oder Lasso-Modellen standardisiert werden.
Wie es weitergeht¶
Damit ist der Werkzeugkasten des klassischen Machine Learning vollständig. Der nächste Teil wendet sich neuronalen Netzen zu, der Grundlage moderner AI.