Überwachtes Lernen¶
Beim überwachten Lernen beobachtet man Paare \((\mathbf{x}_i, y_i)\) und lernt eine Funktion, die \(y\) für neue Eingaben \(\mathbf{x}\) vorhersagt. Diese Seite stellt die am häufigsten verwendeten klassischen Verfahren vor.
Logistische Regression als Klassifikator¶
Die logistische Regression schätzt eine Wahrscheinlichkeit \(\hat\pi(\mathbf{x}) = P(y = 1 \mid \mathbf{x})\). Um eine Klassenzuordnung zu erhalten, wird die Wahrscheinlichkeit mit einem Schwellenwert \(c\) verglichen, standardmäßig 0,5:
Die resultierende Entscheidungsgrenze ist linear (eine Hyperebene im Merkmalsraum). Durch Verschieben des Schwellenwerts lassen sich falsch positive gegen falsch negative Ergebnisse abwägen. Im Machine Learning stehen statt p-Werten Vorhersagemaße wie die AUC im Vordergrund, und bei vielen Merkmalen wird das Modell meist regularisiert.
Mit einer Baseline beginnen
Die logistische Regression ist schnell, stabil und interpretierbar. Sie ist ein sinnvolles erstes Modell für jedes binäre Klassifikationsproblem, und komplexere Modelle sollten daran gemessen werden, wie sehr sie es übertreffen.
Entscheidungsbäume¶
Ein Entscheidungsbaum zerlegt den Merkmalsraum durch eine Folge binärer Fragen wie „Ist das Alter unter 40?“. Jedes Blatt sagt die Mehrheitsklasse (Klassifikation) oder den Mittelwert der Zielgröße (Regression) der enthaltenen Trainingspunkte vorher. Die Aufteilungen werden schrittweise („gierig“) so gewählt, dass die entstehenden Knoten möglichst rein sind, etwa durch Minimierung der Gini-Unreinheit
wobei \(p_k\) der Anteil der Klasse \(k\) im Knoten ist. CART (Breiman et al., 1984) ist der bekannteste Algorithmus.
Bäume sind leicht zu erklären, benötigen keine Skalierung der Merkmale und erfassen Wechselwirkungen automatisch. Ihre Schwächen sind eine starke Neigung zur Überanpassung und hohe Instabilität: Eine kleine Änderung der Daten kann einen ganz anderen Baum ergeben. Eine Begrenzung der Tiefe oder Pruning (Beschneiden) hilft, die Kombination vieler Bäume hilft mehr.
Random Forests¶
Ein Random Forest (Breiman, 2001) mittelt die Vorhersagen vieler Entscheidungsbäume, die sich durch zwei Zufallselemente unterscheiden:
- Bagging: Jeder Baum wird auf einer Bootstrap-Stichprobe der Trainingsdaten aufgebaut.
- Zufällige Merkmalsauswahl: Bei jeder Aufteilung wird nur eine zufällige Teilmenge der Merkmale betrachtet.
Die Mittelung vieler Bäume, deren Fehler nur schwach korreliert sind, verringert die Varianz erheblich. Random Forests liefern mit wenig Abstimmung gute Ergebnisse und bieten Maße für die Variablenwichtigkeit.
Boosting¶
Boosting baut ein Ensemble schrittweise auf: Jedes neue Modell, typischerweise ein kleiner Baum, konzentriert sich auf das, was das bisherige Ensemble noch falsch macht. Beim Gradient Boosting (Friedman, 2001) wird jeder neue Baum \(h_m\) an den negativen Gradienten der Verlustfunktion angepasst, der beim quadratischen Verlust einfach den Residuen entspricht, und es gilt
mit einer Lernrate \(0 < \nu \le 1\). Implementierungen wie XGBoost, LightGBM und CatBoost zählen bei tabellarischen Daten zu den genauesten Verfahren. Da Boosting den Trainingsfehler immer weiter senkt, muss es über die Lernrate, die Baumtiefe und frühes Stoppen kontrolliert werden.
Support Vector Machines¶
Eine Support Vector Machine (SVM) für zwei Klassen sucht die trennende Hyperebene mit dem größten Rand (Margin), also dem größten Abstand zu den nächstgelegenen Trainingspunkten beider Klassen. Diese nächstgelegenen Punkte sind die Stützvektoren. Die Soft-Margin-Variante toleriert einige falsch klassifizierte Punkte; ein Strafparameter \(C\) steuert den Kompromiss.
Mit dem Kernel-Trick, etwa mit einem RBF-Kernel (radiale Basisfunktion), kann eine SVM nichtlineare Entscheidungsgrenzen lernen, indem sie implizit in einem hochdimensionalen Merkmalsraum arbeitet. Vor dem Aufstieg des Deep Learning gehörten SVMs zu den führenden Klassifikatoren.
k-nächste Nachbarn¶
k-nächste Nachbarn (kNN) sagt für einen neuen Punkt vorher, indem es die \(k\) nächstgelegenen Trainingspunkte sucht, meist nach euklidischer Distanz, und deren Mehrheitsklasse oder mittlere Zielgröße übernimmt. Über das Speichern der Daten hinaus gibt es keine Trainingsphase.
- Ein kleines \(k\) ergibt flexible Vorhersagen mit hoher Varianz, ein großes \(k\) glattere, stärker verzerrte.
- Die Merkmale müssen vergleichbar skaliert sein; Standardisierung ist daher unerlässlich.
- In hohen Dimensionen werden Distanzen weniger aussagekräftig (Fluch der Dimensionalität), und kNN schneidet schlecht ab.
Überblick¶
| Verfahren | Interpretierbarkeit | Typische Stärke |
|---|---|---|
| Logistische Regression | hoch | Baseline, annähernd lineare Effekte |
| Entscheidungsbaum | hoch | transparente Regeln |
| Random Forest | mittel | robust, wenig Abstimmung nötig |
| Gradient Boosting | mittel | höchste Genauigkeit bei Tabellendaten |
| SVM | gering bis mittel | mittelgroße, hochdimensionale Daten |
| kNN | mittel | einfache, niedrigdimensionale Probleme |