Machine Learning¶
Machine Learning (maschinelles Lernen, ML) befasst sich mit Algorithmen, die bei einer Aufgabe besser werden, indem sie aus Daten lernen, statt explizit programmierten Regeln zu folgen. Viele seiner Methoden stammen aus der Statistik; der Hauptunterschied liegt in der Gewichtung. Dem Machine Learning geht es vor allem um Generalisierung, also um genaue Vorhersagen für neue, ungesehene Daten, während die klassische Statistik stärker auf die Interpretation von Parametern und die Quantifizierung von Unsicherheit abzielt.
Zwei Kulturen
In seinem Aufsatz Statistical Modeling: The Two Cultures (2001) stellte Leo Breiman eine „datenmodellierende“ Kultur, die ein stochastisches Modell für die Daten annimmt, einer „algorithmischen“ Kultur gegenüber, die den datenerzeugenden Mechanismus als unbekannt betrachtet und Modelle nach ihrer Vorhersagegenauigkeit beurteilt. Heute überschneiden sich die beiden Kulturen stark.
Inhalt¶
- Grundlagen: Lernarten, Verlustfunktionen, Trainings- und Testdaten, Überanpassung, Bias-Varianz-Zielkonflikt.
- Überwachtes Lernen: logistische Regression als Klassifikator, Entscheidungsbäume, Random Forests, Boosting, Support Vector Machines, nächste Nachbarn.
- Unüberwachtes Lernen: k-Means, hierarchisches Clustering, Hauptkomponentenanalyse.
- Modellbewertung: Kreuzvalidierung, Gütemaße, ROC-Kurven und AUC, Regularisierung.
Statistik und Machine Learning im Vergleich¶
| Klassische Statistik | Machine Learning | |
|---|---|---|
| Hauptziel | Inferenz und Erklärung | Vorhersage |
| Typische Frage | Ist dieser Effekt von null verschieden? | Wie genau sind die Vorhersagen für neue Daten? |
| Modellwahl | geleitet von Theorie und Annahmen | geleitet von der Validierungsleistung |
| Typische Datenmenge | klein bis mittel | mittel bis sehr groß |
| Typische Modelle | einfach, interpretierbar | von einfach bis hochflexibel |
Wie es weitergeht¶
Die flexibelsten Modelle des Machine Learning sind neuronale Netze, die in den AI-Teil überleiten.