Logistische Regression¶
Die logistische Regression modelliert die Wahrscheinlichkeit eines binären Ergebnisses \(y \in \{0, 1\}\), etwa erkrankt oder nicht erkrankt, Kauf oder kein Kauf, in Abhängigkeit von Prädiktoren.
Die Brücke zum Machine Learning
Die logistische Regression kommt in allen drei Teilen dieses Wikis vor. In der Statistik dient sie dazu, Effekte auf die Chancen (Odds) eines Ergebnisses zu schätzen und zu interpretieren. Im Machine Learning dient sie als Klassifikator. In neuronalen Netzen ist sie identisch mit einem einzelnen Neuron mit Sigmoid-Aktivierung.
Das Modell¶
Wie bei der linearen Regression geht man von einem linearen Prädiktor \(\eta = \beta_0 + \beta_1 x_1 + \dots + \beta_p x_p = \mathbf{x}^\top\boldsymbol\beta\) aus, der jeden reellen Wert annehmen kann. Die logistische Funktion, auch Sigmoid genannt, bildet ihn auf eine Wahrscheinlichkeit zwischen 0 und 1 ab:
Chancen und Logit¶
Die Chance (englisch Odds) eines Ereignisses mit Wahrscheinlichkeit \(\pi\) ist \(\pi/(1-\pi)\); eine Wahrscheinlichkeit von 0,8 entspricht einer Chance von 4 zu 1. Die Umkehrfunktion der logistischen Funktion ist der Logit, der Logarithmus der Chance:
Die logistische Regression ist also ein lineares Modell für die logarithmierte Chance (Log-Odds). Sie gehört zur Familie der verallgemeinerten linearen Modelle (GLM) mit binomialverteilter Zielgröße und dem Logit als Linkfunktion.
Interpretation der Koeffizienten: das Odds Ratio¶
Steigt \(x_j\) um eine Einheit, während alle anderen Prädiktoren konstant bleiben, ändert sich die logarithmierte Chance um \(\beta_j\); die Chance wird also mit
multipliziert, dem Odds Ratio (Chancenverhältnis). Ein Odds Ratio über 1 bedeutet eine höhere Chance für \(y = 1\), ein Wert von 1 keinen Zusammenhang und ein Wert unter 1 eine geringere Chance.
Beispiel
In einem Modell für Herzerkrankungen sei der geschätzte Koeffizient einer Raucher-Indikatorvariable \(\hat\beta = 0{,}69\). Dann ist \(e^{0{,}69} \approx 2{,}0\): Bei sonst gleichen Prädiktoren haben Raucherinnen und Raucher etwa die doppelte Chance auf eine Herzerkrankung wie Nichtrauchende.
Odds Ratios sind keine relativen Risiken
Eine Verdoppelung der Chance ist nicht dasselbe wie eine Verdoppelung der Wahrscheinlichkeit. Das Odds Ratio nähert das relative Risiko nur dann an, wenn das Ereignis selten ist.
Maximum-Likelihood-Schätzung¶
Anders als bei der KQ-Schätzung gibt es für die logistische Regression keinen Schätzer in geschlossener Form. Die Koeffizienten werden mit der Maximum-Likelihood-Methode geschätzt. Jedes \(y_i\) ist Bernoulli-verteilt mit Erfolgswahrscheinlichkeit \(\pi_i = \sigma(\mathbf{x}_i^\top\boldsymbol\beta)\), die Log-Likelihood lautet daher
Diese Funktion ist konkav, jedes Maximum ist also global. Sie wird numerisch maximiert, klassisch mit dem Newton-Raphson-Verfahren, das bei diesem Modell der iterativ gewichteten Kleinste-Quadrate-Methode (IRLS) entspricht. Die negative Log-Likelihood ist die binäre Kreuzentropie, jene Verlustfunktion, mit der Klassifikatoren und neuronale Netze trainiert werden, meist mit gradientenbasierten Verfahren.
Einzelne Koeffizienten werden mit Wald-Tests geprüft, verschachtelte Modelle mit Likelihood-Quotienten-Tests verglichen.
Separation
Trennt ein Prädiktor oder eine Kombination von Prädiktoren die beiden Klassen perfekt, steigt die Likelihood immer weiter, je größer die Koeffizienten werden, und es existiert kein endlicher ML-Schätzer. Penalisierte Verfahren wie die Firth-Korrektur oder Regularisierung lösen dieses Problem.
Erweiterungen¶
- Die multinomiale logistische Regression behandelt mehr als zwei ungeordnete Kategorien; im Machine Learning heißt sie Softmax-Regression.
- Die ordinale logistische Regression behandelt geordnete Kategorien.
- Die penalisierte logistische Regression (Ridge, Lasso) eignet sich für viele Prädiktoren.
Wie es weitergeht¶
Damit ist der Teil zur statistischen Inferenz abgeschlossen. Das Machine Learning stellt eine andere Frage: nicht, ob ein Effekt signifikant ist, sondern wie genau ein Modell die Ergebnisse für neue Fälle vorhersagt.