Lineare Regression¶
Die lineare Regression beschreibt, wie der Erwartungswert einer stetigen Zielvariable \(y\) von einer oder mehreren Einflussgrößen (Prädiktoren) \(x_1, \dots, x_p\) abhängt.
Das Modell¶
Für Beobachtungen \(i = 1, \dots, n\) gilt
oder in Matrixschreibweise \(\mathbf{y} = \mathbf{X}\boldsymbol\beta + \boldsymbol\varepsilon\), wobei \(\mathbf{X}\) die \(n \times (p+1)\)-Designmatrix ist, deren erste Spalte aus Einsen besteht. Der Koeffizient \(\beta_0\) ist der Achsenabschnitt, \(\beta_1, \dots, \beta_p\) sind die Steigungen und \(\varepsilon_i\) unbeobachtete zufällige Fehler.
Das Modell heißt linear, weil es linear in den Koeffizienten ist. Die Prädiktoren selbst dürfen transformiert sein: Auch \(y = \beta_0 + \beta_1 x + \beta_2 x^2 + \varepsilon\) ist ein lineares Modell.
Kleinste-Quadrate-Schätzung¶
Die Methode der kleinsten Quadrate (englisch Ordinary Least Squares, OLS) wählt jene Koeffizienten, welche die Summe der quadrierten Residuen minimieren:
wobei \(\mathbf{x}_i^\top\) die \(i\)-te Zeile von \(\mathbf{X}\) ist. Die geschlossene Lösung existiert, sobald \(\mathbf{X}\) vollen Spaltenrang hat. Mit nur einem Prädiktor vereinfacht sie sich zu
Kleinste Quadrate und Maximum-Likelihood
Sind die Fehler unabhängig und normalverteilt mit konstanter Varianz, ist der KQ-Schätzer zugleich der Maximum-Likelihood-Schätzer für \(\boldsymbol\beta\).
Annahmen¶
Die üblichen Standardfehler, Tests und Konfidenzintervalle beruhen auf folgenden Annahmen:
- Linearität: \(E(y_i \mid \mathbf{x}_i) = \mathbf{x}_i^\top\boldsymbol\beta\).
- Exogenität: \(E(\varepsilon_i \mid \mathbf{X}) = 0\); insbesondere korreliert keine ausgelassene Variable mit den aufgenommenen Prädiktoren.
- Homoskedastizität: Die Fehler haben eine konstante Varianz \(\sigma^2\).
- Keine Autokorrelation: Fehler verschiedener Beobachtungen sind unkorreliert; dies ist bei Zeitreihen oder geclusterten Daten oft verletzt.
- Keine perfekte Multikollinearität: Kein Prädiktor ist eine exakte Linearkombination der anderen.
- Normalverteilung der Fehler; sie wird für exakte \(t\)- und \(F\)-Tests bei kleinen Stichproben benötigt, bei großen Stichproben macht der zentrale Grenzwertsatz sie weniger wichtig.
Unter den Annahmen 1–5 besagt das Gauß-Markov-Theorem, dass der KQ-Schätzer der beste lineare unverzerrte Schätzer ist (BLUE): Kein anderer linearer erwartungstreuer Schätzer hat eine kleinere Varianz. Residuenplots sind das wichtigste Diagnosewerkzeug, und heteroskedastizitätsrobuste Standardfehler schützen vor Verletzungen von Annahme 3.
Interpretation¶
- \(\hat\beta_j\) ist die geschätzte Änderung des Erwartungswerts von \(y\), wenn \(x_j\) um eine Einheit steigt und alle anderen Prädiktoren konstant gehalten werden.
- Der \(t\)-Test für \(H_0: \beta_j = 0\) (siehe Hypothesentests) prüft, ob \(x_j\) mit \(y\) zusammenhängt, nachdem die übrigen Prädiktoren berücksichtigt sind.
- Das Bestimmtheitsmaß
ist der Anteil der Varianz von \(y\), der durch das Modell erklärt wird. Da \(R^2\) beim Hinzufügen von Prädiktoren nie sinkt, verwendet man zum Vergleich unterschiedlich großer Modelle das korrigierte \(R^2\).
Beispiel
Ein geschätztes Modell für Wohnungspreise laute \(\widehat{\text{Preis}} = 50\,000 + 3\,000 \cdot \text{Fläche}\), mit dem Preis in Euro und der Fläche in Quadratmetern. Jeder zusätzliche Quadratmeter geht mit einem um 3.000 Euro höheren erwarteten Preis einher.
Zusammenhang ist nicht Kausalität
Ein Regressionskoeffizient misst einen Zusammenhang. Eine kausale Interpretation erfordert ein Design, das Störgrößen (Confounder) ausschließt, etwa ein randomisiertes Experiment, oder spezielle Methoden der Kausalinferenz.
Ausblick¶
Nimmt die Zielvariable nur die Werte 0 und 1 an, kann eine Gerade Werte unter 0 oder über 1 vorhersagen, und die Annahme konstanter Varianz ist verletzt. Die logistische Regression löst beide Probleme.