Schätzen¶
Schätzen bedeutet, mithilfe einer Stichprobe den Wert eines unbekannten Parameters \(\theta\) der Grundgesamtheit zu bestimmen, etwa eines Erwartungswerts \(\mu\), eines Anteils \(p\) oder einer Varianz \(\sigma^2\).
Punktschätzung¶
Ein Punktschätzer \(\hat\theta = T(X_1, \dots, X_n)\) ist eine Vorschrift, die aus den Daten eine einzelne Zahl macht. Bekannte Beispiele sind das Stichprobenmittel \(\bar X\) für \(\mu\), der Stichprobenanteil \(\hat p\) für \(p\) und die Stichprobenvarianz \(S^2\) für \(\sigma^2\). Ein Schätzer ist eine Zufallsvariable; die Zahl, die man aus einer konkreten Stichprobe erhält, heißt Schätzwert.
Eigenschaften von Schätzern¶
- Erwartungstreue (Unverzerrtheit): \(E(\hat\theta) = \theta\). Im Mittel über wiederholte Stichproben trifft der Schätzer den wahren Wert. Durch die Division durch \(n-1\) statt \(n\) ist \(S^2\) erwartungstreu für \(\sigma^2\).
- Effizienz: Unter den erwartungstreuen Schätzern ist jener mit der kleinsten Varianz vorzuziehen.
- Konsistenz: \(\hat\theta\) konvergiert für \(n \to \infty\) in Wahrscheinlichkeit gegen \(\theta\).
Die Standardabweichung eines Schätzers heißt Standardfehler. Für das Stichprobenmittel beträgt er \(\sigma/\sqrt{n}\) und wird durch \(s/\sqrt{n}\) geschätzt.
Mittlerer quadratischer Fehler¶
Der mittlere quadratische Fehler (MSE) vereint beide Quellen von Ungenauigkeit:
Verbindung zum Machine Learning
Dieselbe Zerlegung taucht als Bias-Varianz-Zielkonflikt wieder auf. Ein Schätzer mit kleiner Verzerrung, aber deutlich geringerer Varianz kann einen kleineren MSE haben als ein erwartungstreuer – das ist die Grundidee der Regularisierung.
Konfidenzintervalle¶
Ein Punktschätzwert sagt nichts über seine Genauigkeit aus. Ein Konfidenzintervall zum Niveau \(1-\alpha\) ist ein zufälliges Intervall, das so konstruiert ist, dass es bei wiederholter Stichprobenziehung den wahren Parameter mit Wahrscheinlichkeit \(1-\alpha\) enthält.
Für den Erwartungswert einer normalverteilten Grundgesamtheit mit unbekannter Varianz lautet das Intervall
wobei \(t_{n-1,\,1-\alpha/2}\) das \(1-\alpha/2\)-Quantil der \(t\)-Verteilung mit \(n-1\) Freiheitsgraden ist. Dank des zentralen Grenzwertsatzes gilt dasselbe Intervall für große \(n\) auch bei nicht normalverteilten Daten näherungsweise; das \(t\)-Quantil nähert sich dann dem Normalquantil, das für ein 95-%-Intervall etwa 1,96 beträgt.
Interpretation eines Konfidenzintervalls
Die 95 % beschreiben das langfristige Verhalten des Verfahrens: 95 % der so konstruierten Intervalle enthalten den wahren Wert. Sie sind nicht die Wahrscheinlichkeit, dass der wahre Wert in einem bestimmten, bereits berechneten Intervall liegt; im frequentistischen Rahmen ist der Parameter fest, das Intervall enthält ihn also entweder oder nicht. Aussagen der Form „der Parameter liegt mit 95 % Wahrscheinlichkeit in diesem Intervall“ gehören zu bayesianischen Kredibilitätsintervallen.
Maximum-Likelihood-Schätzung¶
Die Maximum-Likelihood-Methode (ML-Methode) ist das am weitesten verbreitete allgemeine Verfahren zur Konstruktion von Schätzern. Man wählt jenen Parameterwert, unter dem die beobachteten Daten am wahrscheinlichsten sind. Für unabhängige Beobachtungen mit Dichte oder Wahrscheinlichkeitsfunktion \(f(x \mid \theta)\) sind die Likelihood und die Log-Likelihood
und der ML-Schätzer ist \(\hat\theta_{\text{ML}} = \arg\max_\theta \ell(\theta)\). Die Maximierung von \(\ell\) statt \(L\) liefert dasselbe Ergebnis und ist einfacher, weil aus dem Produkt eine Summe wird.
Beispiel: Schätzung eines Anteils
Angenommen, \(k\) von \(n\) unabhängigen Bernoulli-Versuchen sind Erfolge. Dann ist \(\ell(p) = k \log p + (n-k)\log(1-p)\). Nullsetzen der Ableitung \(k/p - (n-k)/(1-p)\) ergibt \(\hat p = k/n\), den beobachteten Anteil.
Unter üblichen Regularitätsbedingungen sind ML-Schätzer konsistent und asymptotisch normalverteilt, und ihre Varianz nähert sich mit wachsendem \(n\) dem kleinstmöglichen Wert (der Cramér-Rao-Schranke). Die Maximum-Likelihood-Methode wird bei der logistischen Regression wieder verwendet, und das Training eines neuronalen Netzes durch Minimierung der Kreuzentropie ist eine Form der Maximum-Likelihood-Schätzung.