Grundlagen¶
Zufallsvariablen¶
Eine Zufallsvariable \(X\) ist eine numerische Größe, deren Wert vom Ergebnis eines Zufallsvorgangs abhängt. Sie ist diskret, wenn sie abzählbar viele Werte annimmt (die Anzahl fehlerhafter Stücke in einer Lieferung), und stetig, wenn sie jeden Wert in einem Intervall annehmen kann (die Körpergröße einer Person).
Eine diskrete Zufallsvariable wird durch ihre Wahrscheinlichkeitsfunktion \(P(X = x)\) beschrieben. Eine stetige Zufallsvariable wird durch eine Dichtefunktion \(f(x)\) beschrieben; Wahrscheinlichkeiten sind Flächen unter der Dichte, \(P(a \le X \le b) = \int_a^b f(x)\,dx\), und die Wahrscheinlichkeit für einen einzelnen exakten Wert ist null.
Erwartungswert und Varianz¶
Der Erwartungswert ist der mit den Wahrscheinlichkeiten gewichtete Durchschnitt der möglichen Werte, die Varianz die erwartete quadrierte Abweichung davon:
Die Standardabweichung \(\sigma = \sqrt{\operatorname{Var}(X)}\) hat dieselbe Einheit wie \(X\).
Wichtige Verteilungen¶
| Verteilung | Typ | Typische Anwendung | Erwartungswert | Varianz |
|---|---|---|---|---|
| Bernoulli(\(p\)) | diskret | ein einzelnes Ja/Nein-Ergebnis | \(p\) | \(p(1-p)\) |
| Binomial(\(n, p\)) | diskret | Anzahl der Erfolge in \(n\) unabhängigen Versuchen | \(np\) | \(np(1-p)\) |
| Poisson(\(\lambda\)) | diskret | Anzahl von Ereignissen in einem festen Intervall | \(\lambda\) | \(\lambda\) |
| Normal(\(\mu, \sigma^2\)) | stetig | Messfehler, Summen vieler kleiner Einflüsse | \(\mu\) | \(\sigma^2\) |
| Student-\(t_\nu\) | stetig | Inferenz über Mittelwerte bei geschätztem \(\sigma\) | \(0\) (für \(\nu > 1\)) | \(\nu/(\nu-2)\) (für \(\nu > 2\)) |
| \(\chi^2_\nu\) | stetig | Varianzen, Anpassungstests, Kontingenztafeln | \(\nu\) | \(2\nu\) |
Dabei bezeichnet \(\nu\) die Anzahl der Freiheitsgrade.
Grundgesamtheit und Stichprobe¶
Die Grundgesamtheit ist die Gesamtheit aller Einheiten, über die man etwas erfahren möchte, etwa alle Teile, die in einem Jahr auf einer Fertigungslinie produziert werden. Die Stichprobe ist die Teilmenge, die tatsächlich beobachtet wird. Gültige Inferenz setzt voraus, dass die Stichprobe durch einen bekannten Zufallsmechanismus gezogen wird. Bei einer einfachen Zufallsstichprobe hat jede Einheit dieselbe Auswahlwahrscheinlichkeit, und die Beobachtungen \(X_1, \dots, X_n\) können als unabhängig und identisch verteilt (u.i.v., englisch i.i.d.) behandelt werden.
Eine aus der Stichprobe berechnete Größe heißt Statistik. Die wichtigsten sind das Stichprobenmittel und die Stichprobenvarianz:
Da eine Statistik davon abhängt, welche Einheiten zufällig in die Stichprobe gelangen, ist sie selbst eine Zufallsvariable. Ihre Verteilung über alle möglichen Stichproben heißt Stichprobenverteilung. Für u.i.v. Daten gilt \(E(\bar X) = \mu\) und \(\operatorname{Var}(\bar X) = \sigma^2/n\).
Gesetz der großen Zahlen und zentraler Grenzwertsatz¶
Das Gesetz der großen Zahlen besagt, dass das Stichprobenmittel \(\bar X\) mit wachsendem Stichprobenumfang gegen den Erwartungswert \(\mu\) konvergiert.
Der zentrale Grenzwertsatz beschreibt die Form der verbleibenden Unsicherheit. Sind die \(X_i\) u.i.v. mit endlicher Varianz \(\sigma^2\), so nähert sich das standardisierte Mittel einer Standardnormalverteilung:
Praktisch bedeutet das: \(\bar X\) ist für großes \(n\) annähernd \(N(\mu, \sigma^2/n)\)-verteilt, unabhängig von der Verteilung der einzelnen Beobachtungen.
Warum der zentrale Grenzwertsatz wichtig ist
Die meisten Konfidenzintervalle und Tests auf den folgenden Seiten beruhen auf ihm. Er erklärt auch, warum die Genauigkeit nur mit der Wurzel des Stichprobenumfangs zunimmt: Um den Standardfehler zu halbieren, braucht man viermal so viele Beobachtungen.
Wie groß ist groß?
Die beliebte Faustregel „\(n \ge 30\) reicht“ ist nur ein grober Anhaltspunkt. Bei stark schiefen oder endlastigen Verteilungen kann die Normalapproximation auch bei deutlich größeren Stichproben noch schlecht sein.