Hypothesentests¶
Ein Hypothesentest ist ein Verfahren, mit dem man anhand von Daten entscheidet, ob genügend Evidenz gegen eine Ausgangsannahme vorliegt, wobei die Wahrscheinlichkeit eines Fehlalarms kontrolliert wird.
Null- und Alternativhypothese¶
- Die Nullhypothese \(H_0\) ist die Ausgangsposition, meist „kein Effekt“ oder „kein Unterschied“, zum Beispiel \(H_0: \mu_1 = \mu_2\).
- Die Alternativhypothese \(H_1\) ist das, wofür man Evidenz sucht, entweder zweiseitig (\(\mu_1 \ne \mu_2\)) oder einseitig (\(\mu_1 > \mu_2\)).
Aus den Daten wird eine Teststatistik \(T\) berechnet. Ihre Verteilung unter \(H_0\) ist bekannt, sodass man beurteilen kann, ob der beobachtete Wert ungewöhnlich wäre, wenn \(H_0\) zuträfe.
Der p-Wert¶
Der p-Wert ist die unter der Annahme, dass \(H_0\) gilt, berechnete Wahrscheinlichkeit, eine Teststatistik zu erhalten, die mindestens so extrem ist wie die beobachtete. Für einen zweiseitigen Test gilt
Ist \(p \le \alpha\), wobei das Signifikanzniveau \(\alpha\) vorab festgelegt wird (häufig 0,05), wird \(H_0\) verworfen und das Ergebnis heißt statistisch signifikant.
Häufige Fehlinterpretationen
- Der p-Wert ist nicht die Wahrscheinlichkeit, dass \(H_0\) wahr ist.
- Ein kleiner p-Wert bedeutet nicht, dass der Effekt groß oder praktisch bedeutsam ist.
- Ein großer p-Wert zeigt nicht, dass \(H_0\) wahr ist; vielleicht hatte die Studie einfach zu wenig Teststärke.
Die American Statistical Association hat sich 2016 in einer Stellungnahme zu p-Werten mit diesen Problemen befasst (Wasserstein & Lazar, 2016). Es ist gute Praxis, zusätzlich zu p-Werten Effektgrößen mit Konfidenzintervallen anzugeben.
Fehler 1. und 2. Art¶
| \(H_0\) wahr | \(H_0\) falsch | |
|---|---|---|
| \(H_0\) verwerfen | Fehler 1. Art (Wahrscheinlichkeit \(\alpha\)) | richtig (Wahrscheinlichkeit \(1-\beta\), die Teststärke) |
| \(H_0\) nicht verwerfen | richtig | Fehler 2. Art (Wahrscheinlichkeit \(\beta\)) |
Das Signifikanzniveau \(\alpha\) ist die Wahrscheinlichkeit für einen Fehler 1. Art, die man in Kauf zu nehmen bereit ist. Die Teststärke (Power) \(1-\beta\) ist die Wahrscheinlichkeit, einen tatsächlich vorhandenen Effekt zu entdecken; sie steigt mit der Effektgröße, dem Stichprobenumfang und \(\alpha\) und sinkt mit der Streuung der Daten. Studien werden üblicherweise so geplant, dass sie für den kleinsten praktisch relevanten Effekt eine Teststärke von mindestens 80 % erreichen.
Verbindung zur Klassifikation
Ein Fehler 1. Art ist ein falsch positives, ein Fehler 2. Art ein falsch negatives Ergebnis – genau die Felder abseits der Diagonale einer Konfusionsmatrix.
Gängige Tests¶
| Test | Fragestellung | Wichtigste Voraussetzungen |
|---|---|---|
| Einstichproben-\(t\)-Test | Weicht ein Erwartungswert von einem Vorgabewert \(\mu_0\) ab? | annähernd normalverteilte Daten oder großes \(n\) |
| Welch-Test (Zweistichproben-\(t\)-Test) | Unterscheiden sich die Erwartungswerte zweier unabhängiger Gruppen? | unabhängige Gruppen; gleiche Varianzen nicht nötig |
| \(t\)-Test für verbundene Stichproben | Unterscheiden sich gepaarte Messungen im Mittel? | Differenzen annähernd normalverteilt |
| \(\chi^2\)-Unabhängigkeitstest | Hängen zwei kategoriale Merkmale zusammen? | erwartete Zellhäufigkeiten nicht zu klein (oft \(\ge 5\)) |
| Mann-Whitney-\(U\)-Test | Unterscheiden sich zwei unabhängige Gruppen in der Lage? | ordinale oder stetige Daten; keine Normalverteilung nötig |
| Einfaktorielle Varianzanalyse (\(F\)-Test) | Unterscheiden sich die Erwartungswerte von drei oder mehr Gruppen? | Normalverteilung, Varianzhomogenität, Unabhängigkeit |
Die Teststatistik des Einstichproben-\(t\)-Tests lautet
und folgt bei normalverteilten Daten unter \(H_0\) einer \(t\)-Verteilung mit \(n-1\) Freiheitsgraden.
Multiples Testen¶
Werden viele Hypothesen getestet, erscheinen manche allein durch Zufall signifikant. Bei 20 unabhängigen Tests mit \(\alpha = 0{,}05\), wenn alle Nullhypothesen wahr sind, beträgt die Wahrscheinlichkeit für mindestens ein falsch positives Ergebnis \(1 - 0{,}95^{20} \approx 0{,}64\). Die Bonferroni-Korrektur testet jede der \(m\) Hypothesen zum Niveau \(\alpha/m\) und kontrolliert so die Wahrscheinlichkeit für irgendein falsch positives Ergebnis. Das Benjamini-Hochberg-Verfahren kontrolliert die False Discovery Rate, den erwarteten Anteil falsch positiver Ergebnisse unter den Verwerfungen, und ist weniger konservativ.