Statistikberatung - Statistiktipps: Multiples Testen

Multiples Testen
Überprüfung eines Modells, dass aus mehreren (m) Hypothesen besteht. Beim multiplen Testen treten folgende Effekte auf:

Je mehr Hypothesen getestet werden, desto höher ist die Wahrscheinlichkeit, dass ein möglicher, aber nicht vorhandener Unterschied "aufgedeckt wird (Fehler 1. Art).
Je mehr Hypothesen getestet werden, desto geringer ist die Wahrscheinlichkeit, dass ein tatsächlicher vorhandener Unterschied "aufgedeckt wird (Power des Tests, Fehler 2. Art).

Literatur: Bland JM, AltmanDG: Multiple significance tests. BMJ 1995, 310, 170

Beispiel: In einem Vorhaben werden N=100 verschiedene Parameter erhoben, für die statistische Analyse wird p<0,05 als Signifikanzgrenze gewählt (p<0,05 heißt: Die Wahrscheinlichkeit, einen nichtvorhandenen Unterschied irrtümlich als vorhanden zu erkennen, beträgt 5 %). Dann werden Sie auf jeden Fall ein signifikantes Ergebnis (d.h. einen signifikanten Unterschied) herausbekommen. Genauer gesagt, mit einer Wahrscheinlichkeit von 1-0,95100 = 99,4% wird mindestens 1 signifikanter Unterschied gefunden werden. (Selbst bei p<0,01 ist die Chance hoch: 63,4%).

Beispiel: Die Ergebnisse fast aller Studien, die auf den Seiten "Bunt Vermischtes" unserer, auch renommierter Tageszeitungen stehen, sind (Fehl-)Ergebnisse von multiplen Tests. Wenn z.B. zahlreiche Eigenschaften der weiblichen Bevölkerung der EU-Länder an insgesamt 1000 Probanten untersucht werden, werden für Fragestellungen immer signifikante Unterschiede gefunden werden. Leider ist diese Herangehensweise auch in vielen wissenschaftlichen Studien anzutreffen (z.B. beim nichtvalidierten Einsatz von DNA- und Proteinchips für die Diagnostik.

Auswege
1. Bonferroni-Ansatz:

Vorgabe eines Signifikanzniveaus a für die gesamte Theorie
Ermittlung des individuellen Signifikanzniveaus mit a(ind) = a/m
Testen von m individuellen Hypothesen H(1) ... H(m)
Bestimmung der p-Werte für jede Hypothese p(1)... p(m)
Bestimmung der signifikanten Ergebnisse (Ablehung der Hypothesen) für die
p < a(ind) = a/m gilt.

2. Bonferroni-Holm-Ansatz:

Testen von m individuellen Hypothesen H(1) ... H(m)
Bestimmung der p-Werte für jede Hypothese p(1)... p(m)
Ordnen der p-Werte p(1) < ... < p(m)
Vorgabe eines Signifikanzniveaus a für die gesamte Theorie
Bestimmung der k signifikanten Ergebnisse (Ablehung der k Hypothesen) für die
p < a(ind) = a/m gilt.
Ermittlung eines neuen individuellen Signifikanzniveaus mit
a(ind) = a/(m-k) und Bestimmung der signifikanten Ergebnisse mit p < a(ind)
zyklisch den vorhergehenden Schritt fortsetzen

3. Unabhängige Hypothesen:

Vorgabe eines Signifikanzniveaus a für die gesamte Theorie
Ermittlung des individuellen Signifikanzniveaus mit a(ind) = 1-(1-a)^(1/m)
(^ bedeutet "hoch" bzw. "zur Potenz")
Testen von m individuellen Hypothesen H(1) ... H(m)
Bestimmung der p-Werte für jede Hypothese p(1)... p(m)
Bestimmung der signifikanten Ergebnisse (Ablehung der Hypothesen) für die
p < a(ind) = 1-(1-a)^(1/m) gilt.