Vertiefung – Signifikanzniveau
Leitfrage
Ziel ist es weiterhin, den Test der Skeptiker unter mathematischen Gesichtpunkten zu analysieren.
Eine Entscheidungsregel konzipieren
Wir spielen jetzt folgende Situation durch: Die Skeptiker entwickeln ein neues Testszenario.
Für manche behaupteten Fähigkeiten sind Tests sinnvoll, bei denen es um wiederholte Ja-Nein-Entscheidungen geht. So behauptet Kandidat P.T., dass er mit seinem Pendel erspüren kann, ob sich unter einem Karton ein Aluminium-Röhrchen befindet oder nicht. Zur Überprüfung soll Kandidat P.T. wiederholt mit seinem Pendel feststellen, ob ein Aluminium-Röhrchen unter einem Karton versteckt ist oder nicht. Die Skeptiker stellen – wie immer – die Nullhypothese auf, dass Kandidat P.T. rät. Es handet sich aus Sicht der Skeptiker bei dem Test also um eine Bernoulli-Kette mit der Trefferwahrscheinlichkeit $p = 0.5$. Unklar ist noch, wie oft das Pendelexperiment wiederholt werden soll und ab welcher Trefferzahl der Test als bestanden gilt.
Die Skeptiker könnten so vorgehen, dass sie zunächst eine Wiederholungszahl $n$ und die Mindesttrefferanzahl $k$ für das Testverfahren vorgeben und dann die Fehlerwahrscheinlichkeiten berechnen. Sinnvoller ist es, umgekehrt vorzugehen und eine Fehlerwahrscheinlichkeit vorzugeben und dann $n$ und $k$ passend zu wählen. Dieses Vorgehen ist in der Praxis üblich. Man gibt eine Obergrenze für den Fehler 1. Art als sogenanntes Signifikanzniveau vor. Wenn ein(e) Kandidat(in) es schafft, den Test zu bestehen, dann wird das als signifikante Abweichung von der Nullhypothese betrachtet und die Nullthypothese wird verworfen. Bei einer Nullhypothese geht man davon aus, dass behauptete Effekte zufällig zustande kommen. Wird sie abgelehnt, geht man von einem echten Zusammenhang aus. Ein niedriges Signifikanzniveau bedeutet, dass man eine höhere Sicherheit haben möchte, bevor man eine Behauptung akzeptiert.
Bei der Wahl des Signifikanzniveaus orientieren wir uns am Testszenario für den Kandidaten H.K.: Sie sollen 13-mal Wasser suchen, das in einem von 10 Eimern versteckt ist.
Mindestens 7-mal müssen sie richtig liegen, um den Test zu bestehen.
. Bei diesem Testszenario beträgt der Fehler 1. Art $\alpha$ ca. $0.0001 = 0.01\%$.
Das Signifikanzniveau soll also $0.01\%$ betragen.
Aufgabe 1
Für die Durchführung von Experimenten mit zwei Ausgängen ist es aus praktischer Sicht günstig, wenn man diese in 10er-Blöcken führen kann. Die Anzahl der Wiederholungen sollte also ein Vielfaches von $10$ sein wie z.B. $30$ Wiederholungen oder $40$ Wiederholungen oder $50$ Wiederholungen.
(a) Bestimme für $n = 30$, $n = 40$ und $n = 50$ die Mindesttrefferanzahl $k$ so, dass für den Fehler 1. Art $\alpha \leq 0.0001$ gilt. Trage die Ergebnisse in die folgende Übersicht ein.
| $n$ Anzahl der Wiederholungen |
$k$ Mindestanzahl der Treffer |
Fehler 1. Art Bedingung: $\alpha \leq 0.0001$ |
|---|---|---|
| $n = 30$ | $k = \dots$ | $\alpha \approx \dots$ |
| $n = 40$ | $k = \dots$ | $\alpha \approx \dots$ |
| $n = 50$ | $k = \dots$ | $\alpha \approx \dots$ |
(b) Bei der Testkonzeption sollte man den Fehler 2. Art auch im Auge behalten. Wir gehen hier von einer vom Kandidaten behaupteten Trefferquote von $p_k = 0.9$ aus. Bestimme für die in Aufgabenteil (a) ermittelten Mindesttrefferanzahlen und die behauptete Trefferquote auch den jeweilgen Fehler 2. Art.
(c) Für welches Testszenario sollten die Skeptiker sich entscheiden? Diskutiere die jeweiligen Vor- und Nachteile (aus Sicht der Skeptiker / aus Sicht des Kandidaten).
