spezieller, i. allg. nicht randomisierter statistischer Hypothesentest (Testtheorie).

Der Signifikanztest ist ein α–Test, d.h., er wird so konstruiert, daß der Fehler 1. Art eine vorgegebene Wahrscheinlichkeit α nicht überschreitet. Aussagen über den Fehler 2. Art werden nicht getroffen bzw. lassen sich i. allg. für derartige Tests nicht treffen.

Das allgemeine Vorgehen beim Signifikanztest läßt sich wie folgt beschreiben:

1. Aufstellen der Nullhypothese H_o.
2. Konstruktion einer Teststatistik (Testgröße), d.h., einer Stichprobenfunktion T(X₁,…,X_n), die die Abweichung von der Hypothese H_o beschreibt, und deren Wahrscheinlichkeitsverteilung \({F}_{T|{H}_{o}}\) unter der Annahme, daß H_o gilt, bekannt ist.
3. Wahl eines kritischen Bereiches K^* ⊆ ℝ¹, d.h. eines möglichst großen Teilbereiches des Wertebereiches von T so, daß die Wahrscheinlichkeit p^* für den Fehler 1. Art eine vorgegebene Zahl α ∈ (0, 1) nicht überschreitet, daß also gilt: \begin{eqnarray}{p}^{*}:=P(T\in {K}^{*}|{H}_{o})\le \alpha.\end{eqnarray}p^* wird auch als Irrtumswahrscheinlichkeit und (1 − p^*) als Sicherheitswahrscheinlichkeit des Tests bezeichnet. K^* nennt man auch den Ablehnebereich und \(\overline{K^*}:={\mathbb{R}}\backslash K^* \) den Annahmebereich der Hypothese H_o. α heißt Signifikanzniveau des Tests. Häufig wird α = 0, 05; 0, 01; 0, 001 vorgegeben. α = 0, 05 bedeutet z.B., daß von ca. 100 Anwendungen des Tests in 5 Fällen H_o abgelehnt wird, obwohl H_o gilt. In den meisten Fällen ist der kritische Bereich von der Form
   1. K^* = (−∞, ε₁),
   2. K^* = (ε₂, ∞), oder
   3. K^* = (−∞, ε₁) ∪ (ε₂, ∞).
   Je nach Gestalt von K^* spricht man im Falle a) und b) vom einseitigem und im Fall von c) vom zweiseitigem Signifikanztest. ε, ε₁, ε₂ heißen kritische Werte. Im Fall a) wählt man ε = Q_T(1 − α), im Fall b) ε = Q_T(α) und im Fall c) ε₁ = Q_T(α/2) und \({\varepsilon}_{2}={Q}_{T}(1-\frac{\alpha}{2})\), wobei Q_T(p) das p-Quantil der Verteilung von T unter der Annahme der Gültigkeit von H_o ist. Bei dieser Wahl der kritischen Werte ist die Wahrscheinlichkeit p^* für den Fehler erster Art stets durch α nach oben begrenzt, z. B. gilt im zweisetigen Fall c): \begin{eqnarray}\begin{array}\text P(T\in K^* |{H}_{o}) = P(T\lt {\varepsilon}_{1}\vee T\gt {\varepsilon}_{2}|{H}_{0})\\\quad = 1-{P}_{T}({\varepsilon}_{1}\le T\le {\varepsilon}_{2}|{H}_{0})\\\quad = 1-({F}_{T\backslash {H}_{o}}({\varepsilon}_{2})-{F}_{T\backslash {H}_{o}}({\varepsilon}_{1}))\\\quad = 1-(1-\displaystyle\frac{\alpha}{2}-\frac{\alpha}{2})\\\quad = 1-(1-\alpha)=\alpha.\end{array}\end{eqnarray}
4. Entscheidungsregel: Sei (x₁,…,x_n) eine konkrete Stichprobe. Gilt T(x₁,…,x_n) ∈ K^*, so wird H_o abgelehnt, andernfalls angenommen.

Die Bedeutung des Signifikanztests liegt darin, daß man die Wahrscheinlichkeit für eine Fehlentscheidung 1. Art objektiv einschätzen kann. (Er wird gerade so konstruiert.) Sie überschreitet bei obiger Wahl von ε, ε₁, ε₂ den vorgegebenen Wert α nicht.

Zwischen Signifikanztests zum Signifikanzniveau α und Bereichschätzungen zur Überdeckungswahrscheinlichkeit 1 − α besteht ein enger Zusammenhang.

Ist I(X₁,…,X_n) ein Konfidenzintervall für einen unbekannten Verteilungsparameter γ ∈ ℝ¹ zur Überdeckungswahrscheinlichkeit 1 − α, so erhält man einen Signifikanztest zum Prüfen der Hypothese \begin{eqnarray}H:\gamma ={\gamma}^{o}\end{eqnarray} durch folgende Vorschrift: Die Hypothese H_o ist abzulehnen, falls das konkrete Intervall I(x₁,…,x_n) den Wert γ^o nicht enthält. Die Wahrscheinlichkeit für den Fehler 1. Art dieses Tests ist dann gleich α. Beispiele für Signifikanztests sind der t-Test, der χ²-Test und der F-Test.

Beispiel. Sei X eine normalverteilte Zufallsgröße mit unbekanntem Erwartungswert EX = μ und unbekannter Varianz V(X) = σ².

1. Zu prüfen ist die folgende Hypothese über den unbekannten Erwartungswert: \begin{eqnarray}{H}_{o}:\mu ={\mu}_{o},\end{eqnarray} wobei μ_o ein vorgegebener Wert ist. Der Signifikanztest wird wie folgt konstruiert:
2. Sei (X₁,…,X_n) eine Stichprobe von X, \(\overline{X}\) das empirische Mittel und S die empirische Streuung. Die Teststatistik lautet: \begin{eqnarray}T({X}_{1},\ldots, {X}_{n})=\frac{\sqrt{n}(\overline{X}-{\mu}_{o})}{S}\end{eqnarray}Sie ist plausibel, d. h. mißt den Abstand von der Nullhypothese, und ihre Verteilung unter der Annahme EX = μ_o ist bekannt; T besitzt eine Studentsche t-Verteilung mit (n − 1) Freiheitsgraden (Stichprobenfunktionen).
3. und
4. Die Entscheidungsregel lautet: \begin{eqnarray}|T({x}_{1},\ldots, {x}_{n})|\le \varepsilon \Rightarrow \text{Entscheodung}\,\mathrm f\ddot{\mathrm u}\mathrm r\,{H}_{o}\end{eqnarray}\begin{eqnarray}|T({x}_{1},\ldots, {x}_{n})|\gt \varepsilon \Rightarrow \text{Entscheodung}\,\text{gegen}\,{H}_{o}\end{eqnarray}

Die Entscheidungsvorschrift (1) und (2) ist äquivalent zu \begin{eqnarray}\begin{array}{l}{\mu}_{o}\in I({x}_{1},\ldots, {x}_{n})\Rightarrow \text{Entscheidung}\,\mathrm f\ddot{\mathrm u}\mathrm r\,{H}_{o}\\ {\mu}_{o}\rlap{/}{\in}I({x}_{1},\ldots, {x}_{n})\Rightarrow \text{Entscheidung}\,\text{gegen}\,{H}_{o}\end{array}\end{eqnarray}

wobei \begin{eqnarray}I({X}_{1},\mathrm{\ldots},{X}_{n})=\left[\overline{X}-\frac{S}{\sqrt{n}}{t}_{n-1}(1-\frac{\alpha}{2}),\overline{X}+\frac{S}{\sqrt{n}}{t}_{n-1}(1-\frac{\alpha}{2})\right]\end{eqnarray} ein Konfidenzintervall für den Erwartungswert der Normalverteilung zur Überdeckungswahrscheinlichkeit (1 − α) ist. Das Konfidenzintervall ist äquivalent zum Annahmebereich des Tests.