ein Maß für die Abhängigkeit (Assoziation) zwischen Zufallsgrößen.

Seien X und Y zwei Zufallsgrößen mit dem Erwartungswert EX = μ_x und EY = μ_y, sowie den Varianzen \(V(X)={\sigma }_{x}^{2}\) und \(V(Y)={\sigma }_{y}^{2}\), wobei \(0\lt {\sigma }_{x}^{2},{\sigma }_{y}^{2}\lt \infty $.

1. Ausgehend von der Kovarianz cov(X, Y) = E[(X − EX)(Y − EY)] zweier Zufallsgrößen X und Y bezeichnet man \begin{eqnarray}{\varrho }_{xy}=\frac{cov(X,Y)}{{\sigma }_{x}{\sigma }_{y}}\end{eqnarray} als den ‚einfachen‘ oder ‚totalen Korrelationskoeffizienten‘ zwischen X und Y. Aufgrund der Cauchy-Schwarz-Ungleichung gilt \begin{eqnarray}-1\le {\varrho }_{xy}\le +1\end{eqnarray} mit \begin{eqnarray}\begin{array}{c}\begin{array}{c}{\varrho }_{xy}=+1\ \text{genau dann, wenn}\\ \text{}P(Y=a+bX)=1,b\gt 0\end{array}\\ \begin{array}{c}{\varrho}_{xy}=-1\ \text{genau dann, wenn}\\ \text{}P(Y=a+bX)=1,b\lt 0\end{array}\end{array}\text{}\end{eqnarray} bzw. \begin{eqnarray}\begin{array}{c}{\sigma }_{x}^{2}(1-{\varrho }_{xy}^{2})=\mathop{\min }\limits_{a,b\in {\mathbb{R}}}E{(X-a-bY)}^{2},\\ {\sigma }_{y}^{2}(1-{\varrho }_{xy}^{2})=\mathop{\min }\limits_{a,b\in {\mathbb{R}}}E{(Y-a-bX)}^{2}.\end{array}\end{eqnarray}

In diesem Sinne ist der einfache Korrelationskoeffizient ϱ_xy ein Maß für die lineare Abhängigkeit von X und Y. Man nennt X und Y positiv bzw. negativ korreliert, falls ϱ_xy > 0 bzw. ϱ_xy < 0 gilt. Ist ϱ_xy = 0, d. h. cov(X, Y) = 0, so heißen X und Y unkorreliert. Aus der stochastischen Unabhängigkeit zweier Zufallsgrößen folgt ihre Unkorreliertheit. Die Umkehrung dieser Aussage gilt nur dann, wenn X und Y eine zweidimensionale Normalverteilung besitzen. Man bezeichnet die Größe \(B:={\varrho }_{xy}^{2}\) als Bestimmtheitsmaß und \(1-B=1-{\varrho }_{xy}^{2}\) als Unbestimmtheitsmaß.

2. Es sei nun, in Verallgemeinerung von 1., \(\overrightarrow{X}=({X}_{1},\ldots,{X}_{m})\) ein zufälliger Vektor mit dem Erwartungswert \(E\overrightarrow{X}=\overrightarrow{\mu }\) und der Kovarianzmatrix B_x = B. Weiterhin bezeichne (X⁽¹⁾, X⁽²⁾) eine Zerlegung von X mit X⁽¹⁾ = (X₁, …, X_p) und X⁽²⁾ = (X_p+1, …, X_m), p < m, sowie \begin{eqnarray}\overrightarrow{\mu }=({\mu }^{(1)},{\mu }^{(2)})\ \text{bzw}.B=\left(\begin{array}{cc}{B}_{11} & {B}_{11}\\ {B}_{21} & {B}_{22}\end{array}\right)\end{eqnarray}

die entsprechenden Zerlegungen von \(\overrightarrow{\mu }\) und B. Dabei sei B₂₂ als regulär vorausgesetzt. Dann gilt für \begin{eqnarray}H(\overrightarrow{a},{M}_{b})=:E[{({X}^{(1)}-(\overrightarrow{a}+{M}_{b}{X}^{(2)})]}^{T}[({X}^{(1)}-(\overrightarrow{a}+{M}_{b}{X}^{(2)})],\end{eqnarray} daß \begin{eqnarray}\mathop{\mathop{\min }\limits_{\overrightarrow{a}^T\in \mathbb{R}^p}}\limits_{{M}_{b}\in \mathcal{M}_{m-p,m-p}}H(\overrightarrow{a},{M}_{b})={B}_{11}-{B}_{12}{B}_{22}^{-1}{B}_{21},\end{eqnarray}

und die beste lineare Funktion im Sinne der Mini-mierung dieses Kriteriums ist die lineare Regressionsfunktion \begin{eqnarray}\begin{array}{lll}g{X}^{(1)}({X}^{(2)}) & = & ({g}_{{X}_{1}}({X}^{(2)}),\ldots,{g}_{{X}_{p}}({X}^{(2)}))\\ & = & {\mu }^{(1)}+({X}^{(2)}-{\mu }^{(2)}){B}_{22}^{-1}{B}_{12}.\end{array}\end{eqnarray}

Die Elemente der Matrix \({B}_{11}-{B}_{12}{B}_{22}^{-1}{B}_{21}\) sind die ‚partiellen Kovarianzen‘ \begin{eqnarray}{\sigma }_{ij.p+1,\ldots,m}=E[({X}_{i}-{g}_{{X}_{t}}({X}^{(2)})({X}_{j}-g_{{X}_{j}}{(X)}^{(2)})],\end{eqnarray}

und entsprechend nennt man \begin{eqnarray}{\varrho }_{ij.p+1,\ldots,m}=\frac{{\sigma }_{ij.p+1,\ldots,m}}{\sqrt{{\sigma }_{ii.p+1,\ldots,m}{\sigma }_{jj.p+1,\ldots,m}}}\end{eqnarray}

die ‚partiellen Korrelationskoeffizienten‘ zwischen X_i und X_j (i, j = 1, …, p) bezüglich X_p+1, …, X_m. (Im Fall p = m setzt man \begin{eqnarray}{\varrho }_{ij.p+1,\ldots,m}={e}_{x_ix_j},\end{eqnarray}

d. h., der partielle ist in diesem Fall mit dem einfachen Korrelationskoeffizienten identisch.)

Der partielle Korrelationskoeffizient mißt also die lineare Abhängigkeit zwischen X_i und X_j nach Ausschaltung linearer Einflüsse von X_p+1, …, X_m auf X_i und X_j.

3. Als ‚multiplen Korrelationskoeffizienten‘ ϱ_1(2···m) zwischen X₁ und (X₂, …, X_m) bezeichnet man den einfachen Korrelationskoeffizienten zwischen X₁ und g_X1 (X⁽²⁾), X⁽²⁾ = (X₂, …, X_m) d. h., es ist \begin{eqnarray}{\varrho }_{1(\mathrm{2\cdots}m)}=\frac{{cov}({X}_{1},{g}_{{X}_{1}}({X}^{(2)})}{\sqrt{Var({X}_{1})Var({g}_{{X}_{1}}({X}^{(2)}))}}.\end{eqnarray}

ϱ_1(2···m) ist ein Maß für die lineare Abhängigkeit zwischen X₁ und der Gesamtheit der X₂, …, X_m. Der Wert \({\varrho }_{1(\mathrm{2\cdots}m)}^{2}\) heißt ‚multiples Bestimmtheitsmaß‘. Es gilt:

1. (a) 0 ≤ ϱ_1(2···m) ≤1 ;
2. (b) ϱ_1(2···m) = 1 genau dann, wenn P(a₁X₁ +···+ \begin{eqnarray}P(a_1X_1+\cdots +a_mX_m+b=0)=1;\end{eqnarray}
3. (c) ϱ_1(2···m) = 0 genau dann, wenn X₁ und X_i für i = 2, …, m unkorreliert sind.

4. Als Maß für die lineare Abhängigkeit zweier zufälliger Vektoren X⁽¹⁾ = (X₁, …, X_p) und X⁽²⁾ = (X_p+1, …, X_m), p ≤ m − p, werden in Verallgemeinerung des multiplen Korrelationskoeffizienten die ‚kanonischen Korrelationskoeffizienten‘ herangezogen (Korrelationsanalyse).

[1] Röhr, M.: Kanonische Korrelationsanalyse. Akademie-Verlag Berlin, 1987.