Direkt zum Inhalt

Lexikon der Mathematik: Faktorenanalyse

Die Faktorenanalyse ist eine Methode zur Analyse von Beziehungen von untereinander abhängigen zufälligen Merkmalen.

Dabei versucht man, diese Merkmale auf gemeinsame wenige Ursachenkomplexe, die sogenannten Faktoren zurückzuführen. Die Methode wurde von Hotelling (1933), Lawley (1940) und Thurstone (1947) im Rahmen der mathematischen Statistik begründet und findet insbesondere in der Psychologie und Soziologie breite Anwendung.

Mathematisch formuliert ist die Faktorenanalyse eine Methode zur Untersuchung der Kovarianzmatrix eines reellen zufälligen Vektors \(\overrightarrow{X}=(X_{1},\ldots,X_{m})\) dessen Komponenten Xi, i = 1, …, m die zufälligen Merkmale beschreiben. Hierbei legt man das folgende Modell zugrunde: \begin{eqnarray}{X}_{i}=\displaystyle \sum _{j=1}^{s}{a}_{ij}{F}_{j}+{\varepsilon }_{i},i=1,\ldots,m(s\le m);\end{eqnarray}

< ?PageNum _121Xi – sind die vorher standardisierten zufälligen Merkmale, d. h., es gilt EXi = 0 und V(Xi) = 1,i = 1, …, m; (diese Standardisierung erreicht man immer durch die lineare Transformation \({X}_{i}:=\frac{{X}_{i}-E{X}_{i}}{\sqrt{V({X}_{i})}}\))

Fj – sind die sogenannten zufälligen Faktoren mit EFj = 0 und V(Fj) = 1, j = 1, …, s;

aij – sind reelle Koeffizienten, die den Einfluß des Faktors Fj auf das Merkmal Xi wiedergeben und als Ladungen bzw. Faktorladungen bezeichnet werden, i = 1, …, m; j = 1, …, s;

ϵi – sind untereinander und mit Fj, j = 1, …, s, unkorrelierte Zufallsgrößen mit i = 0 und \(V({\varepsilon }_{i})={\sigma }_{i}^{2}\), i = 1, …, m; diese werden häufig als die durch die s Faktoren nicht erklärbaren Reste bezeichnet.

Für die Kovarianzmatrix \({\Sigma }_{\overrightarrow{X}}=Cov (\overrightarrow{X})\) des Merkmalsvektors \(\overrightarrow{X}\) ergibt sich unter diesen Modell-Annahmen: \begin{eqnarray}\begin{array}{cc}{\Sigma }_{\overrightarrow{X}}:=A{C}_{\overrightarrow{F}}{A}^{T}+{D}_{\overrightarrow{\varepsilon }},\end{array}\end{eqnarray}

wobei \begin{eqnarray}A=\left(\begin{array}{cccc}{a}_{11} & {a}_{12} & \ldots & {a}_{1s}\\ {a}_{21} & {a}_{22} & \ldots & {a}_{2s}\\ \vdots & \vdots & \ddots & \vdots \\ {a}_{m1} & {a}_{m2} & \ldots & {a}_{ms}\end{array}\right)\end{eqnarray}

die Matrix der Faktorladungen, \begin{eqnarray}{D}_{\overrightarrow{\varepsilon }}=\left(\begin{array}{cccc}{\sigma }_{1}^{2} & 0 & \ldots & 0\\ 0 & {\sigma }_{2}^{2} & \ldots & 0\\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & {\sigma }_{m}^{2}\end{array}\right)\end{eqnarray}

die Kovarianzmatrix von \(\overrightarrow{\varepsilon }\), und \begin{eqnarray}{C}_{\overrightarrow{F}}=Cov(\overrightarrow{F})\end{eqnarray}

die Kovarianzmatrix des Vektors der zufälligen Faktoren \(\overrightarrow{F}=({F}_{1},\ldots,{F}_{s})\) sind.

Die Gleichung (1) wird als Hauptgleichung der Faktorenanalyse bezeichnet. Häufig fordert man (aus Gründen der Vereinfachung des Problems), daß die Faktoren unkorreliert sind, daß also \({C}_{\overrightarrow{F}}\) gleich der Einheitsmatrix ist; die Hauptgleichung der Faktorenanalyse lautet dann: \begin{eqnarray}\begin{array}{cc}{\sum }_{\overrightarrow{X}}:=A{A}^{T}+{D}_{\overrightarrow{\varepsilon }}\end{array}\end{eqnarray}

Dies bedeutet, daß die Kovarianzen \({\sigma }_{{X}_{i}{X}_{j}}\) von Xi und Xj und die Varianzen von Xi sich wie folgt beschreiben lassen: \begin{eqnarray}\begin{array}{llll}{\sigma }_{{X}_{i}{X}_{j}} & = & E{X}_{i}{X}_{j} & \\ & = & \displaystyle \sum _{l=1}^{s}{a}_{il}{a}_{jl}\ \mathrm{f}\mathrm{\ddot{u}}\mathrm{r}\ i\ne j\end{array}\end{eqnarray}

und \begin{eqnarray}\begin{array}{cc}1=\displaystyle \sum _{l=1}^{s}{a}_{il}^{2}+{\sigma }_{i}^{2}.\end{array}\end{eqnarray}

Man bezeichnet \begin{eqnarray}{h}_{i}^{2}:=\displaystyle \sum _{l=1}^{s}{a}_{il}^{2}\end{eqnarray}

als Kommunalität von Xi bzgl. der s Faktoren. \({h}_{i}^{2}\) ist der durch die Faktoren erklärte Anteil an der Varianz von Xi. Die Aufgabenstellung der Faktorenanalyse besteht nun darin, eine derartige Zerlegung der Kovarianzmatrix \({\Sigma }_{\overrightarrow{X}}\) zu finden. Da die Matrix \({\Sigma }_{\overrightarrow{X}}\) unbekannt ist wird sie durch die empirische Kovarianzmatrix \begin{eqnarray}{S}_{\overrightarrow{X}}={({s}_{ij})}_{i=1,\ldots,m}^{j=1,\ldots,m},\text{}{s}_{ij}=\frac{1}{n-1}\displaystyle \sum _{k=1}^{n}{x}_{ik}{x}_{jk}\end{eqnarray}

der standardisierten Merkmale Xi ersetzt, die auf der Basis einer konkreten Stichprobe \({\overrightarrow{x}}_{k}=({x}_{1k},\ldots,{x}_{mk})\), k = 1, …, n von \(\overrightarrow{X}\) vom Umfang n berechnet werden. (Im allgemeinen sind die Merkmale Xi nicht von vorneherein standardisiert. In diesem Fall werden die Beobachtungen xik von Xi zunächst gemäß der Transformation \begin{eqnarray}{x}_{ik}:=\frac{{x}_{ik}-{\bar{x}}_{i}}{{s}_{i}}\end{eqnarray}

standardisiert, wobei \({\bar{x}}_{i}\) und si der empirische Mittelwert und die empirische Streuung der Beobachtungen von Xi sind.)

Die Aufgabe der Faktorenanalyse lautet damit: Finde die Zahl s der Faktoren, A und \({\sigma }_{i}^{2}\) so, daß gilt \begin{eqnarray}\begin{array}{cc}{S}_{\overrightarrow{X}}:=A{A}^{T}+{D}_{\overrightarrow{\varepsilon }},\end{array}\end{eqnarray}

bzw. finde s und A so, daß gilt: \begin{eqnarray}\begin{array}{ccc}{s}_{ij}=\displaystyle \sum _{l=1}^{s}{a}_{il}{a}_{jl} &\ \mathrm{f}\mathrm{\ddot{u}}\mathrm{r}\ i\ne j,i,j=1,\ldots,m.\end{array}\end{eqnarray}

Gemäß (4) ergibt sich dann als Schätzung für \({\sigma }_{i}^{2}\) : \begin{eqnarray}\begin{array}{ccc}{\sigma }_{i}^{2}:=1-{h}_{i}^{2} & \text{mit} & {h}_{i}^{2}:=\displaystyle \sum _{l=1}^{s}{a}_{il}^{2}.\end{array}\end{eqnarray}

Die Aufgabe ist so, wie sie gestellt ist, nicht eindeutig lösbar, auch dann nicht, wenn die Zahl s der Faktoren gegeben ist. Es gibt zur Lösung der Aufgabe verschiedene Verfahren, die unterschiedliche Nebenbedingungen fordern, um die Lösung eindeutig zu machen.

Die am häufigsten verwendeten Methoden der Faktorenanalyse sind die Maximum-Likelihood-Methode, die Hauptkomponentenmethode und die Zentroidmethode.

Bei dem durch Lawley und Maxwell [1] in die Faktorenanalyse eingeführten Maximum-Likelihood-Schätzprinzip < ?PageNum _122wird vorausgesetzt, daß sowohl der zufällige Merkmalsvektor \(\overrightarrow{X}\) als auch der Vektor der Reste \(\overrightarrow{\varepsilon }\) einer m-dimensionalen Standardnormalverteilung genügen und voneinander unabhängig sind. Die Anzahl s der Faktoren wird fest vorgegeben. Aufgrund der Kenntnis der Verteilung der Kovarianzmatrix \({S}_{\overrightarrow{X}}\) (Wishart-Verteilung) erhält man für eine mathematische Stichprobe \({\overrightarrow{X}}_{k}=({X}_{1k},\ldots,{X}_{mk})\), k =1, …, n vom Umfang n die folgende Likelihoodfunktion: \begin{eqnarray}\begin{array}{l}L({\sum }_{\overrightarrow{X}};{a}_{ij},{\varepsilon }_{i},i=1,\ldots,m,j=1,\ldots,s)=\\ K|{\sum }_{\overrightarrow{X}}{|}^{-{\scriptstyle \frac{m}{2}}}|{S}_{\overrightarrow{X}}{|}^{{\scriptstyle \frac{n-m-1}{2}}}\exp (-\frac{n}{2}Sp({S}_{\overrightarrow{X}}{\sum }_{\overrightarrow{X}}^{-1})).\end{array}\end{eqnarray}

Dabei sind K eine (nur von m und n abhängige) Konstante, Sp der Spuroperator (Summe der Hauptdiagonalelemente), und |·| bezeichnet die Determinante. Man erhält durch Maximierung der Likelihoodfunktion (Ableitung nach aij) und Berücksichtigung der Beziehung (4) folgende Schätzgleichungen: \begin{eqnarray}{A}^{T}({A}^{T}{D}_{\overrightarrow{\varepsilon }}^{-1}A) & = & {A}^{T}{D}_{\overrightarrow{\varepsilon }}^{-1}{S}_{\overrightarrow{X}}-{A}^{T},\end{eqnarray}\begin{eqnarray}{\sigma }_{i}^{2} & = & 1-\displaystyle \sum _{l=1}^{s}{a}_{il}^{2}.\end{eqnarray}

Um die Eindeutigkeit der Schätzungen aij und \({\sigma }_{i}^{2}\) zu sichern, fordern Lawley und Maxwell, daß die Matrix \({A}^{T}{D}_{\overrightarrow{\varepsilon }}^{-1}A\) diagonal ist. Die Schätzwerte für aij erhält man dann mit geeigneten numerischen Verfahren zur Lösung des nichtlinearen Gleichungssystems (7), (8).

Zur Bestimmung der Anzahl s der Faktoren wird dieses Verfahren in der Regel mehrmals für s = 2, 3,… angewendet. Der Vektor der Faktorladungen \({\overrightarrow{a}}_{j}=({a}_{1j},\ldots,{a}_{mj})\) zu einem neu hinzukommenden Faktor Fj soll dabei wenigstens in zwei Elementen stark von 0 verschieden sein, d. h. der Faktor Fj soll wenigstens zwei Merkmale beeinflussen, andernfalls bricht das Verfahren ab. Ansonsten bricht das Verfahren mit dem kleinsten s ab, ab dem sich die Kommunalitäten nicht mehr wesentlich voneinander unterscheiden, d. h. man wählt die kleinste Anzahl s von Faktoren, durch die die Varianz der Merkmale erklärt werden kann und die wenigstens zwei Merkmale beeinflussen. Unter der obigen Voraussetzung der Normalverteilungen ist auch ein χ2-Test zum Testen der Anzahl s entwickelt worden (siehe auch [1]).

Bei der Hauptkomponentenmethode wird schrittweise ein orthogonales Koordinatensystem von Faktoren konstruiert. Dabei wird in jedem Schritt versucht, die verbliebene Reststreuung maximal auszuschöpfen, d. h. zu verringern. Numerisch führt dieses auf die schrittweise Lösung eines Eigenwertproblems.

Bei der Zentroidmethode handelt es sich eben-falls um ein iteratives, geometrisch motiviertes Extraktionsverfahren der Faktoren auf der Basis der Kovarianzmatrix der Merkmale, dessen Ergebnisse (Ladungen) nicht eindeutig sind. Dabei wird versucht, durch schrittweise Konstruktion eines orthogonalen Koordinatensystems der Faktoren die Kommunalitäten zu maximieren.

Bei der Anwendung der Faktorenanalyse in der Praxis erweist sich häufig die Vorgabe der Anzahl s der Faktoren als auch deren Interpretation als kompliziert. Deshalb wird oft wie oben beschrieben durch schrittweise Erhöhung der Faktorenzahl – dem entspricht eine Änderung des Modells – versucht, interpretierbare Lösungen zu erhalten.

Beispiel. Es ist zu untersuchen, ob sich die Leistung (erreichte Punktzahl Xi, i = 1, …, 5) in den 5 Fächern Mechanik (Me), Analytische Geometrie (AG), Lineare Algebra (LA), Analysis (An) und elementare Statistik (St) auf wenige gemein-same Faktoren zurückführen läßt. Von n = 88 Studenten wurden die jeweils erreichten Punktzahlen bei den 5 Klausuren Me, AG, LA, An und St erfaßt. Auf die Angabe der Datenmatrix xil, i = 1, …, 5, l = 1, …, 88 sei hier verzichtet. Bei der Durchführung der Faktorenanalyse werden zunächst für jedes Merkmal Xi, i = 1, …, 5 aus den beobachteten Daten xil, l = 1, …, 88 der empirische Mittelwert \({\overrightarrow{x}}_{i}\) und die empirische Streuung \({s}_{i}^{2}\) des Merkmals berechnet. Anschließend werden alle Beobachtungen gemäß \begin{eqnarray}{x}^{\prime}_{il}:=\frac{{x}_{il}-{\bar{x}}_{i}}{{s}_{i}}\end{eqnarray}

standardisiert und mit den standardisierten Daten die empirische Kovarianzmatrix \({S}_{\overrightarrow{X}}\) berechnet: \begin{eqnarray}{s}_{ij}:=\frac{1}{87}\displaystyle \sum _{l=1}^{88}{x}^{\prime}_{il}{x}^{\prime}_{jl}\end{eqnarray}

In unserem Beispiel erhalten wir als Ergebnis für \({S}_{\overrightarrow{X}}\) die Matrix:

Abbildung 1 zum Lexikonartikel Faktorenanalyse
© Springer-Verlag GmbH Deutschland 2017
 Bild vergrößern

Werden s = 2 Faktoren angesetzt, so ergibt sich als geschätzte Ladungsmatrix nach der Maximum-Likelihood-Methode die in folgender Tabelle angegebene Matrix:

Abbildung 2 zum Lexikonartikel Faktorenanalyse
© Springer-Verlag GmbH Deutschland 2017
 Bild vergrößern

< ?PageNum _123

Aus dieser Matrix ergeben sich für die Kummunalitäten der 5 Merkmale: \begin{eqnarray}\begin{array}{c}{h}_{1}^{2}={a}_{11}^{2}+{a}_{12}^{2}={0.630}^{2}+{0.377}^{2}=0.539,\\ {h}_{2}^{2}=0.579,{h}_{3}^{2}=0.800,{h}_{4}^{2}=0.654,{h}_{5}^{2}=0.572.\end{array}\end{eqnarray}

Wir stellen die 5 Merkmale im orthogonalen Koordinatensystem der beiden Faktoren dar; das erste Merkmal (Me) wird dort zum Beispiel durch den Punkt mit den Koordinaten (a11, a12) dargestellt, siehe Abbildung.

Abbildung 3 zum Lexikonartikel Faktorenanalyse
© Springer-Verlag GmbH Deutschland 2017
 Bild vergrößern

Darstellung der 5 Merkmale (Klausurpunkte in 5 Fächern) im Koordinatensystem von 2 Faktoren.

Der Ladungsmatrix A in obiger Tabelle sieht man an, daß sich die Ladungen auf die erste Spalte, d. h. den ersten Faktor, konzentrieren. Dies ist ein Hinweis darauf, daß als Ursache für die erreichten Leistungen in den 5 Fächern schon ein Faktor ausreichend wäre. Führt man die Maximum-Likelihoodschätzung mit s = 1 durch, so ergibt sich für den Ladungsvektor \begin{eqnarray}\begin{array}{lll}{\overrightarrow{a}}_{1} & = & ({a}_{11},\ldots,{a}_{51})\\ & = & (0.599,0.668,0.915,0.773,0.724).\end{array}\end{eqnarray}

Die Kommunalitäten für diesen Fall \(({h}_{i}^{2}={a}_{i1}^{2})\) unterscheiden sich (in der Summe) nicht wesentlich vom Fall s = 2. In einem anschließenden χ2-Test wäre die Vermutung H0 : s = 1 zu überprüfen.

Literatur

[1] Hartung, J., Elpelt, B.: Multivariate Statistik. R. Oldenbourg Verlag, München Wien 1989.

[2] Jahn, W., Vahle, H.: Die Faktorenanalyse. Verlag Die Wirtschaft, Berlin 1970.

[3] Lawley, D.N., Maxwell, A.E.: Factor Analysis as a Statistical Method. Butterworths, London 1971.

[4] Überla, K.: Faktorenanalyse. Springer-Verlag, Berlin 1968.

Lesermeinung

Wenn Sie inhaltliche Anmerkungen zu diesem Artikel haben, können Sie die Redaktion per E-Mail informieren. Wir lesen Ihre Zuschrift, bitten jedoch um Verständnis, dass wir nicht jede beantworten können.

  • Die Autoren
- Prof. Dr. Guido Walz

Partnervideos