Direkt zum Inhalt

Lexikon der Mathematik: Methode der kleinsten Quadrate

Verfahren zur Lösung eines überbestimmten Systems von N Gleichungen zur Bestimmung von n Unbekannten x1, x2, …, xn aus N beobachteten Meßwerten \begin{eqnarray}\begin{array}{ccc}{g}_{i}({x}_{1},{x}_{2},\mathrm{...},{x}_{n})={\ell}_{i} & i=1,2,\mathrm{...},N & n\lt N.\end{array}\end{eqnarray}

Typischerweise kann ein solches überbestimmtes Gleichungssystem nicht exakt gelöst werden. Stattdessen versucht man bei der Methode der kleinsten Quadrate, eine Lösung x1, x2, …, xn so zu bestimmen, daß die Summe der Quadrate der in den einzelnen Gleichungen auftretenden Abweichungen \begin{eqnarray}{r}_{i}={\ell}_{i}-{g}_{i}({x}_{1},{x}_{2},\mathrm{...},{x}_{n})\end{eqnarray}

minimal ist. Mit anderen Worten: Mit r = (r1, r2,…, rN)T ∈ ℝN minimiere \begin{eqnarray}F(x)={r}^{{\rm T}}r={\displaystyle \sum _{i=1}^{N}({ \ell }_{i}-{g}_{i}({x}_{1},{x}_{2},\mathrm{...},{x}_{n}))^{2}}.\end{eqnarray}

Die notwendige Bedingungen zur Minimierung der Funktion F sind dann gerade \begin{eqnarray}\begin{array}{cc}\displaystyle\frac{\partial F(x)}{\partial {x}_{i}}=0, & i=1,\mathrm{...},n,\end{array}\end{eqnarray}

d. h., der Gradient von F muß verschwinden.

Sind die Funktionen gi nichtlinear in den xj, so ergibt sich ein System von n nichtlinearen Gleichungen, welches nur schwer zu lösen ist. Man verwendet hier dann häufig die Gauß-Newton-Methode zur Lösung. Sind die Funktionen gi hingegen linear in den xj, \begin{eqnarray}{g}_{i}({x}_{1},{x}_{2},\mathrm{...},{x}_{n})=\displaystyle \sum _{k=1}^{n}{\alpha }_{ik}{x}_{k}\end{eqnarray}

(wobei die aik Skalare oder Funktionen sein können), so erhält man mit \(A={({a}_{ik})}_{i=1,\mathrm{...},N}^{k=1,\mathrm{...},n}\) und = (1, 2, …, N)T ∈ ℝN \begin{eqnarray}F(x)={x}^{T}{A}^{T}Ax+2{ \ell }^{T}Ax+{ \ell }^{{\rm T}} {\ell} \end{eqnarray}

und als notwendige Bedingung für ein Minimum von F die Normalgleichungen \begin{eqnarray}{A}^{T}Ax+{A}^{T} {\ell} =0.\end{eqnarray}

Da ATA eine symmetrische Matrix ist, kann die Normalgleichung mittels des Cholesky-Verfahrens gelöst werden. Bei der Lösung der Normalgleichung können numerische Probleme auftreten, wenn die Konditionszahl der Matrix ATA sehr groß ist. Die Lösung x hat dann relativ große Fehler. Zudem sind Rundungsfehler bereits bei der Berechnung von ATA und ATℓ Berechnung vo unvermeidlich.

Numerisch besser ist es, das zu min rTr äquivalente Ausgleichsproblem \begin{eqnarray}\mathop{\min }\limits_{x\to {{\mathbb{R}}}^{n}}|| {\ell} -Ax|{|}_{2}^{2}\end{eqnarray}

zu betrachten und dieses mittels der QR-Zerlegung von A zu lösen. Berechnet man die QR-Zerlegung von A = QR, so gilt \begin{eqnarray}|| {\ell} -Ax|{|}_{2}^{2}=||{Q}^{T} {\ell} -Rx|{|}_{2}^{2},\end{eqnarray}

da Q eine orthogonale Matrix ist. Hat A vollen Spaltenrang, d. h. Rang(A) = n, dann hat R ∈ ℝN×n die Form

Abbildung 1 zum Lexikonartikel Methode der kleinsten Quadrate
© Springer-Verlag GmbH Deutschland 2017
 Bild vergrößern

mit einer oberen Dreiecksmatrix \(\hat{R}\in {{\mathbb{R}}}^{n\times n}\). Setzt man \begin{eqnarray}{Q}^{T} {\ell} =\left(\begin{array}{c}b \\ c\end{array}\right),b\in {{\mathbb{R}}}^{n},c\in {{\mathbb{R}}}^{N-n},\end{eqnarray}

dann folgt \begin{eqnarray}{\Vert \ell -Ax\Vert }_{2}^{2}={\Vert b-\hat{R}x\Vert }_{2}^{2}+{\Vert c\Vert }_{2}^{2}.\end{eqnarray}

Dieser Ausdruck wird minimal für x ∈ ℝn mit \(\hat{R}x=b\). Dieses x läßt sch leicht durch Rückwärtseinsetzen gewinnen.

Hat A nicht vollen Spaltenrang, d. h. Rang(A) = r < n, dann existieren unendlich viele Lösungen des Ausgleichsproblems \(\mathop{\min }\limits_{x}|| {\ell} -Ax|{|}_{2}^{2}\). In diesem Fall wählt man i. allg. unter allen minimierenden Lösungen x diejenige mit kleinster 2-Norm als Lösung des Ausgleichsproblems. Zur Berechnung verwendet man die Singulärwertzerlegung A = UΣVT, wobei U ∈ ℝN×N und V ∈ ℝn×n orthogonale Matrizen, und Σ eine Diagonalmatrix der Form

Abbildung 2 zum Lexikonartikel Methode der kleinsten Quadrate
© Springer-Verlag GmbH Deutschland 2017
 Bild vergrößern

ist. Schreibt man U = (u1, …, uN), uj ∈ ℝN und V = (v1, …, vn), vj ∈ ℝn, dann minimiert \begin{eqnarray}x=\displaystyle \sum _{i=1}^{r}\frac{{u}_{i}^{T} {\ell} }{{\sigma }_{i}}{v}_{i}\end{eqnarray}

gerade \(|| {\ell} -Ax|{|}_{2}^{2}\) und hat die kleinste 2-Norm aller minimierenden Lösungen.

Die Methode der kleinsten Quadrate geht auf Gauß zurück und fand zunächst vorwiegend in der Ausgleichsrechnung Verwendung. Die Grundaufgabe der Ausgleichsrechnung besteht darin, an N Punkte (xi, yi), i = 1, …, n, der Ebene eine Funktion \(f(x;\overrightarrow{\gamma })\), x ∈ ℝ1, die bis auf k unbekannte Parameter \(\overrightarrow{\gamma }=({\gamma }_{1},\mathrm{...},{\gamma }_{k})\in {{\mathbb{R}}}^{k}\), k < n, vollständig gegeben ist, möglichst gut durch geeignete Wahl der Parameter \(\overrightarrow{\gamma }\) anzupassen. Die Methode fand Einzug in die mathematische Statistik, als R.A.Fisher die Maximum-Likelihood-Methode eingeführt und ihren Zusammenhang zur Methode der kleinsten Quadrate hergestellt hat. Sie wird hier vor allem in der Regressionsanalyse zur Konstruktion von Punktschätzungen für die Parameter der Ausgleichsfunktion, die in der Regressions-analyse als Regressionsfunktion bezeichnet wird, angewendet.

Lesermeinung

Wenn Sie inhaltliche Anmerkungen zu diesem Artikel haben, können Sie die Redaktion per E-Mail informieren. Wir lesen Ihre Zuschrift, bitten jedoch um Verständnis, dass wir nicht jede beantworten können.

  • Die Autoren
- Prof. Dr. Guido Walz

Partnervideos