die Aufgabe, zu N Meßwerten (x_i, y_i) eine Funktion f zu finden, deren Funktionswerte f(x_j) den Werten y_j möglichst gut entsprechen.

Die Funktion f hängt typischerweise von m Parametern a₁, a₂,…, a_m ab, welche so bestimmt werden sollen, daß der Fehler

\begin{eqnarray}f({x}_{j}:{a}_{1},\ldots, {a}_{m})-{y}_{j}\end{eqnarray}

in einer Norm möglichst klein wird. f kann hierbei eine Funktion, linear in den a_j, etwa

\begin{eqnarray}f(x;{a}_{1},\ldots, {a}_{m})=\displaystyle \sum _{k=1}^{m}{a}_{k}{x}^{k-1},\end{eqnarray}

oder eine Funktion, nichtlinear in den a_j, etwa

\begin{eqnarray}f(x;{a}_{1},\ldots, {a}_{m})={a}_{1}{e}^{{a}_{2}s}+{a}_{3}{e}^{{a}_{4}x}\end{eqnarray}

sein.

Für N = m erhält man ein Gleichungssystem, welches aufgrund von unvermeidlichen Meßfehlern in den Daten (x_j, y_j) i.a. keine Lösung hat. Man versucht daher, in der Praxis N > m Messungen durchzuführen und ein überbestimmtes Gleichungssystem zu lösen. Dazu betrachtet man gewöhnlich die Aufgabe, den Ausdruck

\begin{eqnarray}\displaystyle \sum _{k=1}^{N}{({y}_{k}-f({x}_{k};{a}_{1},\ldots, {a}_{m}))}^{2}\end{eqnarray}

oder den Ausdruck

\begin{eqnarray}\mathop{\max }\limits_{1\le j\le N}|{y}_{j}-f({x}_{j};{a}_{1},\ldots, {a}_{m})|\end{eqnarray}

zu minimieren. Der erste Fall ist als Methode der kleinsten Quadrate bekannt und wurde schon von Gauß verwendet. Die so erhaltene Lösung besitzt einfache statistische Eigenschaften.

Der zweite Ansatz minimiert die Maximumsnorm des Fehlers. Dies ist als diskretes Tschebyschew-Problem bekannt. In den Wirtschaftswissenschaften ersetzt man häufig die oben gewählten Normen und minimiert

\begin{eqnarray}\displaystyle \sum _{k=1}^{N}|{y}_{k}-f({x}_{k};{a}_{1},\ldots, {a}_{m})|.\end{eqnarray}

Besitzt die Funktion f stetige partielle Ableitungen nach allen Unbekannten a₁,…,a_m, so ist

\begin{eqnarray}\frac{\partial }{\partial {a}_{i}}\displaystyle \sum _{k=1}^{N}{({y}_{k}-f({x}_{k};{a}_{1},\ldots, {a}_{m}))}^{2}=0\end{eqnarray}

eine notwendige Bedingung dafür, daß

\begin{eqnarray}a={[{a}_{1},\ldots, {a}_{m}]}^{T}\end{eqnarray}

den Ausdruck (1) minimiert. Dieses Gleichungssystem bezeichnet man auch als die Normalgleichung.

Ist f eine lineare Funktion in den a_j

\begin{eqnarray}f(x;{a}_{1},\ldots, {a}_{m})=\displaystyle \sum _{k=1}^{m}{a}_{k}{g}_{k}(x),\end{eqnarray}

dann erhält man in Matrixschreibweise

\begin{eqnarray}(f({x}_{1};{a}_{1},\ldots, {a}_{m})\\ f({x}_{2};{a}_{1},\ldots, {a}_{m})\\ \vdots \\ f({x}_{N};{a}_{1},\ldots, {a}_{m}))&=\mathop{\underbrace{({g}_{1}({x}_{1}) {g}_{2}({x}_{1}) \cdots {g}_{m}({x}_{1})\\ {g}_{1}({x}_{2}) {g}_{2}({x}_{2})\cdots {g}_{m}({x}_{2})\\ \vdots \\ \vdots \\ \vdots \\ \vdots \\ {g}_{1}({x}_{N}) {g}_{2}({x}_{N})\cdots {g}_{m}({x}_{N}))}}\limits_{X}\mathop{\underbrace{({a}_{1}\\ {a}_{2}\\ \vdots \\ {a}_{m})}}\limits_{a}.\end{eqnarray}

In diesem Fall reduzieren sich die Normalgleichungen auf ein lineares Gleichungssystem

\begin{eqnarray}{X}^{T}Xa={X}^{T}y\end{eqnarray}

mit y = [y₁, y₂,…,y_N]^T.

Da X^TX eine symmetrische Matrix ist, kann die Normalgleichung etwa mittels des Cholesky-Verfahrens gelöst werden.

Bei der Lösung der Normalgleichung können numerische Probleme auftreten, wenn die Konditionszahl der Matrix X^TX sehr groß ist. Die Lösung а ist dann mit relativ großen Fehlern behaftet. Zudem sind Rundungsfehler bereits bei der Berechnung von X^TX und X^Ty unvermeidlich. Man sollte das lineare Ausgleichsproblem daher mittels QR-Zerlegung oder Singulärwertzerlegung lösen. Diese Verfahren sind näher unter Methode der kleinsten Quadrate beschrieben.

Ist f eine nichtlineare Funktion, so kann dasjenige а = [a₁, a₂,…, a_m]^T, welches den Ausdruck (1) minimiert, im allgemeinen nur iterativ bestimmt werden. Ein geeignetes Verfahren hierzu ist die Gauß-Newton-Methode.