eine reelle Matrix A, für die gilt: \begin{eqnarray}\begin{array}{cc}{A}^{t}A=A{A}^{t}=I,\end{array}\end{eqnarray} wobei A^t die zu A transponierte Matrix und I die Einheitsmatrix bezeichnet. Eine orthogonale Matrix ist also notwendigerweise quadratisch und invertierbar mit A⁻¹ = A^t.

Jede orthogonale (2 × 2)-Matrix ist von der Form \begin{eqnarray}\left(\begin{array}{rr}\cos \varphi & -\sin \varphi \\ \sin \varphi & \cos \varphi \end{array}\right)\,\,\text{order}\,\,\left(\begin{array}{rr}\cos \varphi & \sin \varphi \\ \sin \varphi & -\cos \varphi \end{array}\right)\end{eqnarray} für ein geeignetes reelles ϕ. Eine Matrix der linken Form wird als Drehung bezeichnet, da sie eine Drehung des ℝ² um den Winkel ϕ bewirkt; eine Matrix der rechten Form wird als Spiegelung bezeichnet, da sie eine Spiegelung des ℝ² an einer Geraden g bewirkt (dabei ist g die Gerade durch den Ursprung, die mit der x-Achse den Winkel \(\frac{\varphi }{2}\) einschließt).

Eine reelle (n × n)-Matrix A ist genau dann orthogonal, wenn ihre Spaltenvektoren (Zeilenvektoren) eine Orthonormalbasis des ℝⁿ bilden (bzgl. des kanonischen Skalarprodukts), und ebenso genau dann, wenn die durch A vermittelte lineare Abbildung A : ℝⁿ → ℝⁿ; x ↦ Ax orthogonal ist.

Orthogonale Matrizen erhalten Skalarprodukt und Norm, d. h. ist A orthogonal, und sind v, v₁ und v₂ ∈ ℝⁿ, so gilt \begin{eqnarray}\langle A{v}_{1},A{v}_{2}\rangle =\langle {v}_{1},{v}_{2}\rangle \,\,\,\text{und}\,\,\,\Vert Av\Vert =\Vert v\Vert. \end{eqnarray}

Eine lineare Abbildung zwischen zwei n-dimensionalen euklidischen Vektorräumen V und W ist genau dann orthogonal, wenn sie bezüglich zweier Orthonormalbasen von V und W durch eine orthogonale Matrix repräsentiert wird.

Orthogonale Matrizen haben stets Determinante +1 oder −1.

Mit A und B sind auch A^t, A⁻¹ und AB orthogonal, die Menge aller orthogonalen (n × n)-Matrizen bildet also eine Untergruppe der Gruppe GL(n, ℝ) aller regulären reellen (n × n)-Matrizen, die mit O(n) bezeichnete orthogonale Gruppe. Die Matrizen A ∈ O(n) mit det A = 1 bilden eine Untergruppe von O(n), die mit SO(n) bezeichnete spezielle orthogonale Gruppe; Matrizen aus SO(n, ℝ) werden auch als eigentlich orthogonal bezeichnet.

Das komplexe Analogon zu den orthogonalen Matrizen sind die unitären Matrizen.