quadratische reelle Matrix P = ((p_ij))_{i, j∈S} mit p_ij ≥ 0 für alle i, j ∈ S und \(\displaystyle {\sum}_{j\in S}{p}_{ij}=1\) für alle i ∈ S, wobei die Menge S höchstens abzählbar ist.

Eine stochastische Matrix ist also dadurch charakterisiert, daß sie ausschließlich nichtnegative Elemente enthält und alle Zeilensummen den Wert 1 ergeben. Addieren sich zusätzlich die Elemente in jeder Spalte von P zu 1, so heißt P auch doppelt stochastisch. Das Produkt zweier (doppelt) stochastischer Matrizen ist ebenfalls (doppelt) stochastisch. Jede stochastische Matrix P besitzt den Eigenwert 1. Für alle übrigen Eigenwerte λ von P gilt |λ| ≤ 1.

Zu jeder stochastischen Matrix P = (p_ij)_{i, j∈S} und jedem Vektor (π_i)_i∈S nichtnegativer reeller Zahlen mit \( {\sum}_{i\in S}{\pi}_{i}=1\) existiert eine stationäre Markow-Kette (X_n)_n∈ℕ0 mit Zustandsraum S und Anfangsverteilung (π_i)_i∈S, deren Übergangswahrscheinlichkeiten die p_ij sind.