Rekurrente Markow-Kette

Die Rekurrenz und der damit eng verbundene Begriff der Transienz bilden die Basis für die Untersuchung des Langzeitverhaltens von Markow-Ketten. Hierbei wird insbesondere die Frage untersucht, wie oft eine Markow-Kette wieder zu ihrem Startzustand zurückkehrt. Tut sie dies unendlich oft, so heißt sie rekurrent, ansonsten transient. Rekurrenz ist wichtig für die Existenz einer stationären Verteilung und der Konvergenz gegen diese. Teilweise ist sie auch von eigenständigem Interesse, wie z. B. bei Irrfahrten.

Ein wichtiges Hilfsmittel zur Untersuchung der Rekurrenz ist die Green-Funktion.

Definition

Gegeben sei eine homogene Markow-Kette in diskreter Zeit und mit abzählbarem Zustandsraum . Dann ist

die Wartezeit bei Start in bis zum erstmaligen Erreichen von (ist spricht man von der Wiederkehrzeit). Sei nun

die Ersteintrittswahrscheinlichkeit in , also die Wahrscheinlichkeit bei einem Start im Zustand nach genau Schritten zum ersten Mal in den Zustand zu gelangen. Ein Zustand heißt rekurrent, wenn

gilt, der Zustand also fast sicher wieder besucht wird. Ist , so heißt der Zustand transient. Ist der Zustand rekurrent, und gilt für die erwartete Wiederkehrzeit

,

so heißt der Zustand positiv rekurrent. Ist der Erwartungswert unendlich, so heißt der Zustand null-rekurrent. Eine Markow-Kette heißt rekurrent (transient), falls jeder Zustand rekurrent (transient) ist.

Eigenschaften

  • Sind und miteinander kommunizierende Zustände, so gilt: Ist transient, so ist auch transient. Dasselbe gilt auch für null-rekurrente und positiv-rekurrente Zustände.
  • Transiente Zustände werden fast sicher nur endlich oft wieder besucht, rekurrente Zustände werden fast sicher unendlich oft wieder besucht.
  • Für die erwartete Anzahl der Besuche eines Zustandes bei Start in gilt
.
Hierbei bezeichnet die -Schritt-Übergangswahrscheinlichkeit, also die Wahrscheinlichkeit, im -ten Schritt im Zustand zu sein. Damit folgt: Die Transienz eines Zustandes ist äquivalent zu , die Rekurrenz ist äquivalent zu . Dies erleichtert oftmals die Bestimmung von Rekurrenz und Transienz, da nur Abschätzungen benötigt werden und auch die -Schritt-Übergangswahrscheinlichkeiten meistens leichter zu bestimmen sind als die Ersteintrittswahrscheinlichkeiten.
  • Bei einer irreduziblen Markow-Kette sind Existenz einer stationären Verteilung und die positive Rekurrenz äquivalent. Des Weiteren gilt dann wobei die stationäre Verteilung ist.
  • Im Falle eines endlichen Zustandsraumes folgt aus Irreduzibilität bereits positive Rekurrenz. Etwas abgeschwächt folgt, dass jeder wesentliche Zustand positiv rekurrent ist.
  • Bei höchstens abzählbarem Zustandsraum ist jeder rekurrente Zustand wesentlich.

Beispiele

Endlicher Zustandsraum

Betrachte eine homogene Markow-Kette auf dem Zustandsraum mit der Übergangsmatrix

.

Die Zustände 1, 2 und 3 bilden einen Kreis, der nur vom Zustand 3 aus mit Wahrscheinlichkeit 0,2 verlassen wird. Ist der Zustand 4 einmal erreicht, so kann er nicht wieder verlassen werden. 4 ist also ein absorbierender Zustand. Untersuchen wir nun Zustand 1 auf Rekurrenz oder Transienz. Da 1 keine Schleife besitzt, ist die Wiedereintrittszeit mindestens 2, mögliche Wege sind dabei 1-2-1 und 1-3-1 jeweils mit Wahrscheinlichkeiten und . Daher ist . Ist der Zeitschritt gerade, so hilft folgende Überlegung: Beim Start in 1 braucht man einen Zeitschritt, um 2 oder 3 zu erreichen. Um nun weder zu früh wieder bei 1 anzukommen noch in 4 gefangen zu werden, müssen nun Runden zwischen 2 und 3 gelaufen werden bis einen Zeitschritt vor Wiedereintrittstzeit und dann erst wird zum Zustand zurückgekehrt. Damit folgt

.

Analoge Überlegungen (mit dem Unterschied, dass hier halbe Runden gelaufen werden) ergeben für ungerade Wiedereintrittszeiten

.

Mit der geometrischen Reihe folgt dann, dass

gilt, der Zustand 1 ist also transient. Daraus folgt, dass die Zustände 2 und 3 auch transient sind. Zustand 4 ist rekurrent, da er nicht mehr verlassen werden kann.

Abzählbar unendlicher Zustandsraum

Betrachten wir als Beispiel eine homogene Markow-Kette auf dem Zustandsraum mit Übergangswahrscheinlichkeiten

mit . Dies ist die Irrfahrt auf . Es ist , da die Markow-Kette Periode zwei hat und sich daher bei Start im Nullpunkt zu einem ungeraden Zeitpunkt immer in einem ungeraden Zustand befindet. Da die Anzahl der Schritte binomialverteilt ist, gilt

nach der Stirlingformel. Damit gilt

.

Ist die Irrfahrt also symmetrisch, so ist die Markow-Kette rekurrent, ansonsten ist sie transient.

Literatur

  • Ulrich Krengel: Einführung in die Wahrscheinlichkeitstheorie und Statistik. 8. Auflage, Vieweg, 2005, ISBN 3-8348-0063-5.
  • Hans-Otto Georgii: Stochastik: Einführung in die Wahrscheinlichkeitstheorie und Statistik, 4. Auflage, de Gruyter, 2009, ISBN 978-3-11-021526-7
  • Christian Hesse: Angewandte Wahrscheinlichkeitstheorie. Eine fundierte Einführung mit über 500 realitätsnahen Beispielen und Aufgaben. Vieweg, Braunschweig/Wiesbaden 2003, ISBN 3-528-03183-2.