Cadenas De Markov

Cadenas de Markov

A los modelos de probabilidad de procesos que evolucionan en el tiempo de una manera probabilística se les llaman procesos estocásticos.

Las cadenas de Markov tienen la propiedad particular de que las probabilidades que describen la forma en que el proceso evolucionará en el futuro dependen solo del estado actual en que se encuentra el proceso, y por tanto, son independientes de los eventos que ocurrieron el pasado.

Procesos estocásticos

Un proceso estocástico se define como la colección indexada de variables aleatorias {Xt}, donde el índice t toma valores de un conjunto T dado. Con frecuencia T se considera el conjunto de enteros no negativos mientras que Xt representa una característica de interés cuantificable en el tiempo t.

Los procesos estocásticos son de interés para describir el comportamiento de un sistema en operación durante algunos periodos. Un proceso estocástico tiene la siguiente estructura:

• La condición actual del sistema puede estar en una de M+1 categorías mutuamente excluyentes llamadas estados. Por conveniencia de la notación, estos estados se etiquetan 0, 1,1,…, M. La variable aleatoria Xt representa el estado en el tiempo t, de manera que sus únicos valores posibles son 0,1,…,M. el sistema se observa en puntos del tiempo dados, etiquetados t=0,1,2,… De esta forma los procesos estocásticos {Xt}= {X0, X1, X2,…} proporcionan una representación matemática de la forma en que evoluciona la condición del sistema físico a través del tiempo.

Este tipo de procesos se conocen como procesos estocásticos de tiempo discreto con espacio de estados finito.

Ejemplo de clima

El clima en el pueblo de Centerville puede cambiar con rapidez de un día a otro. Sin embargo, las probabilidades de tener clima seco (sin lluvia) mañana es de alguna forma mayor si hoy está seco, es decir, si no llueve. En particular, la probabilidad de que mañana este seco es de 0.8 si hoy está seco, pero es de 0.6 si hoy llueve. Estas probabilidades no cambian si se considera la información acerca del clima en los días anteriores a hoy.

La evolución del clima día tras día en Centerville es un proceso estocástico. Si se comienza en algún día inicial (etiquetado como día 0), el clima se observa cada día t, para t= 0, 1, 2,… El estado del sistema en el día t puede ser

• Estado 0 = El día t es seco

O bien

• Estado 1 = El día t es lluvioso

Así, para t = 0, 1, 2,…, la variable aleatoria Xt toma los valores.

El proceso estocástico { Xt} = { X0, X1, X2,…} proporciona una representación matemática de la forma en que evoluciona el clima en Centerville a través del tiempo.

Cadenas de Markov

Es necesario hacer algunos supuestos sobre la distribución conjunta de X0. X1,… para obtener resultados analíticos. Un supuesto que conduce al manejo analítico es que el proceso estocástico es una cadena de Markov, que tiene la siguiente propiedad esencial:

En palabras, esta propiedad markoviana establece que la probabilidad condicional de cualquier “evento” futuro dados cualquier “evento” pasado y el estado actual Xt = i, es independiente de los eventos pasados y sólo depende del estado actual del proceso.

• Un proceso estocástico { Xt} = (t = 0, 1, …) es una cadena de Markov si presenta la propiedad markoviana.

Las probabilidades condicionales P{ Xt+1= i} = j| Xt= i} de una cadena de Markov se llaman probabilidades de transición (de un paso). Si para cada i y j.

Entonces se dice que las probabilidades de transición (de un paso) son estacionarias. Así, tener probabilidades de transición estacionarias implica que las probabilidades de transición no cambian con el tiempo. La existencia de probabilidades de transición (de un paso) estacionarias implica que, para cada i,j y n (n = o, 1, 2, …).

Para toda t= 0, 1,… Estas probabilidades condicionales se llaman probabilidades de transición de n pasos.

Para simplificar la notación de las probabilidades de transición estacionarias sea

Así, las probabilidades de transición de n son simplemente la probabilidad condicional de que el sistema se encuentre en el estado j exactamente después de n pasos (unidades de tiempo), dado que comenzó en el estado i en cualquier tiempo t. cuando n = 1 observe que

Como las son probabilidades condicionales, deben ser negativas y, como el proceso debe hacer una transición a algún estado, deben satisfacer las propiedades

Una notación conveniente para representar las probabilidades de transición de n pasos es la matriz de transición de n pasos.

Observe que la probabilidad de transición en un renglón y columna dados es la transición del estado de ese renglón al estado en la columna. Cuando n = 1, el superíndice n no se escribe y se hace referencia a ésta como una matriz de transición.

Las cadenas de Markov tienen las siguientes propiedades:

1. Un número finito de estados.

2. Probabilidades de transición estacionarias.

También se supondrá que conocen las probabilidades iniciales P{ X0= i} para toda i.

Formulación del ejemplo del clima con una cadena de Markov

En ejemplo del clima que se presentó en la sección anterior, recuerde que la evolución del clima día tras día en Centerville se ha formulado con un proceso estocástico { Xt} = (t = 0, 1, 2,…) donde

Aun mas, como estas probabilidades no cambian si también se toma en cuenta la información del clima antes del día de hoy (día t).

Para t = 0, 1, … y toda ecuación k0, k1,…,kt-1. Estas ecuaciones también deben cumplirse si Xt+1= 0 se reemplaza con Xt+1= 1. (El rezón es que los estados 0 y 1 son mutuamente excluyentes y son los únicos estados posibles; por ende, las probabilidades de los dos estados deben sumar 1). Por lo tanto, el proceso estocástico tiene la probabilidad markoviana, lo que lo convierte en una cadena de Markov.

Si se usa la notación que se introdujo en esta sección, las probabilidades de transición (de un paso) son

Pata toda t = 1, 2,… por lo que estas son las probabilidades de transición estacionaria. Además.

Por lo tanto, la matriz de transición es

Donde estas posibilidades de transición se refieren a la transición del estado del renglón al estado de la columna. Tenga en mente que el estado 0 hace referencia a un día seco, mientras

...