Cadenas De Markov

En la teoría de la probabilidad, se conoce como cadena de Márkov o modelo de Márkov a un tipo especial de proceso estocástico discreto en el que la probabilidad de que ocurra un evento depende solamente del evento inmediatamente anterior. Esta característica de falta de memoria recibe el nombre de propiedad de Markov.

Cadena simple biestable de Markov.

Recibe su nombre del matemático ruso Andréi Márkov (1856-1922), que lo introdujo en 1907.1

Estos modelos estadísticos cuentan con un gran número de aplicaciones reales.

Índice [ocultar]

1 Definición formal

2 Notación útil

2.1 Cadenas homogéneas y no homogéneas

2.2 Probabilidades de transición y matriz de transición

2.3 Vector de probabilidad invariante

2.4 Clases de comunicación

2.5 Tiempos de entrada

2.6 Recurrencia

2.7 Periodicidad

3 Tipos de cadenas de Márkov

3.1 Cadenas irreducibles

3.2 Cadenas positivo-recurrentes

3.3 Cadenas regulares

3.4 Cadenas absorbentes

3.5 Cadenas de Márkov en tiempo continuo

4 Aplicaciones

4.1 Física

4.2 Meteorología

4.3 Modelos epidemiológicos

4.4 Internet

4.5 Simulación

4.6 Juegos de azar

4.7 Economía y finanzas

4.8 Genética

4.9 Música

4.10 Operaciones

4.11 Redes Neuronales

5 Referencias

6 Bibliografía

7 Enlaces externos

Definición formal[editar]

En matemática se define como un proceso estocástico discreto que cumple con la propiedad de Márkov, es decir, si se conoce la historia del sistema hasta su instante actual, su estado presente resume toda la información relevante para describir en probabilidad su estado futuro.

Una cadena de Márkov es una secuencia X1, X2, X3,... de variables aleatorias. El dominio de estas variables es llamado espacio estado; el valor de Xn es el estado del proceso en el tiempo n. Si la distribución de probabilidad condicional de Xn+1 en estados pasados es una función de Xn por sí sola, entonces:

P(X_{n+1}=x_{n+1}|X_n=x_n, X_{n-1}=x_{n-1}, \ldots, X_2=x_2, X_1=x_1) = P(X_{n+1}=x_{n+1}|X_n=x_n). \,

Donde xi es el estado del proceso en el instante i. La identidad mostrada es la propiedad de Márkov.

Notación útil[editar]

Cadenas homogéneas y no homogéneas[editar]

Una cadena de Márkov se dice homogénea si la probabilidad de ir del estado i al estado j en un paso no depende del tiempo en el que se encuentra la cadena, esto es:

P(X_n=j|X_{n-1}=i)=P(X_1=j|X_0=i) \, para todo n y para cualquier i, j.

Si para alguna pareja de estados y para algún tiempo n la propiedad antes mencionada no se cumple diremos que la cadena de Márkov es no homogénea.

Probabilidades de transición y matriz de transición[editar]

La probabilidad de ir del estado i al estado j en n unidades de tiempo es

p_{ij}^{(n)} = \Pr(X_n=j\mid X_0=i) \,,

en la probabilidad de transición en un paso se omite el superíndice de modo que queda

p_{ij} = \Pr(X_1=j\mid X_0=i). \,

Un hecho importante es que las probabilidades de transición en n pasos satisfacen la ecuación de Chapman-Kolmogórov, esto es, para cualquier k tal que 0 < k < n se cumple que

p_{ij}^{(n)} = \sum_{r \in E} p_{ir}^{(k)} p_{rj}^{(n-k)}

donde E denota el espacio de estados.

Cuando la cadena de Márkov es homogénea, muchas de sus propiedades útiles se pueden obtener a través de su matriz de transición, definida entrada a entrada como A_{i,j} = p_{i j}\,

esto es, la entrada i, j corresponde a la probabilidad de ir del estado i a j en un paso.

Del mismo modo se puede obtener la matriz de transición en n pasos como:

A_{i,j}^{(n)}=P_{i j}^{(n)}, donde P_{i j}^{(n)}=P(X_n=j|X_0=i).

Vector de probabilidad invariante[editar]

Se define la distribución inicial \pi (x) = P(X_0=x) \,.

Diremos que un vector de probabilidad (finito o infinito numerable) es invariante para una cadena de Márkov si

\nu P = \nu \,

donde P denota la matriz de transición de la cadena de Márkov. Al vector de probabilidad invariante también se le llama distribución estacionaria o distribución de equilibrio.

Clases de comunicación[editar]

Para dos estados i,j en el espacio de estados E, diremos que de i se accede a j (y se denotará i \rightarrow j) si

p_{ij}^{(n)} > 0 \, para algún n,

si i \rightarrow j y j \rightarrow i entonces diremos que i comunica con j y se denotará i↔j.

La propiedad "↔" es una relación de equivalencia. Esta relación induce una partición en el espacio de estados. A estas clases de equivalencia las llamaremos clases de comunicación.

Dado un estado x, denotaremos a su clase de comunicación como C(x).

Diremos que un subconjunto C del espacio de estados (al que denotaremos E) es cerrado si ningún estado de E-C puede ser accedido desde un estado de C, es decir, si p_{x,y}^{(m)} = 0 para todo x∈C, para todo y∈E-C y para todo natural m>0.

Tiempos de entrada[editar]

Si C \subset E, definimos el primer tiempo de entrada a C como la variable aleatoria

T_C =

\begin{cases}

\min\{n > 0 | X_n \in C \} & \mbox{si } \{ n>0 | X_n \in C \} \ne \empty \\

\mathcal{1} \, &\mbox{si } \{ n>0 | X_n \in C \} = \empty

\end{cases}

esto es, T_C\, denota la primera vez que la cadena entra al conjunto de estados C.

Recurrencia[editar]

En una cadena de Márkov con espacio de estados E, si x∈E se define L_x = \mathbb{P} \,(X_n = x \ para \ algun \ n \in \mathbb{N} \, | X_0=x) y diremos que:

x es estado recurrente si L_x = 1\,.

x es transitorio si L_x < 1\,

x es absorbente si p_{x,x} = 1\,

Una clase de comunicación es clase recurrente si todos sus estados son recurrentes.

Sea \mu_x = \mathbb{E} \, (T_x|X_0 = x) , si x∈Ediremos que:

x es cero-recurrente si \mu_x = \mathcal{1} \,

x es positivo-recurrente si \mu_x < \mathcal{1} \,

El real \mu_x se interpreta como el tiempo promedio de recurrencia.

Periodicidad[editar]

El periodo de un estado x∈E se define como:

d(x) = {\rm mcd}\{ n: P_{x,x}^{(n)} > 0\}

donde {\rm mcd} denota el máximo común divisor.

Si d(x)=1 diremos que x es un estado aperiódico.

Una cadena de Márkov

...