Ensayo Cadenas De Marck

Cadenas de Markov

1. Introducción y Ejemplos

Se dice que un proceso estocástico {Xt} a “tiempo discreto” tiene la propiedad Markoviana, si la “probabilidad condicional de que mañana el proceso se encuentre en un determinado estado, dado los estados del proceso hoy y los días anteriores, sólo depende del estado del proceso hoy”. ( dados el presente y el pasado, la probabilidad del mañana sólo depende del presente).

Esto se escribe así:

P{ X t+1 = j / Xo = eo , X1 = e1 , X2 = e2 , . . . , Xt = i } = P{ X t+1 = j / Xt = i }

= pij(t)

pij(t) = probabilidad de que el proceso, estando en el estado i en el instante t, pase al estado

j en el instante siguiente.

A los pij(t) se les llama probabilidades de transición y cuando estas no dependen de t, se dice que las probabilidades de transición son estacionarias y se escriben pij .

Cuando un proceso estocástico sólo pueda tomar un conjunto finito de estados y satisfaga la propiedad markoviana con probabilidades de transición estacionarias, entonces llamaremos al proceso Cadena de Markov . A la matriz P = (pij ) se le denomina matriz de transición . Observemos que para toda matriz de transición debe cumplirse:

1) pij ( 0

2) para cada i (para cada fila) se cumple: pi1 + pi2 + . . . + pik = 1

Ejemplo 1:

En el tiempo 0 tengo Bs 20.000 y en los tiempos 1 ,2 ,3 .... participo en un juego en el que apuesto Bs 10.000. Gano el juego (y gano Bs 10.000) con probabilidad p y lo pierdo (perdiendo lo apostado: Bs 10.000) con probabilidad 1-p . Mi meta es aumentar mi capital hasta Bs 40.000 y tan pronto como lo logre, me salgo del juego. También salgo cuando me arruine (capital igual a Bs 0). Se define

Xt : mi capital después del juego realizado en el tiempo t

Estados del proceso = { 0 , 20.000 , 30.000 , 40.000 }

1 1

p p p

1-p 1-p 1-p

La matriz de transición viene dada por:

| |Estado 0 |Estado 1 |Estado 2 |Estado 3 |Estado 4 |

|Estado 0 |1 |0 |0 |0 |0 |

|Estado 1 |1-p |0 |p |0 |0 |

|Estado 2 |0 |1-p |0 |p |0 |

|Estado 3 |0 |0 |1-p |0 |p |

|Estado 4 |0 |0 |0 |0 |1 |

Ejemplo 2

Consideremos el siguiente modelo para el valor de una acción.

Al final de un día dado se registra el precio y el que la acción suba o no mañana depende de si subió o no hoy y ayer. En particular, si la acción subió los dos días, la probabilidad de que suba mañana es 0,9. Si la acción subió hoy pero ayer bajo, mañana subirá con probabilidad 0,6. Si la acción bajó hoy pero ayer subió ayer entonces mañana subirá con probailidad de 0,5. Por último, si bajó los dos días, la probabilidad de que suba mañana es de 0,3. Se definen los siguientes estados:

Estado 0 : la acción subió hoy y ayer. ( + + )

Estado 1 : la acción aumentó hoy pero ayer bajó. ( - + )

Estado 2 : la acción bajó hoy pero ayer subió. ( + - )

Estado 3 : la acción bajó hoy y ayer. ( - - )

La matriz de transición es:

| |Estado 0 |Estado 1 |Estado 2 |Estado 3 |

|Estado 0 |0,9 |0 |0,1 |0 |

|Estado 1 |0,6 |0 |0,4 |0 |

|Estado 2 |0 |0,5 |0 |0,5 |

|Estado 3 |0 |0,3 |0 |0,7 |

Ejemplo 3

Se tiene un sistema de inventario en el que la secuencia de eventos es como sigue:

1) Al principio del período (por ejemplo, al principio de la semana) se observa el nivel de inventario , digamos i

2) Si i ( 1 , se piden (reposición) 4-i unidades. Si i ( 2 no se hace ningún pedido (no se repone el inventario). La reposición es inmediata

3) Durante el periodo, no se piden (demanda) artículos con probabilidad 0,5 ; se pide (demanda) un artículo con probabilidad 0,3 y se piden (demanda) dos artículos con probabilidad 0,2.

4) Se observa el nivel de inventario al principio del siguiente período.

Si al principio de la semana (“antes de abrir el negocio”) se observa un artículo en inventario, entonces se reponen tres artículos de inmediato y comienzo la semana (abro el negocio) con cuatro artículos. Durante el la semana, pueden solicitar 0, 1 o 2 artículos por lo que al principio de la próxima semana (“antes de abrir el negocio”) podría haber en inventario 4 , 3 o 2 artículos. Razonando de esta manera, obtenemos la matriz de transición:

| |Estado 0 |Estado 1 |Estado 2 |Estado 3 |Estado 4 |

|Estado 0 |0 |0 |0,2 |0,3 |0,5 |

|Estado 1 |0 |0 |0,2 |0,3 |0,5 |

|Estado 2 |0,2 |0,3 |0,5 |0 |0 |

|Estado 3 |0

...