Ejercicios Cadena de Markov Discreta

Capítulo 2:

Cadenas del Markov Discreta  (Probls. 9 al 11)

Problema 9

Suponga que las ventas semanales de un cierto producto pueden ser descritas como una cadena de Markov discreta. Suponga que esas ventas varían entre 2 y 8 unidades. Las probabilidades de transición en una etapa son las siguientes:

[pic 1]

1. ¿Existe distribución límite? ¿Existe distribución estacionaria? Justifique.
2. Suponga que las ventas semanales pueden clasificarse en Bajas (2 ó 3), Medias (4 ó 5) o Altas (6,7 u 8), y suponga que durante la primera semana se vendieron 6 unidades. ¿Cuáles son las probabilidades, en el largo plazo, de que las ventas en una semana cualquiera sean Bajas, Medias o Altas?
3. ¿Cuánto tiempo transcurre en promedio, entre dos semanas con ventas iguales a 2 unidades? ¿Cuál es la distribución de probabilidades de este tiempo?

Solución:

1. De acuerdo a la  figura, podemos identificar 4 clases de estados:

[pic 2]

Figura 2. 1

Las clases desde estados de esta cadena de Markov son:

 (recurrente positiva aperiódica)[pic 3]

 (transiente aperiódica);[pic 4]

 (transiente aperiódica);[pic 5]

 (recurrente positiva aperiódica);[pic 6]

Todas las clases son aperiódicas, por lo que existe distribución límite.

Además, hay dos clases recurrentes positivas aperiódicas y, como las clases recurrentes son cerradas, la distribución límite depende del estado inicial (por ejemplo, es distinta si  o  si ). Por ende, no existe distribución estacionaria.[pic 7][pic 8]

1. Las ventas semanales se clasifican en Bajas (2 ó 3), Medias (4 ó 5) o Altas (6,7 u 8).

Sea  = ventas en el período  (con ).[pic 9][pic 10][pic 11]

En el largo plazo,

[pic 12][pic 13]

Como el estado 2 es transiente, en el largo plazo, .[pic 14]

Además,

[pic 15]

Por otra parte se tiene que,

[pic 16][pic 17][pic 18][pic 19][pic 20]

Resolviendo el sistema se tiene que:

[pic 21]

es decir,

[pic 22]

Para las ventas medias se tiene que:

[pic 23][pic 24][pic 25]

Por otra parte, se tiene:

[pic 26][pic 27][pic 28][pic 29][pic 30]

De donde se obtienen

[pic 31]

[pic 32]

Además,

[pic 33][pic 34]

Así,

[pic 35]

Para las Ventas Altas, se tiene que:

[pic 36][pic 37][pic 38]

debido a que la clase  es transiente.[pic 39]

1. Se pide .[pic 40]

La distribución de probabilidades para  es:[pic 41]

[pic 42]

Así,

[pic 43]

lo cual es coherente con el hecho que 2 es de un estado transiente.

Problema 10

Considere una cadena de Markov discreta con estados , y la siguiente matriz de probabilidades de transición en una etapa:[pic 44]

[pic 45]

1. Determine las clases de estados y clasifique los estados en transientes, recurrentes nulos o positivos, y determine si son aperiódicos o periódicos (y el período).
2. ¿Existe distribución límite?
3. ¿Cuál es la probabilidad de que, si el sistema parte en el estado 7, llegue al estado 6 alguna vez? ¿Cuál es la probabilidad de que, si el sistema parte en el estado 7, llegue alguna vez al estado 5?
4. Suponga que el sistema parte en el estado 1. ¿cuánto tiempo (etapas) toma, en promedio, retornar al estado 1 por primera vez?
5. Suponga que el sistema parte en el estado 2. Obtenga una expresión para el tiempo promedio que le toma al sistema ingresar al estado 5 por primera vez.
6. ¿Tiene este sistema distribución estacionaria? Justifique.
7. Obtenga  y .[pic 46][pic 47]

Solución:

1. Con la matriz de probabilidades de transición en una etapa, se puede graficar la cadena de Markov.

[pic 48]

Figura 2. 2

Las clases de estados de esta cadena de Markov son:

 (recurrente positiva aperiódica)[pic 49]

 (transiente aperiódica)[pic 50]

 (transiente aperiódica)[pic 51]

 (recurrente positiva aperiódica)[pic 52]

1. Existe distribución límite, puesto que todas las clases son aperiódicas.
2. Se pide  y [pic 53][pic 54]

[pic 55]

Pero , con lo que .[pic 56][pic 57]

Por otra parte,

[pic 58]

Pero  y , con lo que [pic 59][pic 60][pic 61]

1. Se pide : se puede calcular directamente:[pic 62]

[pic 63][pic 64]

...