Modelos Markov Discreto Resueltos

EJERCICIOS RESUELTOS

FORMULACION DE MODELOS DE MARKOV DE TIEMPO DISCRETO

Pregunta Nº 1. Se quiere construir un modelo markoviano para estimar la dinámica de vida de un cultivo de ovas de salmón en la etapa de Maduración de la ova. En un estanque con agua dulce, se ponen N ovas fecundadas. Después de 8 días, las ovas que han sobrevivido se convierten en pequeños salmones, los cuales se traspasan a otros estanques para seguir su evolución. En este proceso de Maduración, algunas ovas se mueren. Se sabe que la distribución de probabilidades de una ova en esta etapa de desarrollo, es exponencial con media . Sea el número de ovas vivas al inicio del día n.

Se pide:

a) Diga cual es el rango de la variable (2 puntos)

b) Obtenga la regla de transición (2 puntos)

c) Obtenga la matriz P (2 puntos)

Desarrollo

Sea : número de ovas vivas al inicio del día n. Parten N ovas vivas, pero van muriendo día a día.

a)

b) Sea p: probabilidad de que una ova que está viva al inicio del día n lo esté al inicio de día n+1.

Sea Ti : duración o vida de la ova i-ésima.

luego si hay j ovas vivas al día siguiente pueden haber j o menos.

Luego

c) Matriz P:

0 1 2 . N-1 N

0

1 0 0 0 0

2

0 0 0

.

N-1

.

0

N

Pregunta Nº 2. Juan y Pedro tienen 2 monedas cada uno. Se disponen a enfrentar un juego en que, en cada oportunidad, cada jugador lanza una moneda de sus monedas. Si ambas coinciden, gana Juan y se queda con la moneda de Pedro. En caso contrario, gana Pedro. El juego termina cuando uno de los jugadores gana las 4 monedas.

a) Obtenga la distribución de probabilidades del número de jugadas necesarias hasta que Juan logre tener 3 monedas por primera vez.

b) Explique como obtendría la distribución de probabilidades del número de jugadas hasta que el juego termina.

Desarrollo:

1.- Sea : nº de monedas de Juan.

a.- Se debe encontrar que corresponde a la probabilidad de que se vaya por primera vez del estado 2 a estado 3 en un número k de etapas. Por lo tanto :

Para obtener esta probabilidad se debe construir el modelo detalladamente, es decir encontrar el rango de , la matriz P y opcionalmente el gráfico de red.

Rango de la variable de estado : ,

Matriz P

P=

Gráfico de red de la matriz P

Entonces volvamos de nuevo con

; ; ;

Término general:

-----------------------------------------------------------

b.- El juego termina cuando se llega a que Juan tiene 0 ó 4 monedas. Lo que se pregunta entonces, es la probabilidad de que ocurra alguno de estos dos eventos, que son excluyentes. Además Juan tiene al inicio del juego 2 monedas. Luego lo que se pregunta es:

Del estado 2 al estado 0 y al estado 4 se puede llegar en etapas múltiplos de 2 solamente. Luego :

Pregunta Nº 3. Considere un cultivo que contiene inicialmente un solo glóbulo rojo. Después de una cantidad de tiempo el glóbulo rojo muere y es reemplazado por dos nuevos glóbulos rojos o bien por dos glóbulos blancos. Las probabilidades de estos eventos son y respectivamente. Subsecuentemente, cada glóbulo rojo se reproduce de la misma forma. Por otra parte, cada glóbulo blanco muere después de una unidad de tiempo sin reproducirse. Se desea calcular la probabilidad de que el cultivo se extinga en algún momento.

Formule para tal efecto un modelo detallado e indique con precisión como lo utilizaría para obtener la probabilidad pedida.

Desarrollo

Sea : numero de glóbulos rojos presentes en la etapa n.

Esta Cadena de Markov es tal que existen dos clases:

y la clase es infinita.

La clase recurrente es recurrente y la clase es transiente. La clase está compuesta por un estado aperiodico. Por lo tanto, por la Proposición 2 vista en clases, se puede asegurar que existe distribución estacionaria. Además por la misma proposición se puede asegurar que es decir y . Como la clase tiene un solo elemento .

Entonces la probabilidad de que el cultivo se extinga alguna vez es uno.

Modelación de problemas en Cadenas de Markov de tiempo discreto

Pregunta Nº 4. En la ciudad de Santiago diariamente se liberan contaminantes a la atmósfera, provenientes principalmente del uso de vehículos y de plantas industriales. La autoridad correspondiente monitorea diariamente la calidad del aire en la ciudad y según la concentración de contaminantes distingue 3 estados de alerta ambiental: Normal (N), Preemergencia (P), y Emergencia (E). Se ha podido determinar que la evolución del estado de alerta obedece a una cadena de markov.

Por simplicidad asumiremos que las probabilidades de transición dependen sólo del número de vehículos que circulan por las calles de Stgo. cada día (las plantas industriales pueden ser modeladas como un conjunto de vehículos).

Si en un día Normal circulan por Santiago vehículos, entonces la probabilidad de que el día siguiente sea también Normal vale , y la probabilidad de que el día siguiente sea de Preemergencia es . Si en un día de Preemergencia circulan vehículos, entonces el día siguiente será Normal con probabilidad o Emergencia con probabilidad . Si en un día de Emergencia circulan y vehículos entonces el día siguiente puede repetirse el estado de Emergencia, lo que ocurre con probabilidad , o bien pasar al estado de Preemergencia con probabilidad . La función es continua, estrictamente creciente,

La autoridad ha tomado las siguientes medidas para combatir la contaminación: En los días de Preemergencia se prohíbe circular a una fracción 1- de los vehículos de Santiago. En los días de Emergencia la medida se hace más drástica, prohibiéndose la circulación de una fracción 1- de los vehículos de la ciudad ( < ).

En lo que sigue asuma que en Santiago hay un parque automotriz de vehículos, y que cada día salen a circular aquellos que la autoridad no se los prohíbe.

Resolver:

a) Modele el sistema como una

...