TOMA DE DECISIONES - PROBABILIDAD

C:\My Documents\Cursos\M 5001\1.06.Cadenas de Markov.doc pag. 1

Cadenas de Markov

Después de mucho estudio sobre el clima, hemos visto que si un día está soleado, en el 70% de los casos

el día siguiente continua soleado y en el 30% se pone nublado. En términos de probabilidad, lo que nos

sirve entonces para predecir el clima, vemos que la probabilidad de que continúe soleado el día siguiente

es .7 y la probabilidad de que al día siguiente esté nublado es .3. También nos fijamos en que si un día

está nublado, la probabilidad de que esté soleado el día siguiente es .6 y la probabilidad de que se ponga

nublado es .4.

Pregunta

Hoy está nublado, ¿cuál es la probabilidad de que mañana continúe nublado? ¿cuál es la probabilidad

de que está nublado pasado mañana?

Podemos ilustrar esta situación por medio de un diagrama de árbol:

Tiempo hoy Tiempo mañana Tiempo pasado mañana

.7 soleado

soleado

.6 .3 nublado

nublado

.4 .6 soleado

nublado

.4 nublado

Figura 1 Posibles estados del tiempo a partir de que hoy está nublado

Con la ayuda de la Figura 1 podemos predecir qué ocurrirá mañana si sabemos que hoy está nublado.

Vemos que la probabilidad de que mañana continúe nublado es .4, es decir, si hiciéramos esta predicción

muchas veces estaríamos en lo correcto cerca del 40% de las veces. Para conocer la probabilidad de esté

nublado pasado mañana buscamos en las hojas del árbol correspondientes al Tiempo pasado mañana los

lugares donde dice nublado. Hay dos hojas donde esto ocurre. Ahora lo que queda es determinar cómo

desde el principio, desde la raíz del árbol, podemos llegar allí.

Si hoy está nublado, para que pasado mañana esté nublado, podríamos tener un día de mañana soleado o

nublado. Así tenemos las siguientes secuencias en orden de (hoy, mañana, pasado mañana):

(nublado, soleado, nublado) o (nublado, nublado, nublado) donde pasado mañana es nublado. Estas

secuencias son mutuamente excluyentes, corresponden a caminos distintos en el árbol, así tenemos que:

P(pasado mañana nublado | hoy nublado)

= P((nublado, soleado, nublado) o (nublado, nublado, nublado))

= P(nublado, soleado, nublado) + P (nublado, nublado, nublado) = (.6 ´ .3) + (.4 ´ .4) = .34.

Este resultado se obtuvo multiplicando las probabilidades condicionales a lo largo de los caminos desde

hoy nublado hasta pasado mañana nublado. No es necesario que seamos tan específicos en términos de

hoy, mañana o pasado mañana, podemos darnos cuenta que lo realmente importante es el número de

días que pasa entre una predicción y otra. El problema que tratamos es equivalente al problema en que si

en el día 0 está nublado, ¿cuál es la probabilidad un día después también esté nublado?, ¿dos días

después?, ¿100 días después?...

C:\My Documents\Cursos\M 5001\1.06.Cadenas de Markov.doc pag. 2

Pregunta

Hoy está nublado, ¿cuál es la probabilidad de que esté nublado tres días después? Representa esta

situación con un árbol.

El proceso de este ejemplo sólo puede adquirir uno de dos estados posibles s1 = nublado y s2 = soleado.

La probabilidad con que se va de un estado a otro depende del estado en que estamos en el presente.

Dejemos que X1 represente el estado del clima del día número 1, X2 el estado del clima del día número 2

y así sucesivamente. En general, para n = 1, 2, ... sea Xn el estado del clima en el enésimo día.

La sucesión de observaciones X1, X2, ... se llama un proceso estocástico o proceso aleatorio. La

primera observación X1 se conoce como el estado inicial del proceso y para n = 2, 3, ... , Xn es el estado

del proceso en el tiempo n. En un proceso de este tipo los valores de las observaciones no pueden

predecirse con precisión de antemano. Sin embargo puede especificarse una probabilidad de observar

determinado valor, tal como en nuestro ejemplo.

En un proceso estocástico el estado varía en una forma aleatoria. Para describir el modelo de

probabilidad es necesario especificar una probabilidad para cada uno de los posibles valores del estado

inicial. También es necesario especificar para cada estado subsiguiente Xn+1 todas las probabilidades

condicionales de la forma siguiente: P(Xn+1 = sn+1 | X1 = s1, X2 = s2, ..., Xn = sn). Esto quiere decir que

para todos los tiempos n, el modelo de probabilidad debe especificar la probabilidad condicional de que

el proceso esté en el estado sn+1 en el tiempo n+1, dado que en los tiempos 1, 2, ..., n el proceso estuvo

en los estados s1, s2, ..., sn.

Muchos procesos reales, como el del ejemplo, se pueden modelar examinando únicamente la historia

más reciente, es decir, examinando su último estado, sin considerar todos los estados anteriores. Una

cadena de Markov (general) es un proceso de esta naturaleza: en el momento n el estado actual del

proceso y todos los estados anteriores son conocidos, entonces las probabilidades de todos los estados

futuros Xj ( j > n) dependen únicamente del estado actual Xn y no de los anteriores, X1, X2, ... Xn-1. Esto

se puede ver en el diagrama de árbol, si sabemos cuál es estado del clima hoy, no tenemos que saber

cuál fue el de ayer, antier o antes.

Formalmente, una cadena de Markov es un proceso estocástico tal que para n = 1, 2, .... y para cualquier

sucesión posible de estados s1, s2, ..., sn+1, tenemos

P(Xn+1 = sn+1 | X1 = s1, X2 = s2, ..., Xn = sn) = P(Xn+1 = sn+1 | Xn = sn).

Tal como en el ejemplo del clima, si usamos la regla de multiplicación repetidas veces vemos que las

probabilidades en una cadena de Markov deben cumplir:

P( X1 = s1, X2 = s2, ..., Xn = sn)

= P (X1 = s1) P( X2 = s2| X1 = s1) P( X3 = s3| X2 = s2) ... P(Xn = sn | Xn-1 = sn-1).

Pregunta

Demuestra este último resultado.

En general, consideramos una cadena de Markov que en cualquier momento estará en alguno de un

número finito k de estados s1, s2, ..., sk . Un proceso aleatorio de esta naturaleza se llama una cadena de

Markov finita.

C:\My Documents\Cursos\M 5001\1.06.Cadenas de Markov.doc pag. 3

Pregunta

¿Es el ejemplo del estado del clima una cadena de Markov finita? Explica. Identifica los estados.

La probabilidad condicional P(Xn+1 = sj | Xn = si), de que la cadena estará en el estado sj en el tiempo

n + 1 si está en el

...