Procesos De Markov

UNIVERSIDAD JOSE CARLOS MARIATEGUI

Curso: Teoría de Decisiones

Docente: Lic. Ana Zamudio Vargas

Tema: Procesos de Markov

Integrantes:

• Karina Lizbeth Quenta León

• Diana Carolina Santacruz Huilca

• Evelyn Jessica Sucasaire Apaza

• Oscar Ronal Mamani Cuayla

• Marleni Jessica Gutierrez Butron

06/07/2011

CADENAS DE MARKOV, UNA SENCILLA APLICACION

Resumen

En este trabajo se explica un tópico específico de las cadenas de Markov, un campo de aplicación que combina los elementos de la teoría de probabilidad con el álgebra matricial.

1. Introducción

Quizás algunos de los lectores de este artículo en un principio piensen que desconocen situaciones asociadas a este tema, ya sea por que su campo no es el de las probabilidades o el del álgebra de matrices; pero yo estoy seguro que por lo menos habrá escuchado en algún momento las predicciones de algún meteorólogo a través de la radio

o la televisión, o durante su vida crediticia ha tenido que estar pendiente de una certificación de Data-crédito para el estudio y aprobación de un crédito. Analicemos lo que

en ambos casos se da: el meteorólogo seguramente consulta las imágenes satelitales;

pero también sabe que el clima en un día del año corresponde de alguna manera a un fenómeno aleatorio, es así como hoy puede ser soleado (temperaturas altas), ser lluvioso

o fresco sin lluvia, y que el clima estaría en una y solo una de estas tres posibilidades y que la ocurrencia de una de ellas excluye a las demás. También es fácil ver que la

probabilidad de que en un día específico llueva, o sea soleado o fresco sin lluvia, está

muy relacionada con lo ocurrido al clima el día anterior. En la situación de Data-crédito las

entidades financieras saben que sus clientes pueden ser fácilmente clasificados de acuerdo al manejo de sus créditos en excelentes, buenos o deficientes, y que si un cliente

es clasificado en alguna de ellas en un mes específico, entonces se excluye de las otras posibilidades; y que estas clasificaciones obedecen a cierta aleatoriedad. Se puede pensar que si un cliente en cierto mes es clasificado como deficiente, lo más seguro es que su crédito sea negado ya que se piensa que para el mes siguiente es muy probable que su comportamiento no cambie, lo que deja ver que la probabilidad de estar en alguno

de estos estados (excelente, bueno, deficiente), un mes cualquiera depende de la clasificación del mes anterior, y que es razonable en el análisis del crédito concluir que un manejo deficiente en cierto mes, asegura un mal manejo en el mes siguiente. En los ejemplos expuestos se observa que se está haciendo proyecciones de ciertos comportamientos con base a lo que está ocurriendo o ha ocurrido en un periodo anterior. Con las Cadenas de Markov podremos hacer predicciones de comportamientos futuros como las que se observaron en las situaciones anteriores. Así, si llamamos estados a cada una de estas posibilidades que se pueden presentar en un experimento o situación especifica, entonces podemos visualizar en las Cadenas de Markov una herramienta que nos permitiría conocer a corto y largo plazo los estados en que se encontrarían en periodos o tiempos futuros y tomar decisiones que afectarán o favorecerán nuestros intereses.

2. ¿Qué es una cadena de Markov?

Llamemos E1, E2…, Ek los estados (resultados) exhaustivos y mutuamente excluyentes de un experimento aleatorio en cualquier tiempo. Inicialmente en tiempo t0, el sistema puede estar en cualquiera de estos estados. Sea aj0(j = 0, 1,.. ., k) la probabilidad absoluta de que el sistema se encuentre en el estado Ej en t0.

Definamos pij como la probabilidad de transición de un paso de ir al estado i en tn-1, al estado j en tn, es decir, la probabilidad de que en el siguiente periodo (paso) se encuentre en Ej, dado que en el periodo (paso) inmediatamente anterior estuvo en Ei. Supongamos que estas probabilidades son estacionarias (no cambian) a través del tiempo. Las probabilidades de transición del estado Ei al estado Ej se describen de manera más conveniente en forma matricial como sigue:

Por ejemplo p21 es la probabilidad de estar en el estado 1 en el siguiente paso, dado que

en este momento se encuentra en el estado 2. La matriz P se llama matriz de transición homogénea porque todas las probabilidades pij son fijas, independientes del tiempo. Las probabilidades pij deben satisfacer las condiciones

Definición 1. Una Cadena de Markov es:

1. Un conjunto de estados E1, E2… , Ek exhaustivos y mutuamente excluyentes de un experimento aleatorio en cualquier tiempo.

2. Una matriz de transición P.

3. Unas probabilidades iniciales a0j (j = 0, 1,. . . k)

Ejemplo 1. En un país lejano sólo existen dos posibilidades en el clima, seco y mojado. Un estudiante de meteorología sabe que la probabilidad de que el clima sea seco el 1o de Enero del año en curso es a y la probabilidad de que en dos días consecutivos el clima sea el mismo, tiene un valor p, 0 < p < 1. Escribamos los elementos que identifican en este problema una cadena de Markov.

Solución. Solo hay dos posibles estados E1: Seco y E2: Mojado.

Tenemos a10 = a, a20 = 1 - a.

La matriz P de transición de un paso será:

Se observa en P que las probabilidades de clima seco un día, dado que el anterior fue seco; y de mojado un día, dado que el día anterior fue mojado son iguales a p. En cualquier otro caso tenemos una probabilidad de 1 - p.

Las probabilidades a01 y a02, junto con P, determinan en este ejemplo una cadena de

Markov.

3. ¿Qué son las probabilidades absolutas y de transición para n pasos?

Dados {aj0 } y P de una cadena de Markov, nos interesa conocer la probabilidad de que ocurra Ej en la transición n. Estas se conocen como las probabilidades absolutas del sistema después de un número Específico n de transiciones. Llamemos {ajn } estas

...