Cadenas De Markov

CADENAS DE MARKOV

Una cadena de Markov es una sucesión de ensayos similares u observaciones en la cual cada ensayo tiene el mismo número finito de resultados posibles y en donde también la probabilidad de cada resultado para un ensayo dado depende solo del resultado del ensayo inmediatamente precedente y no de cualquier resultado previo.

En los problemas de toma de decisiones, con frecuencia surge la necesidad de tomar decisiones basadas en fenómenos que tienen incertidumbre asociada a ellos. Esta incertidumbre proviene de la variación inherente a las fuentes de esa variación que eluden el control o proviene de la inconsistencia de los fenómenos naturales. En lugar de manejar esta variabilidad como cualitativa puede incorporarse al modelo matemático y manejarse en forma cuantitativa. Por lo general este tratamiento se puede lograr si el fenómeno natural muestra un cierto grado de regularidad de manera que sea posible describir la variación mediante un modelo probabilístico.

APLICACIÓN DE LAS CADENAS DE MARKOV

Las cadenas de markov tienen múltiples aplicaciones en diferentes ramas entre las que se encuentran:

Física : Las cadenas de Markov son usadas en muchos problemas de la termodinámica y la física estadística. Ejemplos importantes se pueden encontrar en la Cadena de Ehrenfest o elmodelo de difusión de Laplace.

Meteorología: Si consideramos el clima de una región a través de distintos días, es claro que el estado actual solo depende del último estado y no de toda la historia en sí, de modo que se pueden usar cadenas de Markov para formular modelos climatológicos básicos.

Modelos epidemiológicos: Una importante aplicación de las cadenas de Markov se encuentra en el proceso Galton-Watson. Éste es un proceso de ramificación que se puede usar, entre otras cosas, para modelar el desarrollo de una epidemia (véase modelaje matemático de epidemias).

Internet: El pagerank de una página web (usado por Google en sus motores de búsqueda) se define a través de una cadena de Markov, donde la posición que tendrá una página en el buscador será determinada por su peso en la distribución estacionaria de la cadena.

Simulación: Las cadenas de Markov son utilizadas para proveer una solución analítica a ciertos problemas de simulación tales como el Modelo M/M/1.

Juegos de azar: Son muchos los juegos de azar que se pueden modelar a través de una cadena de Markov. El modelo de la ruina del jugador, que establece la probabilidad de que una persona que apuesta en un juego de azar finalmente termine sin dinero, es una de las aplicaciones de las cadenas de Markov en este rubro.

Economía y Finanzas: Las cadenas de Markov se pueden utilizar en modelos simples de valuación de opciones para determinar cuándo existe oportunidad de arbitraje, así como en el modelo de colapsos de una bolsa de valores o para determinar la volatilidad de precios. En los negocios, las cadenas de Márkov se han utilizado para analizar los patrones de compra de losdeudores morosos, para planear las necesidades de personal y para analizar el reemplazo de equipo.

Música: Diversos algoritmos de composición musical usan cadenas de Markov, por ejemplo el software Csound o Max

FORMULACION DE LAS CADENAS DE MARKOV

Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria. "Recuerdan" el último evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una moneda al aire o un dado.

En la figura se muestra el proceso para formular una cadena de Markov; el generador de Markov produce uno de n eventos posibles. Ej donde j = 1, 2, . . . , n, a intervalos discretos de tiempo (que no tiene que ser iguales ). Las probabilidades de ocurrencia para cada uno de estos eventos dependen del estado del generador. Este estado se describe por el último evento generado. En la figura 4.1.1, el último evento generado fue Ej de manera que el generador se encuentra en el estado Mj.

La probabilidad de que Ek sea el siguiente evento generado es una probabilidad condicional: P ( Ek/ Mj). Esto se llama probabilidad de transición del estado Mj al estado Ek para describir completamente una cadena de Markov es necesario saber el estado actual y todas las probabilidades de transición.

Probabilidades de transición: Una forma de describir una cadena de markov es con un diagrama de estados

Otro método para exhibir las probabilidades de transición es usar una matriz de transición. La matriz de transición para el ejemplo del diagrama de estados se muestra en la tabla siguiente:

Otro método para exhibir las probabilidades de transición es usar una matriz de transición. Para n = 0, 1, 2, ...

...