Cadenas De Marcov

Contenido

Introducción 3

Formulación de las Cadenas de Markov 4

Proceso Estocástico 5

Propiedad Markoviana de primer orden 6

Probabilidad de transición estacionaria de un solo paso 7

Probabilidad de transición estacionaria de “”n” pasos 9

Estados absorbentes 10

Probabilidad de transición estacionaria de estados estables. Tiempos de primer paso. 11

Bibliografía. 12

Introducción

En los problemas de toma de decisiones, con frecuencia surge la necesidad de tomar decisiones basados en fenómenos que tienen incertidumbre asociada a ellos. Esta incertidumbre proviene de la variación inherente a las fuentes de esta variación que eluden al control o provienen de la inconsistencia de los fenómenos naturales. En lugar de manejar esta variabilidad como cualitativa, puede incorporarse al modelo matemático y manejarse en forma cuantitativa. Por lo general, este tratamiento se puede lograr si el fenómeno natural muestra un cierto grado de regularidad, de manera que sea posible describir la variación mediante un método probabilístico.

Un proceso o sucesión de eventos que se desarrolla en el tiempo en el cual el resultado en cualquier etapa contiene algún elemento que depende del azar se denomina proceso aleatorio o proceso estocástico. Por ejemplo, la sucesión podría ser las condiciones del tiempo en Paraná en una serie de días consecutivos: el tiempo cambia día a día de una manera que en apariencia es algo aleatoria. O bien, la sucesión podría consistir en los precios de las acciones que cotizan en la bolsa en donde otra vez interviene cierto grado de aleatoriedad.

Un ejemplo simple de un proceso estocástico es una sucesión de ensayos de Bernoulli, por ejemplo, una sucesión de lanzamientos de una moneda. En este caso, el resultado en cualquier etapa es independiente de todos los resultados previos (esta condición de independencia es parte de la definición de los ensayos de Bernoulli). Sin embargo, en la mayoría de los procesos estocásticos, cada resultado depende de lo que sucedió en etapas anteriores del proceso. Por ejemplo, el tiempo en un día determinado no es aleatorio por completo sino que es afectado en cierto grado por el tiempo de días previos. El precio de una acción al cierre de cualquier día depende en cierta medida del comportamiento de la bolsa en días previos.

El caso más simple de un proceso estocástico en que los resultados dependen de otros, ocurre cuando el resultado en cada etapa sólo depende del resultado de la etapa anterior y no de cualquiera de los resultados previos. Tal proceso se denomina proceso de Markov o cadena de Markov (una cadena de eventos, cada evento ligado al precedente)

Estas cadenas reciben su nombre del matemático ruso Andrei Andreevitch Markov (1856-1922). Como mencionamos antes, estas cadenas tiene memoria, recuerdan el último evento y eso condiciona las posibilidades de los eventos futuros. Esto justamente las distingue de una serie de eventos independientes como el hecho de tirar una moneda.

Este tipo de proceso presenta una forma de dependencia simple, pero muy útil en muchos modelos, entre las variables aleatorias que forman un proceso estocástico. Se utilizan, por ejemplo, para analizar patrones de compra de deudores morosos, para planear necesidades de personal, para analizar el remplazo de un equipo, entre otros.

Definición:

Una cadena de Markov es una sucesión de ensayos similares u observaciones en la cual cada ensayo tiene el mismo número finito de resultados posibles y en donde la probabilidad de cada resultado para un ensayo dado depende sólo del resultado del ensayo inmediatamente precedente y no de cualquier resultado previo.

Propiedad de Markov: Dada una secuencia de variables aleatorias, X 1, X 2, X 3,… tales que el valor de X n es el estado del proceso en el tiempo n. Si la distribución de probabilidad condicional de X n+1 en estados pasados es una función de X n por sí sola, entonces:

Donde x i es el estado del proceso en el instante i.

Esta identidad es la denominada propiedad de Markov: El estado en t + 1 sólo depende del estado en t y no de la evolución anterior del sistema.

Formulación de las Cadenas de Markov

Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria. “recuerdan” el ultimo evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las series de eventos independientes.

Una cadena de Markov es un proceso estocástico en el que:

No depende de los estados anteriores X1, . . . , Xn−1, y

Solamente depende del estado actual Xn.

Es decir,

Para n = 1, 2, . . . y

Para cualquier sucesión de estados s1, . . . , sn+1

Proceso Estocástico

Un proceso estocástico se define sencillamente como una colección indexada de variables aleatorias {X1}, donde el subíndice t toma valores de un conjunto T dado. Con frecuencia T se toma como el conjunto de enteros no negativos y Xt representa una característica de interés medible en el tiempo t. Por ejemplo, el proceso estocástico, X1, X2, X3,.., puede representar la colección de niveles de inventario semanales (o mensuales) de un producto dado, o puede representar la colección de demandas semanales (o mensuales) de este producto.

Existen muchos procesos estocásticos interesantes. Un estudio del comportamiento de un sistema de operación durante algún periodo suele llevar al análisis de un proceso estocástico con la siguiente estructura. En puntos específicos del tiempo t etiquetados 0, 1, …, , el sistema se encuentra exactamente en una de un número finito de categorías o estados mutuamente excluyentes y exhaustivos, etiquetados 0, 1,… M. Los puntos en el tiempo pueden encontrarse a intervalos iguales o el espacion entre ellos puede depender del comportamiento general del sistema fisico en el que se encuentra sumergido el proceso estocástico, por ejemplo el tiempo entre ocurrencias de algún fenómeno de interes. Aunque los estados pueden constituir una caracterización tanto cualitativa como cuantitativa del sistema, no hay pérdida de generalidad con las etiquetas numéricas 0,1, …,M, que se usarán en adelante para denotar los estados posibles del sistema. Así la representación matemática del sistema físico es la de un proceso estocástico {Xi}, en donde las variables aleatorias

...