INTRODUCCION ALAS CADENAS DE MARKOV

INTRODUCCIÓN

En las cadenas de Markov considera ciertos puntos discretos en el tiempo {t_k }, para k toma valores de 1, 2, 3,…. Y ξ_(t_k ) la variable aleatoria que caracteriza al sistema t_k. Y la familia de las variables aleatorias ξ_(t_k ) forma un proceso llamado proceso estocástico. Entonces las cadenas de Markov se usan para estudiar ciertos comportamientos de largo y cortos plazos de sistemas estocásticos.

Para un proceso de Markov es un sistema estocástico siempre que cumpla con la propiedad Markoviana.

Los estados en el tiempo t_k representan situación exhaustiva y mutuamente excluyentes del sistema en un tiempo específico. Además el número de estado puede ser finito o infinito. Un ejemplo es el juego de lanzar la moneda.

Por lo general una cadena de Markov describe el comportamiento de transición de un sistema en intervalos de tiempo igualmente espaciados. Sin embargo, existen situaciones donde los espaciamientos temporales dependen de las características del sistema y por ello, pueden no ser iguales entre sí. Estos casos se denominan cadenas de Markov incrustadas.

Con las probabilidades absolutas y de transición podremos hacer predicciones de comportamientos futuros como las que se observaron en las situaciones anteriores. Así, si llamamos estados a cada una de estas posibilidades que se pueden presentar en un experimento o situación específica, entonces podemos visualizar en las Cadenas de Markov una herramienta que nos permitiría conocer a corto y largo plazo los estados en que se encontrarían en periodos o tiempos futuros y tomar decisiones que afectarán o favorecerán nuestros intereses.

Las probabilidades absolutas y de transición son exhaustivas y mutuamente excluyentes de un experimento aleatorio en cualquier tiempo.

Las cadenas de Markov son modelos probabilísticos que se usan para predecir la evolución y el comportamiento a corto y a largo plazo de determinados sistemas. Ejemplos: reparto del mercado entre marcas; dinámica de las averías de máquinas para decidir política de mantenimiento; evolución de una enfermedad.

Las cadenas de Markov se pueden aplicar en áreas como la educación, comercialización, servicios de salud, finanzas, contabilidad y producción. En este capítulo se analizan las ideas básicas necesarias para entender las cadenas de Markov. Muchas de las aplicaciones interesantes de las cadenas de Markov tienen que ver con cadenas en las que algunos de los estados son absorbentes y el resto son estados transitorios

4.1 INTRODUCCION ALAS CADENAS DE MARKOV

Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas de este tipo tienen memoria, "Recuerdan" el último evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una moneda al aire o un dado. En los negocios, las cadenas de Markov se han utilizado para analizar los patrones de compra,los deudores morosos, para planear las necesidades de personal y para analizar el reemplazo de equipo. El análisis de Markov, llamado así en honor de un matemático ruso que desarrollo el método en 1907, permite encontrar la probabilidad de que un sistema se encuentre en un estado en particular en un momento dado. Algo más importante aún, es que permite encontrar el promedio a la larga o las probabilidades de estado estable para cada estado. Con esta información se puede predecir el comportamiento del sistema a través del tiempo. La tarea más difícil es reconocer cuándo puede aplicarse. La caracteristica más importante que hay que buscar en la memoria de un evento a otro.

Considere el problema siguiente: la compañía K, el fabricante de un cereal para el desayuno, tiene un 25% del mercado actualmente. Datos del año anterior indican que el 88% de los clientes de K permanecían fieles ese año, pero un 12% cambiaron a la competencia. Además, el 85% de los clientes de la competencia le permanecían fieles a ella, pero 15% de los clientes de la competencia cambiaron a K. Asumiendo que estas tendencias continúen determine ¿Cuál es la parte que K aprovecha del mercado?:

en 2 años; y

en el largo plazo.

Esta situación es un ejemplo de un problema de cambio de marcas que sucede muy a menudo que se presenta en la venta de bienes de consumo.

Para resolver este problema hacemos uso de cadenas de Markov o procesos de Markov (qué es un tipo especial de proceso estocástico). El procedimiento se da enseguida.

Procedimiento de solución

Observe que, cada año, un cliente puede estar comprando cereal de K o de la competencia. Podemos construir un diagrama como el mostrado abajo donde los dos círculos representan a los dos estados en que un cliente puede estar y los arcos representan la probabilidad de que un cliente haga una cambio cada año entre los estados. Note que los arcos curvos indican una "transición" de un estado al mismo estado. Este diagrama es conocido como el diagrama de estado de transición (notar que todos los arcos en ese diagrama son arcos dirigidos).

Dado ese diagrama nosotros podemos construir la matriz de la transición (normalmente denotada por el símbolo P) la qué nos dice la probabilidad de hacer una transición de un estado a otro estado. Sea:

Estado 1 = cliente que compra cereal de K y

Estado 2 = cliente que compra cereal de la competencia

Tenemos así la matriz de transición P para este problema, dada por

Para estado 1 2

Del estado 1 | 0.88 0.12 |

2 | 0.15 0.85 |

Note aquí que la suma de los elementos en cada fila de la matriz de la transición es uno.

Por datos de este año sabemos que actualmente K tiene un 25% del mercado. Tenemos que la fila de la matriz que representa el estado inicial del sistema dada por:

Estado

1 2

[0.25, 0.75]

Normalmente denotamos esta fila de la matriz por s1 indicando el estado del sistema en el primer periodo (años en este ejemplo en particular). Ahora la teoría de Markov nos dice que, en periodo (año) t, el estado del sistema está dado por el st de la fila de la matriz, donde:

st = st-1(P) =st-2(P)(P) = ... = s1(P)t-1

Tenemos que tener cuidado aquí al hacer la multiplicación de la matriz ya que el orden de cálculo es importante (i.e. st-1(P) no es igual a (P)st-1 en general). Para encontrar st nosotros podríamos intentar hallar P directamente para la potencia t-1 pero, en la práctica, es mucho más fácil de calcular

...