Teoria de Cadenas de Markov

IV.- Cadenas de Markov

4.1.- a) Introducción a las cadenas de Markov

b) Formulación de las cadenas de Markov.

          Al tomar decisiones se tiene que las variables no siempre ocurren con certeza y se requiere tomar donde se considera  variables aleatorias de decisión en el mundo estocástico, A veces nos interesa saber cómo cambia una variable aleatoria a través del tiempo,  donde el tiempo también es un elemento a considerar en los problemas de optimización para tener un enfoque dinámico y no estático debido a que las variables cambian a través del tiempo. Por ejemplo el precio de las acciones de una empresa en el mercado a través del tiempo.

        La combinación de estos 2 aspectos Estocástico y dinámicos en los problemas de optimización se estudia con los procesos markovianos de Decisiones.

       El proceso de optimización se presenta en un sistema cuando en cada periodo de tiempo se dispone de un conjunto de alternativas para tomar la decisiones, donde  cada alternativa tiene asociado un costo, tal que la instrumentación ubica al sistema en otro estado y se requiere una determinada distribución de probabilidad.

                     [pic 1] 

             Andrei Andeivich Markov Matemático ruso (1856-1922) realizo estudios de los procesos estocásticos en el año de 1906  considero  situaciones donde las condiciones futuras de las dependen únicamente  de las situaciones presentes y que son independientes de las situaciones ocasionando, Un tipo especial de procesos estocásticos de tiempo discreto y que reciben el nombre de Cadenas de Markov las cadenas de markov se aplican en educación, mercadotecnia, servicios de salud, finanzas, contabilidad y producción., problemas de biología, fisica

Las cadenas de Markov hacen uso de la teoría de probabilidad por que las  variables se comportan en forma aleatoria según los axiomas y teoremas de probabilidad.

 Las variables aleatorias pueden ser discreta o variables aleatorias continuas en el problema a resolver.

Cadenas de Markov..- Son un proceso estocástico o sea es una sucesión de pruebas cuyos resultados son los siguientes [pic 2]……y  que satisfacen las siguientes propiedades.

1.- Cada resultado pertenece a un conjunto finito de resultados [pic 3]llamado espacio  de estados al sistema; si el resultado de la n-esima prueba es [pic 4], entonces decimos que el sistema está en el estado [pic 5] en la vez de n  o en el pasado n-esimo.

2.- El resultado de una prueba depende a los  sumo del resultado de la prueba precedente inmediatamente y no de cual quier otro resultado previos: con probabilidad de estados [pic 6]se establece la probabilidad [pic 7] de que [pic 8] suceda inmediatamente después que sucedió [pic 9](propiedad markoviana) aun proceso estocastico tal se llama cadena de Markov (finita)

3.-Los números [pic 10] se llaman probabilidades de transición, se puede acomodar en una matriz, llamada matriz de transición P ([pic 11]probabilidades de transición estacionarias)

[pic 12]

4.-[pic 13] un conjunto de probabilidades únicas.

Ejemplo: de una cadena de Markov.

El ingeniero de la rosa que vive en la unidad habitacional ferrocarrilera y tiene que ir al tecnológico a trabajar tiene oportunidades de ir en bicicleta o en camión ahora suponga que nunca toma el camión dos días seguidos pero si va en bicicleta, entonces el día siguiente no es que  posible que maneje de nuevo como por lo que toma el camión

El espacio del estado del sistema es [pic 14], es una cadena de Markov puesto que los eventos dependen solamente de lo que sucedió el día anterior

[pic 15]    [pic 16]

Ejemplo: Hugo, Paco y Luís se pasan una bola unos a otros. Hugo siempre tira la bola Paco y este siempre la pasa a Luís; pero Luís pasa la bola tan probablemente a Paco como Hugo. Tomemos el espacio siguiente [pic 17]. Esta es una cadena de Markov puesto que quien pasa la bola no está influenciada para las demás.

 La matriz de transición es:

      X1   x2   x3

[pic 18]

Ejemplo:

En un estanque se encuentra unas ranita la cual tiene oportunidad de saltar en 4 piedras que se encuentran en el estanque y además también  en los bordes del estanque; si se encuentra el cual quiera de las piedras  podrá brincar a otra hacia delante o a un borde, pero si se encuentra en una probabilidad p o hacia atrás con una probabilidad [pic 19]

Un borde solo podrá brincar a la piedra más cerca (observe el diagrama)

Dibujo.- Tenemos el espacio siguiente [pic 20] entonces la matriz de transición es:

[pic 21]

Cada fila de la matriz, exento la primera y la última, corresponden al hecho de que la  ranita se mueve del estado [pic 22] al estado [pic 23] con una probabilidad p o retroceda al estado [pic 24] con una probabilidad [pic 25]. La primera fila corresponde a hecho de que la ranita tiene que moverse des estado [pic 26] al estado[pic 27]y la última fila del estado [pic 28] al estado [pic 29].

Sea p la matriz de transición  de un proceso de cadenas de Markov.

Si p es la distribución de probabilidad para un sistema en  tiempo arbitrario, entonces p.p2 es la distribución de probabilidad para un paso adelante, p.p es la distribución de probabilidad para 2 pasos más adelante y en general p.pn es la distribución para n pasos se un sistema hacia delante, por lo tanto podemos hacer

[pic 30]

[pic 31]

[pic 32]

[pic 33]

Ejemplo: recordemos el ejemplo del ing. De la rosa cuya matriz (con 2filas y 2columnas) es:

...