Cadenas de Markov

CADENAS DE MARKOV

INTRODUCCIÓN.-

Un proceso o sucesión de eventos que se desarrolla en el tiempo en el cual el resultado en cualquier etapa contiene algún elemento que depende del azar se denomina proceso aleatorio o proceso estocástico.

Las cadenas de Markov fueron introducidas por el matemático ruso Andrey Markov alrededor de 1905. Su intención era crear un modelo probabilıstico para analizar la frecuencia con la que aparecen las vocales en poemas y textos literarios.

El caso más simple de un proceso estocástico en que los resultados dependen de otros, ocurre cuando el resultado en cada etapa sólo depende del resultado de la etapa anterior y no de cualquiera de los resultados previos. Tal proceso se denomina proceso de Markov o cadena de Markov (una cadena de eventos, cada evento ligado al precedente) Estas cadenas reciben su nombre del matemático ruso Andrei Andreevitch Markov (1856-1922). Como mencionamos antes, estas cadenas tiene memoria, recuerdan el último evento y eso condiciona las posibilidades de los eventos futuros. Esto justamente las distingue de una serie de eventos independientes como el hecho de tirar una moneda. Este tipo de proceso presenta una forma de dependencia simple, pero muy útil en muchos modelos, entre las variables aleatorias que forman un proceso estocástico. Se utilizan, por ejemplo, para analizar patrones de compra de deudores morosos, para planear necesidades de personal, para analizar el reemplazo de un equipo, entre otros.

PROCESO ESTOCÁSTICO.-

Un proceso estocástico es aquel en el que se representan todos y cada uno de los pasos necesarios para realizar una actividad, además de las formas o maneras en que cada uno de los pasos puede ser llevado a efecto y sus respectivas probabilidades, dicho de otra manera, cualquier proceso en el que se involucren probabilidades es un proceso estocástico. Esta caracterizado por cuatro variables básicas.

El espacio de estados S={S_1,S_2,〖 S〗_3,……S_n} del sistema que es definido como un conjunto de los valores tomados por todas las variables aleatorias de un proceso estocástico.

El tiempo también conocido espacio de los parámetros que pueden ser:

Discreto, donde T={0,1,2,……n} en este caso se habla de un proceso estocástico (PE) a un tiempo discreto S(t).

Continuo, donde T=├]0,∞┤[ en este caso hablamos de un (PE) a tiempo continuo {S(t) ; t≥0}.

Ley temporal que especifica para toda la serie finita de instantes tj.

Las trayectorias que son aleatorias del Sistema S(t)

La notación S(t)=S significa que el proceso esta en el instante t cuando el estado es S.

DEFINICIÓN.-

Una cadena de Markov es una sucesión de ensayos similares u observaciones en la cual cada ensayo tiene el mismo número finito de resultados posibles y en donde la probabilidad de cada resultado para un ensayo dado depende sólo del resultado del ensayo inmediatamente precedente y no de cualquier resultado previo.

Formalmente, para definir una cadena de Markov finita hace falta determinar por lo tanto los siguientes elementos:

Un conjunto de estados del sistema.

La definición de transición.

Una ley de probabilidad condicional, que defina la probabilidad del nuevo estado en función de los anteriores.

Los elementos de una Cadena de Markov pueden ser de tres tipos:

Estado.- Representa cada suceso o evento en forma individual.

Pasos.- Representa un periodo de tiempo u otra condición posible que puede conducir a un cambio de estado.

Transición.- Es un cambio de un estado a otro.

PROBABILIDADES DE TRANSICIÓN.-

Es una probabilidad del tipo condicional. Por tanto las probabilidades de transición en un primer paso n=1, se denotan por:

P_ij=Prob {S_t=j ; S_o=i

Que significa la probabilidad de que

...