Сadenas de markov

CADENAS DE MARKOV

INTRODUCCIÓN.-

Un proceso o sucesión de eventos que se desarrolla en el tiempo en el cual el resultado en cualquier etapa contiene algún elemento que depende del azar se denomina proceso aleatorio o proceso estocástico.

Las cadenas de Markov fueron introducidas por el matemático ruso Andrey Markov alrededor de 1905. Su intención era crear un modelo probabilıstico para analizar la frecuencia con la que aparecen las vocales en poemas y textos literarios.

El caso más simple de un proceso estocástico en que los resultados dependen de otros, ocurre cuando el resultado en cada etapa sólo depende del resultado de la etapa anterior y no de cualquiera de los resultados previos. Tal proceso se denomina proceso de Markov o cadena de Markov (una cadena de eventos, cada evento ligado al precedente) Estas cadenas reciben su nombre del matemático ruso Andrei Andreevitch Markov (1856-1922). Como mencionamos antes, estas cadenas tiene memoria, recuerdan el último evento y eso condiciona las posibilidades de los eventos futuros. Esto justamente las distingue de una serie de eventos independientes como el hecho de tirar una moneda. Este tipo de proceso presenta una forma de dependencia simple, pero muy útil en muchos modelos, entre las variables aleatorias que forman un proceso estocástico. Se utilizan, por ejemplo, para analizar patrones de compra de deudores morosos, para planear necesidades de personal, para analizar el reemplazo de un equipo, entre otros.

PROCESO ESTOCÁSTICO.-

Un proceso estocástico es aquel en el que se representan todos y cada uno de los pasos necesarios para realizar una actividad, además de las formas o maneras en que cada uno de los pasos puede ser llevado a efecto y sus respectivas probabilidades, dicho de otra manera, cualquier proceso en el que se involucren probabilidades es un proceso estocástico. Esta caracterizado por cuatro variables básicas.

El espacio de estados S={S_1,S_2,〖 S〗_3,……S_n} del sistema que es definido como un conjunto de los valores tomados por todas las variables aleatorias de un proceso estocástico.

El tiempo también conocido espacio de los parámetros que pueden ser:

Discreto, donde T={0,1,2,……n} en este caso se habla de un proceso estocástico (PE) a un tiempo discreto S(t).

Continuo, donde T=├]0,∞┤[ en este caso hablamos de un (PE) a tiempo continuo {S(t) ; t≥0}.

Ley temporal que especifica para toda la serie finita de instantes tj.

Las trayectorias que son aleatorias del Sistema S(t)

La notación S(t)=S significa que el proceso esta en el instante t cuando el estado es S.

DEFINICIÓN.-

Una cadena de Markov es una sucesión de ensayos similares u observaciones en la cual cada ensayo tiene el mismo número finito de resultados posibles y en donde la probabilidad de cada resultado para un ensayo dado depende sólo

...