Markovianos

Procesos Markovianos de decisión

Consiste en la aplicación de la programación dinámica a un proceso de decisión estocástico, en donde las probabilidades de transición entre estado están descritas por una cadena de Markov.

La estructura de recompensas del proceso está descrita por una matriz cuyos elementos individuales son el costo o el beneficio de moverse de un estado a otro.

Las matrices de transición y de recompensas dependen de las alternativas de decisión. El objetivo es determinar la política óptima que maximice el ingreso esperado en un número finito o infinito de etapas.

8.1 Modelo de decisión de markov

El modelo de Markov es un proceso que se utiliza para estimar los costos y la evolución a largo plazo de enfermedades crónicas. Se basa en conceptos preestablecidos de cómo un paciente con cierta enfermedad crónica se "mueve" de un estado de salud a otro y determina la influencia de la intervención sobre estos "pasajes". El modelo de Markov estándar evalúa el efecto de cierto número de estrategias terapéuticas. La primera intervención suele ser esencialmente distinta, mientras que las siguientes y sus consecuencias se captan a través de las probabilidades de transición y de los costos y las utilidades en relación con los estados de salud aplicados en el modelo. No obstante, este proceso puede no ser adecuado cuando el objetivo no es establecer la terapia óptima para la fase inicial de la enfermedad sino también para los estados posteriores, en la medida que la enfermedad se modifica.

El objetivo principal de cualquier análisis de costo y eficacia consiste en comparar 2 tratamientos o más para seleccionar el mejor, desde una perspectiva económica en salud. Como se mencionó, cuando se diseñan estos modelos muchas veces es necesario asumir cierto tipo de evolución de la enfermedad más allá del tiempo habitual de observación en los trabajos clínicos.

8.2 Modelo de programación dinámica con etapa finita

Su objetivo es optimizar el ingreso esperado al final de un período de tamaño N, donde, Pk= [pi j k] y Rk=[ri j k] son las matrices de transición y recompensa para la alternativa k, fn(i) es el ingreso esperado óptimo de las etapas n, n+1,...,N si el estado del sistema al inicio de la etapa n es i.

m

∫fn(i) = max , Σ Pijk [rij k ∫n+1(j) ] n = 1,2,…, n

k j=1

∫n+1(j) = 0, j = 1,2, … ,m

EJEMPLO. Suponga que toda la industria de refresco produce dos colas: Coca Cola y Pepsi Cola. Cuando una persona ha comprado Coca Cola hay una probabilidad de 90% de que siga comprándola la vez siguiente. Si una persona compró Pepsi, hay 80% de que repita la vez siguiente. Se pide:

a) Si una persona actualmente es comprador de Pepsi. ¿Cuál es la probabilidad de que compre Coca Cola pasadas dos compras a partir de hoy?

b) Si en la actualidad una persona es comprador de Coca Cola. ¿Cuál es la probabilidad de que compre Coca Cola pasadas tres compras a partir de ahora?

c) Supongamos que el 60% de toda la gente toma hoy Coca Cola y el 40% Pepsi. A tres compras a partir de ahora, ¿Qué fracción de los compradores estará tomando Coca Cola.

d) Determinar el estado estable.

SOLUCIÓN: La situación se puede modelar como una cadena de Markov con dos estados {Coca-Cola, Pepsi-Cola}= {C, P}. La matriz de transición para el orden C, P, es

a) Se pide la probabilidad de transición en dos pasos, es decir que se pide el valor en fila 2, columna 1 para la matriz P2, obteniéndose que este es: 0,2.0,9+0,8.0,2 =0,34

b) Al igual que en el apartado anterior se pide el valor de probabilidad de transición en fila 1 y columna 1 para la matriz P3.

Esto quiere decir que la solución al problema es 0,781.

c) El vector de probabilidad inicial es (0.6, 0.4), por tanto la probabilidad de consumir ambos estados a partir de tres etapas es: (0.4, 0.6)*P3.

Calculamos primero P2, resultando que

Por lo tanto,

Entonces el resultado solicitado es 1/10000 *(6438 3562) = (0.6438, 0.3562); esto es que al cabo de tres compras el 64’38% comprará Coca Cola y el 35’62% comprará Pepsi Cola.

d) El estado estable se determina resolviendo el sistema de ecuaciones:

Añadiendo la ecuación x+y = 1, siendo x la probabilidad de que una persona compre Coca Cola a largo plazo e y lo mismo de que compre Pepsi Cola. El sistema resultante es:

Obsérvese que las dos primeras ecuaciones son la misma por tanto quedémonos con las dos últimas, obteniendo como solución:

x = 2/3; y = 1/3.

8.3 Modelo de etapa infinita

Hay dos métodos para resolver el problema con etapas infinitas. En el primero se deben evaluar todas las políticas estacionarias del problema de decisión. Esto equivale a un proceso de enumeración exhaustiva y solo se puede usar si la cantidad de políticas estacionarias es razonablemente pequeña. El segundo método, llamado iteración de política, en general es más eficiente, porque determina en forma iterativa la política optima (Thaja, 2004).

En otras palabras, se desarrollaran varios métodos para este modelo de etapas, en el cual se buscan las políticas para que existan soluciones de estado estable.

Métodos:

• Enumeración exhaustiva: se evalúan todas las políticas estacionarias posibles del problema de decisión.

• Iteración de política: determina la política óptima de forma iterativa.

8.4 Programación lineal y política optima

La Programación Lineal es un procedimiento o algoritmo matemático mediante el cual se resuelve un problema indeterminado, formulado a través de ecuaciones lineales, optimizando la función objetivo, también lineal.

Consiste en optimizar (minimizar o maximizar) una función lineal, que denominaremos función objetivo, de tal forma que las variables de dicha función estén sujetas a una serie de restricciones que expresamos mediante un sistema de inecuaciones lineales.

Además, la Programación lineal, intenta describir una determinada situación en términos de un modelo matemático determinado; una vez conocida la naturaleza de las variables de decisión, y expresadas la función objetivo y las restricciones en función de esas variables, la resolución del modelo puede confiarse, sin mayores problemas, a un programa informático.

Los dos métodos más importantes para derivar políticas óptimas para los procesos de decisión markovianos son los algoritmos de mejoramiento de una política y programación lineal.

Bajo el criterio de costo descontado, el método de aproximaciones sucesivas proporciona un camino rápido para aproximarse

...