Validacion, verificacion y credibilidad - CONSTRUCCION DE MODELOS DE SIMULACCION VALIDOS Y CREIBLES

Validación, verificación y credibilidad

Este es uno de los problemas más difíciles a que se enfrenta el practicante de la simulación: cómo determinar cuándo un modelo de simulación es una representación suficientemente exacta del sistema que se estudia, o en otras palabras cuando el modelo del sistema es válido. Desgraciadamente no hay una colección de reglas y procedimientos que permitan establecer inequívocamente la validez de un modelo en general, y de uno de simulación en particular.

El objetivo de este capítulo, es resumir las líneas generales más significativas, en un ejercicio de síntesis de ideas propias. Un buen modelo es, valga la redundancia, un modelo válido, por lo tanto todo aquello que nos conduce a construir un buen modelo nos sirve, al mismo tiempo, para asegurar su validez.

Empezaremos estos comentarios intentando establecer claramente que entendemos por verificación y qué por validación. Sargent puntualiza en su artículo que: el modelo conceptual es una representación matemática, lógica o mímica del problema, formulado para un estudio particular, mientras que el modelo computarizado es la implantación del modelo conceptual en un ordenador, y que si bien el modelo conceptual es que se desarrolla durante la fase de análisis y modelización, el modelo computarizado es que se desarrolla en la fase de traducción del modelo conceptual a un programa de computador, o fase de programación e implantación del programa de computador, y las inferencias sobre el problema se obtienen mediante los experimentos computacionales durante la fase de experimentación.

De acuerdo con este planteamiento habremos de distinguir metodológicamente entre los problemas de determinación de la adecuación del modelo conceptual, problemas que se refieren fundamentalmente a la adecuación de las hipótesis de modelización y su traducción en términos de ecuaciones o relaciones entre las entidades del sistema, los problemas que pueden derivarse de la traducción del modelo en términos del programa de computador y, finalmente, los que son consecuencia del método experimental.

Un modelo debe y deberá ser una representación adecuada del sistema que se estudia, especialmente si el modelo que se va a tomar como estudio es mediante toma de decisiones.

El problema que presenta el practicante de la simulación, principalmente es la incertidumbre si el modelo de sistema que se está evaluando en válido o no.

 Este criterio sirve a Law y Kelton para establecer las siguientes definiciones, compartidas por la mayoría de los autores citados:

[pic 1][pic 2][pic 3][pic 4]

• Verificación, es determinar que el programa de computador se comporta como es debido, es decir está libre de errores de programación («debugging» del programa), en otras palabras, la verificación comprueba que se ha realizado una traducción correcta del modelo conceptual a un programa de computador que trabaja correctamente.

• Validación, se refiere a determinar si el modelo conceptual es una representación adecuada del sistema que se estudia. Es decir si nuestro conocimiento del sistema se ha traducido en hipótesis de modelización que reproducen correctamente el comportamiento del sistema en los aspectos relevantes para los objetivos del estudio. La validez del modelo es crucial para las decisiones que han de soportar los experimentos realizados con el modelo, ya que el objetivo de los experimentos es inferir cuál sería el comportamiento del sistema si los experimentos se realizasen físicamente sobre él mismo.

• Credibilidad, este es un aspecto complementario, pero no menos importante, en lo que se refiere a la práctica de la simulación, sobre todo en modelos de sistemas complejos en situaciones en las que el responsable de la toma de decisiones no es el analista que ha construido el modelo. Los resultados del modelo han de ser aceptados por el decisor para ser utilizados en el proceso de toma decisiones, en otras palabras, los resultados del modelo han de ser creíbles para aquellos que los han de utilizar.

La relación entre los procesos de verificación, validación y establecimiento de la credibilidad, su secuencia temporal, y su relación con la metodología de la simulación se ponen de manifiesto, adaptada de la propuesta por Law y Kelton, así como, una vez más el carácter iterativo inherente a la metodología de la utilización de modelos, en general, y de simulación en particular, de manera que los resultados de cualquiera de las etapas del proceso puede obligar a volver atrás para obtener más información, replantear hipótesis de modelización, reprogramar partes del modelo conceptual, o reformular algunos de los experimentos de simulación. Con respecto a este último punto hay que establecer una distinción entre los objetivos de la validación y los del análisis de resultados, ya que en estos lo que se pretende, como hemos expuesto en el Capítulo anterior, es determinar la calidad de la estimación de una variable de respuesta o medida del rendimiento, por medio de los procedimientos estadísticos pertinentes, mientras que la validación se propone determinar si esa medida representa o no adecuadamente el rendimiento que se pretende analizar.

...