Cuestiones conceptuales básicas en evaluación de programas.

Cuestiones conceptuales básicas en evaluación de programas

Rocío Fernández-Ballesteros

RESUMEN

La evaluación de programas implica tres elementos fuertemente vinculados: teoría, metodología y recursos prácticos. En este capítulo se resumen cuestiones conceptuales y metodológicas y se las vincula con ejercicios prácticos en relación a la evaluación de programas.

¿Qué es la evaluación de programas?

¿Qué es evaluación?

Evaluar un programa significa:

Qué_ Juzgar sobre el valor o mérito del mismo; es decir, si alcanzó sus objetivos y tuvo impacto.

Cómo_ Llevar a cabo un análisis estándar y científico, una investigación sistemática.

Para qué_ La finalidad de la evaluación de un programa es tomar decisiones sobre él: si debe mejorar, continuar o ser eliminado.

¿Qué es un programa?

Es un esfuerzo sistemático y planificado para lograr ciertos objetivos.

Sus elementos son los recursos humanos y materiales.

Sus características son su previa especificación y diseño, su temporalización, su implantación coordinada, la complejidad de sus elementos y los distintos niveles contextuales en los que se inserta.

Como ejercicio para esta primera sección se propone:

1. Seleccionar un “objeto” de evaluación potencial.
2. Establecer:

• las políticas en las que se basa
• los subprogramas que contiene
• los proyectos que integra y las acciones
• elementos que entraña.

Con respecto a los juicios valorativos que se hacen sobre un programa, se especifican los siguientes tipos:

Pertinencia_ respuesta del programa a necesidades concretas.

Suficiencia_ adecuación y suficiencia de acciones del programa para los propósitos planteados.

Progreso _ forma de actuación del programa a lo largo de su implantación.

Eficiencia_ relación entre el valor de los resultados y de los medios.

Eficacia_ logro comprobado de los objetivos.

Efectividad_ evaluación de los efectos.

Evaluabilidad_ medida en la cual un programa está listo para ser evaluado.

Ejercicio: establecer con los clientes de la evaluación, qué tipos de juicios son requeridos.

Componentes básicos de la evaluación del programa

Tratamiento: manipulaciones programadas para ser implantadas en una determinada realidad

Unidades: conjuntos de sujetos a los que se ha implantado una determinada intervención.

Operaciones: expresión de los objetivos o efectos que tuvo el programa en las unidades.

Contexto: importante para la generalización de los resultados de un programa.

Cronbach (1982) desarrolla la teoría de los UTOS (unidades, tratamiento, operaciones, contexto): la posibilidad de generalización de estos componentes de un programa depende de la calidad del diseño del mismo.

Ejercicio:

Atender a la medida en la cual los resultados de nuestras evaluaciones van a ser generalizados.

Averiguar cuáles son las unidades, el tratamiento, las operaciones y el contexto de aplicación del programa a ser evaluado.

Funciones de la evaluación

• proveer información acerca del gasto económico en el programa y de los logros obtenidos para tomar nuevas decisiones presupuestarias.
• Justificar decisiones tomadas en torno a determinadas políticas y a los programas.
• Constituir una base para emprender acciones que lleven a la resolución de problemas sociales: auxiliar en la toma de decisiones sobre el programa para eliminarlo, sustituirlo o mejorarlo.
• Investigar hipótesis subyacentes al programa.

Ejercicio: averiguar cuáles son los propósitos de la evaluación.

Tipos de evaluación de programas

Según cuándo se realiza la evaluación, en referencia al grado de elaboración del programa:

• Formativa (realizada durante la aplicación del programa, para perfeccionarlo)
• Sumativa (realizada cuando ya finalizó el programa, para mejorarlo y contemplar su contabilidad y justificación)

Según los propósitos o funciones de la evaluación:

• Proactiva (para asistir a la toma de decisiones sobre el programa)
• Retroactiva (para considerar la contabilidad del programa)

Según desde dónde se realice la evaluación:

• Desde dentro de la propia institución que propone y lleva a cabo el programa
• Desde instituciones o agencias ajenas al programa

 Cada “par” de tipos de evaluación de programas son complementarios.

Ejercicio:

Establecer si qué tipo de evaluación se va a realizar.

Establecer hasta qué punto el evaluador está implicado en el programa.

Los distintos implicados en la evaluación de programas

Tipos, demandas e importancia de los implicados

Los implicados pueden ser: políticos, directivos, técnicos, usuarios  y ciudadanos (estos últimos, indirectamente). A su vez, cada uno puede tener distintas demandas. Es importante considerar que tanto las demandas como los resultados pueden ser incompatibles. Por otro lado, las audiencias entre los implicados actúan en distintos momentos del proceso de evaluación.

Ejercicio:

Listar las audiencias implicadas y las personas relevantes de cada audiencia.

Entrevistar a dichas personas.

Listar las potenciales necesidades y expectativas de cada audiencia.

Potenciales obstáculos de los implicados

El evaluador se debe cuestionar qué tipo de obstáculos pueden emerger delos distintos colectivos y qué tipo de estrategias va a utilizar para superarlos.

Ejercicio: listar las potenciales barreras.

Alternativas polémicas en evaluación de programas

Ciencia vs. política

El sistema de creencias y valores influye en un momento dado tanto en los metapostulados de la ciencia dominante como en la ideología política dominante.

...