Biodiversidad

CONSTRUCCIÓN DE INSTRUMENTOS DE MEDIDA PARA LA

EVALUACIÓN UNIVERSITARIA

JOSÉ MUÑIZ y EDUARDO FONSECA-PEDRERO

CIBERSAM, Universidad de Oviedo

RESUMEN: En el artículo se analizan los problemas metodológicos implicados en la

evaluación universitaria. Se trata de analizar todos aquellos aspectos técnicos y de

procedimiento que son necesarios para llevar a cabo evaluaciones rigurosas en el ámbito

universitario, tanto en lo relativo a investigación, como a la docencia y gestión. Para

ello se repasarán los distintos componentes de un proceso evaluativo integral, a saber,

qué se evalúa, partes legítimamente implicadas, quién evalúa, cómo se evalúa, feedback

a las partes, planes de mejora, y opinión de las partes. Se hará especial hincapié en los

requisitos metodológicos necesarios para que los instrumentos de medida utilizados en

la evaluación sean fiables y válidos. Para ello se describen diez pasos necesarios que

hay que seguir para construir y analizar este tipo de instrumentos de medida. Se finaliza

discutiendo las perspectivas de futuro en el ámbito de la evaluación universitaria.

PALABRAS CLAVE: Evaluación, Universidades. Construcción de tests. Escalas.

ABSTRACT: In this paper, we analyze the methodological problems involved in the

evaluation of universities. We describe the technical and procedural aspects required to

carry out rigorous assessments in the college context, particularly with respect to

research and teaching. We start by reviewing the different components of the integral

evaluation process, such as determining what is assessed, who are the assessors, how to

asses in a technically sound way, providing feedback to all stakeholders, developing

improvement plans derived from the evaluation, and measuring the opinions of those

involved in the evaluation process. Special attention is paid to the technology and the

methodology required for developing reliable and valid assessment instruments. Ten

steps followed to develop rigorous and objective assessment instruments are described

in detail, pointing out the possible difficulties and problems to be found. Finally, we

discuss future directions for college evaluation.

KEY WORDS: Evaluation. University. Test development. Scaling.

1. INTRODUCCIÓN

Parafraseando al clásico bien podría decirse

que un fantasma recorre la Universidad Española,

es el fantasma de la evaluación, de repente todo el

mundo se ha puesto a evaluar a todo el mundo a

todas horas.

__________________________________________

Fecha de recepción 08-10-2008 · Fecha de aceptación 17-12-2008

Correspondencia : José Muníz

CIBERSAN, Universidad de Oviedo

Tal vorágine evaluativa tiene como

finalidad legítima la elaboración de un diagnóstico

riguroso que permita mejorar los tres grandes

parámetros que determinan la calidad de una

Universidad: Investigación, Docencia y Gestión.

Ciertamente, sin una evaluación precisa de esos

tres parámetros no se puede hacer un diagnóstico

riguroso y certero que permita generar planes de

mejora basados en datos empíricos. Los rankings

de universidades, tanto nacionales como

internacionales ejercen una fuerte presión y nadie

quiere quedarse atrás (Buela-Casal, Bermúdez,

Sierra, Quevedo-Blasco y Castro-Vázquez, 2009).

Desde un punto de vista metodológico, una

evaluación integral de cualquier organización o

institución como es la Universidad requiere

JOSÉ MUÑIZ & EDUARDO FONSECA-PEDRERO

Revista de Investigación en Educación, ISSN: 1697-5200

14

disponer de un modelo general de evaluación que

integre y dé sentido a las distintas evaluaciones

específicas que necesariamente se llevarán a cabo.

Más allá de algunas deficiencias y limitaciones

técnicas de las evaluaciones concretas realizadas,

seguramente la limitación estructural más

importante en la evaluación actual de las

universidades es la carencia de un modelo general

que integre y guíe las evaluaciones sectoriales. Este

modelo general debe de dar respuesta clara y

operativa al menos a siete cuestiones clave:

- qué se evalúa

- cuáles son las partes legítimamente

implicadas en la evaluación

- quién evalúa

- cómo se evalúa: qué metodología utilizar

- qué feedback se ofrece a las partes

implicadas

- planes de mejora generados por la

evaluación

- opinión de las partes implicadas sobre la

evaluación.

A continuación se comentan de forma

somera los problemas implicados en cada una de

estas facetas, para finalmente centrarnos en lo que

constituye el núcleo central de este artículo, a

saber, cómo se evalúa, qué propiedades métricas

deben de tener los instrumentos de evaluación

universitaria para obtener datos fiables y válidos

que sirvan para tomar decisiones fundadas.

Conviene dejar claro ya desde el principio que

disponer de instrumentos de evaluación

técnicamente adecuados no garantiza en absoluto

un proceso evaluativo global exitoso, es una

condición necesaria, pero no suficiente. Si se

dispone de excelentes instrumentos de medida

desde el punto de vista métrico, pero se descuida

alguno de los siete aspectos citados del modelo

integral de evaluación habremos fracasado en el

proceso de evaluación.

1.1. Qué se evalúa

Lo primero y fundamental que hay que hacer

cuando se planifica una evaluación es definir de

forma clara, concisa y operativa aquello que se

desea evaluar. Esto parece obvio y de sentido

común, pero a menudo los objetivos de la

evaluación aparecen confusos y pobremente

definidos, con lo cual la evaluación está condenada

al fracaso, utilícese la metodología que se utilice.

Una definición operativa, es decir, susceptible de

ser medida, obliga a buscar un compromiso entre la

riqueza del constructo a medir y la objetividad de

los instrumentos de medida utilizados. Tan vano es

plantearse grandes objetivos que son imposibles de

medir de forma rigurosa, como medir de forma

muy precisa aquello que es irrelevante pero muy

medible. La virtud está en el punto medio,

...