Validez Y Discriminacion

Una manera de mejorar la calidad de estas preguntas objetivas es precisamente

analizarlas, aunque para preparar buenas preguntas objetivas habría que abordar también los

dos puntos antes indicados:

1º Cómo redactar buenas preguntas (que no sean casi exclusivamente de memoria, que

comprueben los objetivos propuestos, que estimulen un estudio inteligente, etc.);

2º Cómo planificar las pruebas objetivas para que el conjunto de la prueba esté

equilibrado en función de la importancia de los diversos temas y objetivos

2. Utilidad del análisis de ítems

Por qué puede ser de interés el analizar las pruebas objetivas:

1º Para ir mejorando su calidad.

3º También nos aportan datos que pueden influir indirectamente en nuestros criterios de

calificación; al menos disponemos de una información más completa y fácil de entender

4º Por otra parte todos estos análisis son fácilmente programables, y si utilizamos una

hoja de respuestas de lectura óptica y un programa adecuado de ordenador (programa que es

fácil preparar) casi sin darnos cuenta podemos acumular una información muy útil, incluso

para trabajos de investigación.

3.1. Análisis referidos a toda la prueba

Además de los datos descriptivos básicos (como son la media aritmética y la desviación

típica), podemos calcular el coeficiente de fiabilidad y el error típico.

3.1.1. El coeficiente de fiabilidad

El coeficiente de fiabilidad es una estimación de la correlación esperada con una prueba

semejante y por lo tanto este coeficiente de fiabilidad (oscila entre 0 y 1) indica en qué

medida en exámenes semejantes los alumnos hubieran quedado ordenados de manera

parecida. En test con respuestas 1 ó 0 (respuesta correcta o incorrecta) el coeficiente utilizado

es el de Kuder-Richardson 20. Con tests muy breves (entre 10 y 15 ítems) una fiabilidad de

.50 puede considerarse suficiente, pero tomar decisiones importante sobre los sujetos la

fiabilidad debería ser mucho mayor (en torno a .80) (Kehoe, 1995).

Para interpretar estos coeficientes de fiabilidad en exámenes convencionales o pruebas

de rendimiento hay que tener en cuenta tres factores que inciden en la magnitud de este

coeficiente:

1. La homogeneidad de los ítems: en la medida en que los ítems midan lo mismo la

fiabilidad será mayor; con preguntas muy distintas y poco relacionadas entre sí la

fiabilidad será más baja.

2. Las diferencias entre los examinados (homogeneidad de la muestra); si los sujetos

tienen resultados muy parecidos la fiabilidad bajará (no se puede clasificar, ordenar

bien a los muy semejantes).

3. El número de ítems porque a mayor número de ítems los alumnos quedan mejor

diferenciados.

Fundamentalmente la fiabilidad depende de las diferencias entre los sujetos por lo que

se puede cuestionar la fiabilidad de un test o de una prueba objetiva como indicador necesario

de su calidad; si todos saben todo o casi todo (o casi nada), la fiabilidad tiende a bajar y esto

no quiere decir que el test sea malo o que se trate de un mal resultado.

Un coeficiente de fiabilidad alto (consistencia interna) es claramente deseable cuando

las diferencias entre los sujetos son legítimas y esperadas; y esto es lo que suele suceder en

los tests psicológicos, y también en exámenes finales, sobre todo si son más bien largos, y con

más razón en clases numerosas y donde es razonable esperar diferencias en rendimiento. Una

fiabilidad alta nos dice que el examen deja a cada uno en su sitio; en exámenes parecidos

(con otras preguntas del mismo estilo) los alumnos quedarían ordenados de manera

semejante.

Análisis de cada alternativa en cada pregunta

Estos análisis (denominado convencionalmente análisis de ítems) son los que más nos

interesan en este momento.

3.2.1. La correlación ítem-total

Se trata ahora de un dato de cada ítem e indica en qué medida un ítem discrimina

(diferencia a los que saben más de los que saben menos); este tipo de información lo podemos

obtener también con los índices que vamos a ver a continuación.

Aunque esta correlación suele denominarse correlación ítem-total, en realidad se trata

de la correlación de cada pregunta con la suma de todas las demás; es decir, del total menos

el ítem que estamos analizando (con más propiedad suele denominarse también correlación

ítem-total menos el ítem).

Lo que expresa esta correlación (como cualquier correlación) es en qué medida el

responder correctamente a un ítem está relacionado con puntuar alto en todo el test. Esta

información es semejante a la que nos da el índice de discriminación que vamos a ver aquí:

a) Una correlación próxima a cero quiere decir que el responder bien o mal a esa

pregunta no tiene que ver con estar bien o mal en el conjunto del examen.

b) Una correlación negativa, sobre todo si es de cierta magnitud, quiere decir que el

responder bien a esa pregunta está relacionado con estar más bien mal en el conjunto de la

prueba (en principio se trata de una mala pregunta, o quizás hay un error en la clave de

corrección).

c) Una correlación positiva quiere decir que el responder bien a esa pregunta está

relacionado con un buen resultado en el conjunto de la prueba. Los ítems con mayores

correlaciones positivas son los más discriminantes, los que mejor diferencian a los mejores y

peores alumnos.

Análisis de las diversas alternativas: tabulación de las respuestas

Este análisis es más sencillo que los análisis estadísticos anteriores; se limita a una mera

tabulación de las respuestas:

a) Es de fácil comprensión

b) También se puede programar

c) Aporta una información de interés que se interpreta con mucha facilidad y de manera

intuitiva, sin necesidad de análisis estadísticos.

Posiblemente es el análisis en principio más útil para el profesor. Se trata de organizar

las respuestas de manera que permitan una reflexión rápida sobre las preguntas y sobre los

alumnos.

El proceso es el siguiente (también se puede programar):

1º Se ordenan los sujetos de más a menos según su puntuación total en la prueba (según

el número de respuestas correctas, no por las notas que se les asignen) y se

seleccionan el 25 % con puntuación

...