EVALUACIÓN DEL RENDIMIENTO INTRODUCCIÓN A LA TEORÍA DE RESPUESTA AL ÍTEM

EVALUACIÓN DEL RENDIMIENTO ACADÉMICO

INTRODUCCIÓN A LA TEORÍA DE RESPUESTA AL ÍTEM

[pic 1]

Autor:

Andrés Burga León

Lima 4 de Octubre del 2005

[pic 2]

EVALUACIÓN DEL RENDIMIENTO INTRODUCCIÓN A LA TEORÍA DE RESPUESTA AL ÍTEM

Mg. Andrés Burga León UPCH – Facultad de Psicología UMC – Ministerio de Educación

1. LA EVALUCIÓN DEL RENDIMIENTO

La evaluación es un instrumento sumamente importante dentro del ámbito educativo. A partir de los años 90 se da un importante cambio en la concepción de la evaluación, pasando de estar centrada en los exámenes y calificaciones, para convertirse en un mecanismo de orientación y formación (Cerda, 2003). En la actualidad puede considerarse que la evaluación educativa, cumple cuatro funciones fundamentales (Reátegui, Arakaki y Flores, 2001):

• Toma de decisiones: están referidas a la marcha del proceso pedagógico. Se decide, si un alumno debe pasar o no un curso, y continuar con su proceso de instrucción.
• Retroinformación: se busca conocer las debilidades y fortalezas del alumno en cuanto a sus logros
• Reforzamiento: implica convertir a la evaluación en una actividad satisfactoria, mediante el reconocimiento de su esfuerzo y rendimiento.
• Autoconciencia: se busca que el alumno reflexione respecto a su propio proceso de aprendizaje, cómo entendiendo, y que elementos le están causando dificultades.

Dentro de este contexto, se consideran como muy importantes las pruebas de aprovechamiento o rendimiento, que son todas aquellas que buscan evaluar el nivel de habilidad o logro de un alumno luego de un proceso de instrucción (Aiken, 1996). Es decir, el propósito fundamental de estos instrumentos es la evaluación académica, que responde a la pregunta ¿Qué conocimientos o destrezas ha adquirido el alumno tras un periodo de instrucción? (Prieto y García, 1996). Basándonos en la propuesta de Pizarro, Clark y Allen (1987), la medición del rendimiento académico puede ser entendida, como una cantidad que estima lo que una persona ha aprendido como consecuencia de un proceso de  instrucción o formación; es la capacidad del alumno para responder al proceso educativo en función a objetivos o competencias.

Además, puede ser entendido en relación con un grupo social que fija los niveles mínimos de aprobación ante un determinado cúmulo de conocimientos, procedimientos o aptitudes (Carrasco, 1985). El rendimiento académico, sin ser  el único indicador de la calidad educativa, es uno de los más importantes; y su

estudio ha sido separado, por lo menos desde un punto de vista teórico, en factores cognitivos y afectivo-motivacionales que lo afectan (Marchesi y Martín, 1999). Por ejemplo, en el modelo de aprendizaje autorregulado de Mckeachie, Printich y colaboradores (1992, citado en García, 2002) se demuestra que los factores cognitivos, los motivacionales y la relación entre ambos, ejercen una influencia directa en la implicación del estudiante en el aprendizaje y en su rendimiento académico. Por ello es preciso considerarlo dentro de un marco complejo de variables como los condicionamientos socio-ambientales, factores intelectuales, variables emocionales, aspectos técnicos y didácticos (Capella y colaboradores, 2003).

Como indicamos eanteriormente, la evaluación del rendimiento de  los estudiantes es un indicador sobre la calidad del sistema educativo. Podemos esperar que un sistema de calidad logre que los estudiantes alcancen niveles de desempeño suficientes en las diversas áreas evaluadas. En términos de evaluaciones de sistema, se ha puesto énfasis en el logro en matemáticas, lenguaje y ciencias. Para ello se aplican pruebas estandarizadas a muestras representativas de alumnos a fin de conocer el nivel de desempeño que han alcanzado. Thorndike (1989) señala que el método que se centra sobre el nivel  de desempeño que se tiene en alguna área del conocimiento o habilidades, corresponde a las llamadas pruebas de aprovechamiento con referencia al criterio.

Un aspecto muy importante de las pruebas de aprovechamiento o rendimiento,  es que el contenido de lo evaluado debe estar acorde con el contenido de lo enseñado (Anastasi y Urbina, 1997). Al respecto Good y Brophy (1997) sostienen que de manera típica, las pruebas sólo cubren una muestra pequeña del contenido y los objetivos enseñados y tienen que tomarse decisiones respecto a qué incluir. Los items o preguntas de un test son seleccionados para ser representativos aunque de forma imperfecta, del saber básico que se puede esperar de un alumno (Ingebo, 1997). Es decir, se hace necesario un adecuado muestreo del dominio, el cual debe ser realizado en función a los objetivos de la instrucción, que a su vez se estructuran sobre la base de taxonomías (Prieto y Gracía, 1996). Es importante muestrear la gama completa del contenido enseñado e incluir suficientes ítems para que la medición sea confiable (Cortada, 1999). De esta manera se podrá dar cuenta de cuáles son las áreas que presentan debilidades, además los estudiantes percibirán como injusta la evaluación si se centra sólo en uno pocos contenidos (Good y Brophy, 1997).

Por todo lo anterior, García y Prieto (1996) sostienen que es muy importante que al construir una prueba para evaluar el rendimiento, se defina adecuadamente el dominio o conjunto de indicadores a partir de los cuales se infiere el nivel de logro de las personas en aquella materia que se quiere evaluar. Una prueba de rendimiento queda compuesta por indicadores que se conectan con ítems o tareas significativas, asociadas al dominio a través de definiciones    semánticas.

Esto constituye la matriz de contenidos que servirá como base para la constricción de los ítems.

Haciendo una síntesis de diversos autores (Aiken, 1996; Cortada, 1999; Prieto y García, 1996; Thorndike, 1989), se puede considerar que los principales tipos de ítems y sus características, mediante los cuales se evalúa el rendimiento académico, son los siguientes:

1. Ensayo o preguntas abiertas: Se orientan a evaluar la capacidad del alumno para organizar, relacionar y comunicar sus conocimientos. Cuando estas preguntas son usadas de forma exitosas, le piden al alumno mucho más que simplemente reproducir información. Otra ventaja adicional es que no dan lugar a la adivinación. Es recomendable tener una matriz de calificación para este tipo de reactivos. Es decir, especificar de forma clara y demostrable, qué necesita una respuesta para ser considerada como adecuada y recibir el puntaje completo. En cuanto a su confección debemos:

• Definir los ítems de forma clara, de tal manera que no haya dudas respecto a lo que se pide para su resolución.
• Poner        énfasis        en        preguntas        que        pidan        solucionar        problemas        o ejemplificar, más que reproducir información.
• Utilizar una cantidad reducida de ítems que deben ser respondidos por todos los alumnos.
• Incluir preguntas que varíen en cuanto a su dificultad

1. Completar oraciones: Se le presenta al alumno un enunciado o párrafo pequeño al cual le faltan algunas palabras. La tarea de la persona consiste en rellenar dichos espacios, de tal manera que le dé sentido al enunciado, además de poseer un contenido correcto según el dominio que se busca evaluar. La principal desventaja de este tipo de ítems es que no miden objetivos complejos. Hay que considerar lo siguiente cuando se construye este tipo de ítems:

• Procurar que en el caso de tener un solo espacio en blanco, este quede  al final
• Evitar el uso de varios espacios en blanco en el mismo concepto, especialmente si éstos hacen que el ítem pierda significado.

1. Verdadero / Falso: A la persona respondiente se le pide que identifique la verdad o falsedad, de un conjunto de enunciados presentado. El problema  de estos ítems es que tiene una alta probabilidad (p = .50) de adivinación. Se recomienda considerar lo siguiente en el momento de construirlos:

• Preguntar sólo cosas importantes.

• Redactar enunciados cortos y sin ambigüedad.

• Evitar la doble negación.

• Evitar el uso de términos como “todos” o “ninguno”.

• En caso de poner “afirmaciones” citar las fuentes de donde fueron tomadas.
• Redactar los enunciados verdaderos y los falsos con longitudes similares.

1. Opción múltiple: para resolverlos, la persona tiene que elegir entre las diversas opciones de respuesta, cuál de ellas es la adecuada, según el enunciado del problema. En su formulación debe considerase lo siguiente:

• El enunciado debe ser una sola frase y estar en consonancia formal y de contenido con todas las opciones de respuesta.
• Ordenar        los        ítems        de        forma        aleatoria.        Aunque        algunos        autores consideran que es mejor ordenarlos según la temática.
• El número óptimo de alternativas de respuesta es de tres a cinco.

• Redactar todas las alternativas de respuesta con longitudes similares.

• Todas las alternativas de respuesta deben ser gramaticalmente correctas y estar enunciadas de forma similar.
• Usar sólo alternativas de respuesta posibles. Es decir, no emplear distractores cuyo contenido erróneo resulte obvio.
• En la medida de lo posible evitar las alternativas “todas las anteriores” y “ninguna de las anteriores”, pues estas suelen ser muchas veces la opción correcta.
• Evitar que la respuesta correcta incluya una palabra clave, que pueda servir como indicio para detectarla.

1. Emparejamiento: en este tipo de ítems se presenta un enunciado y dos columnas, una de ellas representa a los estímulos y la otra a las respuestas. La tarea de la persona respondiente consiste el emparejar, usualmente conectando con una línea, cada uno de los estímulos, con la respuesta correcta, sobre la base de la comparación postulada en el enunciado. Respecto a su construcción es recomendable:

• Especificar claramente cual es la base del emparejamiento que la  persona debe usar.
• Mantenerse la homogeneidad en el tipo de material presentado.

• Las opciones de los estímulos deben identificarse con números y las de las respuestas con letras.
• Deben tenerse entre 6 y 15 estímulos, con 2 o 3 respuestas extras.

• El ítem debe aparecer completo en una página, no debe cortarse.

El uso de este tipo de ítems, si bien suele ser frecuente en las pruebas estandarizadas, no constituye la única manera de evaluar el rendimiento académico. Helmke y Van Akem (1995) sostienen que se realiza una mejor evaluación si se combinan varios tipos de evaluaciones, para tener una  calificación final que refleje el logro de los estudiantes. A nivel de aula, se puede hacer una evaluación más completa del logro del estudiante si se emplean otros métodos (Díaz-Barriga y Hernández, 2002; Good y Brophy, 1997):

...