Algunas Consideraciones Sobre La Elaboración De Preguntas Para Las Pruebas Pedagógicas De lápiz Y Papel.

Algunas consideraciones sobre la elaboración de preguntas para las pruebas pedagógicas de lápiz y papel.

Actualmente la mayoría de los consorcios internacionales que hacen evaluación educativa comparada tales como TIMSS, PISA, LLECE, SALMEQ, etc., utilizan mayoritariamente en sus pruebas preguntas o ítems con formato de selección múltiple con una única respuesta correcta, especialmente por la facilidad de su aplicación y calificación. Sin embargo, es errado creer que resulta fácil también su elaboración, todo lo contrario.

Elaborar buenos ítems es una labor que exige mucha práctica, además de un conocimiento profundo del objeto de evaluación y de la población que se va a evaluar.

Para que cada ítem aporte su máximo potencial al propósito de la evaluación resulta necesario que sus elaboradores dominen el marco conceptual del instrumento, así como las especificaciones técnicas del mismo.

El proceso de diseño y aplicación de pruebas integra diferentes, a saber:

• Elaboración de su fundamentación conceptual.

• Construcción de la tabla de especificaciones de la prueba.

• Desarrollo de los ítems y de la prueba en su conjunto.

• Pilotaje.

• Aplicación.

• Análisis de ítems y de la prueba en su conjunto.

• Escala de calificación.

• Producción y divulgación de resultados.

Obviamente, luego de construir el marco teórico de la prueba, debe procederse a la elaboración de ítems, en cuyo proceso deben tenerse en cuenta las siguientes reglas

Reglas generales

• Verificar que el ítem corresponda con los propósitos de la evaluación, la estructura de la prueba y con las dimensiones disciplinares. Todas las preguntas de una prueba deben ser independientes entre sí. La información de un ítem no debe servir de pauta para contestar otro, ni la respuesta a un ítem debe depender de haber encontrado primero la de otra anterior.

• Evitar los ítems que pueden contestarse por sentido común y aquellos cuya respuesta dependa únicamente de recordar un término, un símbolo, un dato o la fecha en que ocurrió un evento.

• Evitar expresiones rebuscadas que puedan confundir. Se recomienda emplear un lenguaje directo, sencillo y comprensible.

• Los ítems no deben tener juicios de valor explícito o implícito.

Reglas sobre los enunciados

• Los enunciados deben ser afirmativos, en caso de ser necesaria la negación, se debe resaltar para llamar la atención hacia la formulación negativa. La doble negación afecta la comprensión (“No es cierto que no procedan los recursos”).

• Evitar enunciados demasiado extensos y poco atractivos ya que desmotivan la lectura, disminuyen el tiempo de respuesta y fatigan.

• Garantizar la coherencia interna del enunciado y de este con las opciones de respuesta.

Reglas sobre las opciones

• Las opciones de respuesta deben pertenecer al mismo campo semántico.

• Las opciones de un ítem no deben dar indicaciones sobre la clave por ofrecer un cierto contraste evidente de:

- longitud precisión / imprecisión

- uso común / técnico

- generalización / particularización

• No se deben repetir expresiones en las opciones de respuesta, si éstas se pueden incluir en el enunciado del ítem. Repetir la misma palabra del enunciado en cualquiera de las opciones lleva a que sea elegida como respuesta, sin serlo necesariamente.

• Debe evitarse en las opciones las expresiones “todas o ninguna de las anteriores”, en su lugar es necesario construir alternativas de respuestas plausibles para las personas que no tengan el dominio conceptual que exige el ítem.

• Realizar una revisión gramatical y ortográfica de cada uno de los ítems.

Fases del diseño de la prueba

Fundamentación conceptual

Esta es la fase en la que se aborda conceptualmente el objeto de la evaluación. En ella básicamente se da respuesta a las interrogantes siguientes:

• ¿Para qué la evaluación? (Su propósito)

• ¿Qué se evalúa? (Su objeto)

• ¿A quién se evalúa? (Características de la población objetivo)

• ¿A quién le será útil la evaluación y de que manera?(Usuarios de la evaluación y precisión de los beneficios de la misma)

Especificaciones de la prueba

Constituyen una descripción lo mas detallada posible de las características del instrumento. Suele utilizarse para hacer tal descripción una tabla de doble entrada: en la primera columna es común colocar una desagregación del objeto de evaluación en dimensiones (tópicos disciplinares) y en el resto de las columnas se suele escribir la delimitación de las especificidades técnicas del instrumento, tales como longitud (estructura de la prueba) y formato (especificidades psicométricas).

Al hacer el análisis de una prueba que satisfaga la “tabla de especificaciones” antes referida es posible describir, diagnosticar, el rendimiento de los alumnos que la realicen desde el punto de vista conceptual, procedimental y actitudinal. Puede incluso construirse un índice con cada una de sus dimensiones ( conceptual, procedimental y actitudinal) y precisar en cual de ellas los alumnos tienen mayores deficiencias.

Particular importancia tiene el poder constatar el grado de asimilación que han alcanzado los alumnos en la dimensión actitudinal, la cual sin dudas es un componente esencial de sus orientaciones valorativas.

La descripción de las tareas de evaluación a partir de las cuales será posible materializar (en ítems) el propósito de la evaluación constituye la operacionalización del objeto de evaluación.

Como para de las especificaciones psicométricas se debe clarificar el número de ítems que tendrá el instrumento en su totalidad.

Desarrollo de la prueba

Es esencial destacar que el propósito de esta fase es producir un instrumento de evaluación y no un agregado de ítems.

Después de elaborar los ítems, se ensambla el instrumento de acuerdo con las especificaciones psicométricas y se somete a una revisión final, generalmente por parte de expertos en evaluación y en el objeto de evaluación.

De manera que una prueba es un conjunto intencionalmente articulado de ítems a través de cuya aplicación se infiere el desempeño de quienes son evaluados en relación con el objeto de la evaluación.

Aplicación piloto

En esta fase el instrumento es aplicado a una muestra de la población objetivo para estimar indicadores estadísticos que permitan corroborar la calidad técnica

...