ALGUNOS MODELOS DE EVALUACION EDUCATIVA

ALGUNOS MODELOS DE EVALUACION EDUCATIVA María Hilda Soto1 I. DIFERENTES CONCEPCIONES Muchas son las definiciones que se han dado al concepto de evaluación. Tejada2 clasifica las definiciones de evaluación según cuatro aspectos: • Definiciones que contienen especificaciones o normas sobre los atributos que han de haber conseguido los alumnos después de un proceso de instrucción. Entre estas se pueden consignar las definiciones de Tyler (1950)3 que la define como el proceso que determina hasta que punto se han conseguido los objetivos educativos. Por su parte Lafourcade (1972)4 señala que es la etapa del proceso educacional que tiene por fin controlar de modo sistemático en qué medida se han logrado los resultados previstos en los objetivos que se hubiesen especificado con antelación. En la misma línea Mager (1975)5 la define como el acto de comparar una medida con un estándar y emitir un juicio basado en la comparación. • Definiciones que centran la evaluación en la determinación del mérito o valor: Schulman (1967)6 , proceso de emitir juicios de valor. En esta línea Scrivan (1967)7 , la concibe como el proceso por el que se determina el mérito o valor de alguna cosa. A su vez, para el Jointt Comitte (1988)8 , la evaluación es el enjuiciamiento sistemático de la valía o mérito de un objeto. Alvira (1991)9 , señala que consiste en emitir juicios de valor, adjudicar valor o mérito a un programa/intervención, basándose en información empírica recogida sistemática y rigurosamente. 1 Profesora de la Universidad de La Serena. 2 Tejada, José (1993) Evaluación de Programas. Departamento de Pedagogía Aplicada. Universidad Autónoma de Barcelona. 3 Tyler, R.W. (1950) En Stuflebeam D.L. y Shirkfield. Evaluación sistemática. Paidos. MEC, Barcelona (1995). 4 Lafourcade, Pedro (1972) Evaluación de los aprendizajes. El Kapelusz. Buenos Aires. 5 Mager (1975) En Tejada, J. Evaluación de aprendizajes. 6 Schulman (1967) En Tejada, J. Evaluación de aprendizajes. Editorial Kapelusz. Buenos Aires. (1993) 7 Scriven, M.S. (1967) En Stufflebeam, D.L. y Shinkfield A. J. Evaluación sistemática. Paidos-MEC. Barcelona. 8 Joint Comitee (1981) Standars for Evaluation of Educational Programs, Projects and Material. En Stufflebeam D.L. y Shinkfield Evaluación Sistemática. Paidos-MEC. Barcelona (1995). 9 Alvira. En Tejada, J. (1993) Evaluación de Programas. Departamento de Pedagogía Aplicada. Universidad Autónoma de Barcelona. 2 • Definiciones que afrontan la evaluación como el proceso que proporciona información para la toma de decisiones. Dentro de esta clasificación Stufflebeam (1987)10, indica que es el proceso de identificar, obtener y proporcionar información útil y descriptiva acerca del valor y el mérito de las metas, la planificación, la realización y el impacto de un objeto determinado, con el fin de servir de guía para la toma de decisiones y solucionar los problemas de responsabilidad y promover la comprensión de los fenómenos implicados. Fernández (1994)11, lo define como el hecho de emitir un juicio valorativo sobre una realidad educativa en función de unos datos y con el propósito de tomar decisiones al respecto. • Definiciones que intentan sintetizar y aglutinar los aspectos anteriores. Entre los autores que se adscriben a esta categoría está Prorris (1969)12, que la define como la comparación de ejecuciones o comportamientos de los alumnos con ciertas normas para determinar si se debe llevar a cabo, se continua o se concluye en el proceso de enseñanza. Por su parte, De la Orden (1982)13, establece que es el proceso de recolección y análisis de información relevante para descubrir cualquiera faceta de la realidad educativa y formular un juicio sobre su adecuación a un patrón o criterio, previamente establecido, como base para la toma de decisiones. En síntesis, Tejada (1993)14 señala que la evaluación es un proceso sistemático de recolección de información, no improvisado, que implica un juicio de valor y se orienta hacia la toma de decisiones. Aplicar el proceso de evaluación requiere considerar múltiples dimensiones y variables, su selección y su priorización. Este proceso implica planteamientos desde los epistemológicos, ideológicos, hasta lo técnico. II. ALGUNOS MODELOS DE EVALUACIÓN EDUCATIVA La evaluación como actividad fundamental de servicios profesionales ha sido tema de interés de diversos estudios que han propuesto modelos y métodos para realizar procesos que ayuden a una mejor aplicación con resultados más significativos, Siguiendo los estudios trabajados por Stufflebeam (1995)15 se presentan algunos autores de interés para evidenciar la evolución del proceso evaluador. 2.1. Modelo de logro de metas Ralph W. Tyler16 quien desarrolló el primer método sistemático de evaluación (1942), considera que la evaluación debe determinar la congruencia entre trabajo y objetivos. 10 Stufflebeam, D. L. (1987) En Stufflebeam, D.L. y Shinkfield Evaluación sistemática. Paidos-MEC. Barcelona. (1995). 11 Fernández Sierra, Juan (1994) Evaluación del currículum perspectivas curriculares y enfoques en su evaluación. En J.F. Angulo y Blanco N. (coord.) Teoría y desarrollo del currículum. V. Málaga, Aljibe. 12 Provis (1969) En J.F. Angulo, Blanco V. (coord.) Teoría y desarrollo del currículo, Malaga, Aljibe. 13 De la Orden (1982) En Tejada J. Evaluación de programas. Departamento de Pedagogía aplicada. Universidad Autónoma de Barcelona. 14 Tejada, J (1982) Evaluación de programas. Departamento de Pedagogía Aplicada, Universidad Autónoma de Barcelona. 15 Stufflebeam, D. L. y Shinkfield, A. J. (1995) Evaluación sistemática Paidos-MEC, Barcelona. 16 Tyler, R. W. (1942) En Stufflebeam D. L., y Shinkfield A.J. Evaluación sistemática, Paidos-MEC, Barcelona. 3 Tyler puso las bases de un estilo evaluativo orientado hacia los objetivos. Según este autor, las decisiones acerca de los programas deben estar basadas en la coincidencia entre los objetivos del programa y sus resultados reales. Según Tyler el procedimiento de diseño evaluativo ha de considerar lo siguiente: • Establecer las metas u objetivos. • Ordenar los objetivos en amplias clasificaciones. • Definir los objetivos en términos de comportamiento. • Establecer situaciones y condiciones según las cuales puede ser demostrada la consecución de los objetivos. • Explicar los propósitos de la estrategia al personal más importante en las situaciones más adecuadas. • Escoger o desarrollar las apropiadas medidas técnicas. • Recopilar los datos de trabajo. • Comparar los datos con los objetivos de comportamiento. 2.2. El método científico de evaluación Edward Suchman17, considera que la evaluación debe tener la lógica del método científico y establece la necesidad de mejorar los programas con relación a su práctica. Suchman distingue entre evaluación e investigación evaluativa. La evaluación es el proceso de emitir juicios de valor y la investigación evaluativa consiste en los procedimientos de recopilación y análisis de datos que aumentan la posibilidad de demostrar, más que de asegurar, el valor de alguna actividad social. Cuando se refiere al proceso evaluativo propone un método científico. Según Suchman la investigación evaluativa es investigación aplicada, y su propósito es determinar hasta que punto un programa específico ha consignado el resultado deseado. Una precondición de cualquier estudio evaluativo según Suchman es la presencia de alguna actividad cuyos objetivos tengan algún tipo de valor. Suchman consideraba que el proceso evaluativo parte de, y regresa a, la formación de valores. 17 Schulman G. (1995) En Stufflebeam D. L., y Shinkfield, A.J. Evaluación sistemática Paidos-MEC, Barcelona. 4 FORMACION DEL VALOR Valorar el efecto de esta operación Elección de la meta (objetivos) (evaluación del programa) Operar con las actividades Valoración de la meta Que conduzcan a la meta (funcionamiento del programa) (criterios) Identificación de las actividades que Conduzcan a la meta (planificación del Programa) 2.3. La evaluación orientada hacia el perfeccionamiento Según Stufflebeam (1995:153)18 la evaluación es el proceso de identificar, obtener y proporcionar información útil y descripción acerca del valor y del mérito de las metas, la planificación, la realización y el impacto de un objeto determinado, con el fin de servir de guía para la toma de decisiones, solucionar los problemas de responsabilidad y promover la comprensión de los fenómenos implicados. Stufflebeam propone el modelo CIPP que considera cuatro tipos de evaluación de contexto, de entrada, del proceso y de producto. • La evaluación del contexto considera la definición del contexto institucional, la identificación de la población objeto del estudio y valora sus necesidades, identifica las oportunidades de satisfacer las necesidades, diagnostica los problemas que subyacen en las necesidades y juzga si lo objetivos propuestos son lo suficientemente coherentes con las necesidades valoradas. • La evaluación de entrada tiene como objetivo identificar y valorar la capacidad del sistema, las estrategias de programa alternativas, la planificación de procedimientos para llevar a cabo las estrategias, los presupuestos y los programas. • La evaluación del proceso considera como objetivo identificar y pronosticar, durante el proceso, los defectos de la planificación, del procedimiento o de su realización, proporcionar información para las decisiones programadas y describir y juzgar las actividades y aspectos del procedimiento. • La evaluación del producto considera como objetivo recopilar descripciones y juicios acerca de los resultados y relaciones con los objetivos y la información proporcionada por el contexto, por la entrada de datos y por el proceso, e interpretar su valor y su mérito (Stufflebeam, 1995)19. 2.4. El modelo de evaluación respondente Robert Stake en 196720 presentó su modelo de la Figura 1 (countenance) para la evaluación educacional. El modelo incluye un examen de los antecedentes, del proceso, de las normas y de los juicios, además de los resultados. En 1975 presentó su concepción ampliada con el nombre de “evaluación respondente”. 18 Stufflebeam, D.L. y Shinkfield, A.J. (1995) Evaluación sistemática. Paidos-MEC, Barcelona. 19 Ibid. 20 Stake, R. (1967) En Stufflebeam, D.L. y Shinkfield A.J. Evaluación sistemática. Paidos-MEC, Barcelona, 1995. 5 La evaluación respondente asume que las intenciones pueden cambiar y pide una comunicación continua entre el evaluador y la audiencia con el fin de descubrir, investigar y solucionar los problemas. Stake es el líder de una nueva escuela de evaluación que exige un método pluralista, flexible, interactivo, holístico, subjetivo y orientado hacia el servicio. El método de Stake considera los principales tipos de información que debe ser recopilada para realizar cualquier evaluación de programas. Se requieren recoger, analizar y presentar información referente a antecedentes, transacciones y resultados. Los antecedentes se refieren a la información más relevante sobre el historial. Las transacciones de la enseñanza, incluye los innumerables encuentros de los estudiantes con otras personas, como los profesores, los padres, otros estudiantes. Los resultados se refieren a lo que se consigue a través de un programa (capacidades, logros, actitudes, aspiraciones, incluye también el impacto que ocurre en todos los participantes). Matriz de descripción Matriz de juicio Figura 1 Esquema de Stake para la recopilación de datos en la evaluación de un programa educativo (Stufflebeam, 1995:244)21 Stake utiliza los antecedentes, las transacciones y los resultados como conceptos centrales para estructurar su concepción de lo que debe hacerse al describir y juzgar un programa. Stake considera la estructura funcional de la evaluación correspondiente similar a la figura de un reloj. Figura 2 (Stufflebeam, 1995:262)22. 12 Hablar con los clientes, el personal del programa y las audiencias 11 1 Reunir los informes Identificar el alcance formales si los hay del programa. 10 2 Esquema para el uso de Panorama de las actividades 21 Stufflebeam op cit. 22 Ibid. Intenciones (lo que pretende la gente) Observaciones (lo que percibe la gente) Normas (lo que la gente generalmente aprueba) Juicios (lo que la gente cree que deber ser el programa principal) Base Lógica Antecedentes Transacciones Resultados 6 la audiencia del programa. 9 3 Validación confirmación, Describir los propósitos e búsqueda de intereses. 8 4 Desarrollar temas, preparar Conceptualizar las cuestiones descripciones y estudiar y problemas. casos concretos 7 5 Observar los antecedentes las Identificar los datos transacciones y los necesarios para investigar resultados propuestos los problemas 6 Seleccionar observadores jueces e instrumentos, si los hay Figura 2: Modelo de Stake 2.5. La evaluación iluminativa La metodología de la evaluación iluminativa contempla el programa como un todo, utiliza más la descripción que los números. Es un estudio intensivo del programa como totalidad su base lógica, su evolución, sus operaciones, sus logros y sus dificultades. La evaluación iluminativa tiene en cuenta el amplio contexto en el que funcionan los programas educativos, su principal preocupación es la descripción y la interpretación, más que la valoración y la predicción. Las metas de la evaluación iluminativa son: (Stufflebeam, 1995:320)23 • Estudiar el programa innovador, cómo opera, cómo influye en las distintas situaciones escolares a las que aplica, sus ventajas y desventajas, y cómo se ven afectadas las tareas intelectuales y las experiencias académicas de los estudiantes. • Describir y documentar que significa participar en el esquema, ya sea como profesor o como estudiante. • Discernir y comentar las características más significativas de las innovación, las concomitantes recurrentes y los procesos críticos. La evaluación iluminativa es una estrategia de investigación general. Pretende ser adaptable para descubrir las dimensiones, metas y técnicas de evaluación y ecléctica para proporcionar al evaluador una serie de tácticas investigativas. Ningún método se utiliza exclusiva o aisladamente; se combinan distintas técnicas para trabajar un problema común. La preocupación del evaluador es familiarizarse con la realidad cotidiana del marco en el que está investigando, no intenta manipular, controlar o eliminar las variables situacionales, sino abarcar toda la complejidad de la escena. La evaluación iluminativa considera tres etapas: la observación, la investigación y la explicación. Dentro de esta estructura de tres etapas, se escogen informaciones utilizando datos recopilados de cuatro áreas: la observación, las entrevistas, los cuestionarios y los test, y las fuentes documentales y sobre antecedentes. 2.6. Método "V" de evaluación-planeación 23 Ibid. 7 Otro modelo de J. González24 hace referencia al nivel institucional y de programa los cuales involucran todo el proceso educativo. Este modelo, también llamado el Método “V” de evaluación-planeación, es a la vez una concepción y un procedimiento para atender problemáticas complejas en devenir, como es el caso de los procesos educativos en las instituciones de educación superior. La concepción que subyace al Método V de evaluación-planeación es que los procesos educativos son altamente complejos por la diversidad de elementos que los integran, que están organizados en múltiples niveles, dimensiones y asuntos que, interactúan e inciden entre sí de manera endógena y con otra serie de factores exógenos, que están en devenir y son susceptibles tanto de ser transformados como de transformar. El análisis estructural integrativo considera tres ejes: superestructura o intencionalidad, estructura y organización, e infraestructura y condiciones de trabajo. El análisis de la superestructura e intencionalidad se delimita de los otros dos, por el nivel de abstracción o categorización de los elementos que lo conforman. En él se consideran los planteamientos de cómo se concibe, cómo se identifica la institución en términos de su misión (deber ser) y visión (apreciaciones), compromisos y responsabilidades. La intención particular de este nivel es definir, delimitar y ubicar el referente institucional, pues contra este referente se confrontan los resultados y se podrán detectar los elementos factibles de superación, de fortalecimiento y de consolidación. Los elementos de la superestructura son: marco institucional, resultados del programa y concepción del proceso enseñanza aprendizaje. Los referentes de la supestructura son: disciplinarios, profesionales, institucionales y formación integral conscientes. Los criterios son: adecuación, coherencia, congruencia y consistencia, pertinencia. La estructura, organización e interacción implica el análisis de la forma como se organiza el proceso de enseñanza aprendizaje, considerando a los sujetos (estudiantes y profesores); la relación entre ellos (plan de estudios, líneas y proyectos de investigación), y lo que gira alrededor en términos de normatividad y resultados del proceso educativo. El ámbito de la infraestructura la conforman los recursos materiales y de equipo mayor, mobiliarios (aulas, laboratorios, talleres u otros) de financiamiento y servicio (acervo bibliográfico, computo u otros) propios de los programas académicos de pre y post grado. Los procedimientos de evaluación son: análisis de documentos, observación, bancos de información aplicación de instrumentos (pautas de cotejo, escalas de apreciación, test, cuestionarios, encuestas) entrevistas personales y grupales (de información, de profundización), inventarios y otros. 2.7. Modelo de evaluación como proceso paralelo a la planificación Según Gairín25 el proceso de evaluación supone considerar el conjunto de problemáticas sustantivas y metodológicas que la acompañan, entre ellas: • Forma parte del diseño formativo. • Supone una actitud sistemática de reflexión. • Exige la búsqueda de la intersubjetividad colectiva. • Se relaciona con los procesos de innovación a investigación. • No puede eludir el conflicto. 24 González, González, Jorge (2000) “Análisis estructural Integrativo de Organización Universitarias” presentado en el 2° Taller Latinoamericano de Evaluadores Externos México, 2000 25 Gairín, Joaquín (1993). Evaluación de programas y cursos. Edit. Diagrama, Madrid. 8 La evaluación es un proceso que ha de estar inserto en la planificación y desarrollo del proceso educativo. La evaluación está unida a un proceso actitudinal mediante el cual se aplica un espíritu indagativo que, a través de la reflexión constante, procura mantener la calidad de las acciones. La evaluación implica procesos estructurados y sistemáticos, para ayudar a superar la relatividad que acompaña a la selección y aplicación de los instrumentos de medida y de valoración dado el carácter ideológico y subjetivo con que a veces se analiza la evaluación. Superar esta subjetividad sólo puede lograrse a través de la intersubjetividad colectiva, ajustando los juicios a criterios y referentes consumados o contrastando la información obtenida por diferentes fuentes o a partir de diferentes mediciones. La evaluación, la innovación y la investigación son procesos estrechamente interrelacionados. La evaluación requiere una metódica sistemática y rigurosa que la relaciona con la investigación, y los resultados de la evaluación permiten planificar, orientar y consolidar procesos de innovación. En el contexto de una evaluación de curso Gairín propone la evaluación como control de resultados y procesos considerando: objetivos del programa su desarrollo y resultados. LA EVALUACIÓN COMO PROCESO PARALELO A LA PLANIFICACIÓN Definición del curso Evaluación del contexto. Evaluación de necesidad. Evaluación de la viabilidad. Diseño Evaluación calidad diseño. Evaluación de evaluabilidad. Desarrollo Evaluación de la realización. Evaluación de procesos. Evaluación de resultados. Evaluación de la gestión. Resultados Evaluación de productos. Evaluación de resultados. Evaluación del impacto. Fuera de Programa Evaluación de efectos de la evaluación. Evaluación de la evaluación. Los modelos de evaluación han de considerar algunos principios como son: planificación, flexibilidad, exclusividad, particularidad, complejidad, multidimensionalidad, exhaustividad, factibilidad, y que sea participativo, útil, coherente, técnicamente aceptable. Según el Joint Comitte on Standars for Educational Evaluation, las características básicas de la evaluación son: utilidad, viabilidad, legitimidad y exactitud. Gairín agrega dos principios que dotan de sentido y realismo al proceso evaluativo y son el rigor y la utilidad. En síntesis se puede señalar que la evaluación exige sistematicidad, que puede conseguirse a través de un diseño que recoja las decisiones adoptadas respecto al objeto, protagonistas, instrumentalización, responsable y temporalización. Además, tanto a las actuaciones a realizar (construcción de instrumentos, contactos con los protagonistas, procesos de aplicación...), como los recursos a utilizar (humanos, materiales o funcionales) y otros (concreción de evaluadores, delimitación operativa de presupuesto, etc.). El diseño establecido ha de considerarse indicativo y abierto, al permitir combinar presupuestos estructurados y emergentes, que posibilitan su enriquecimiento en función de los cambios que el proceso de ejecución establezca. 9 El proceso de evaluación ha de ser multidimensional en relación con a) contenidos diversos (materiales, comportamientos, estrategias) b) dimensiones variadas (actitudes y conocimientos aspectos formales y de contenido respecto a los materiales, metodología, uso del tiempo y del espacio) c) con los instrumentos, en función de la naturaleza de la información requerida y de un carácter cuantitativo o cualitativo. En la Guía de Autoevaluación de la Asociación Universitaria Iberoamericana de Postgrado (1995)26 se considera la evaluación como un componente fundamental de cualquier esfuerzo que se haga para producir algo de valor. La evaluación se hace necesaria cuando se requiere: • validar y hace explícita unos valores, • examinar planes, acciones y logros, • comprobar o interpretar los logros de un programa, • mejorar un programa o un curso de acción. La evaluación de un programa académico es el proceso a través del cual se recoge y se interpreta, formal y sistemáticamente, información pertinente sobre un programa educativo, se producen juicios de valor a partir de esa información y se toman decisiones conducentes a mantener, proyectar, reformar o eliminar elementos del programa a su totalidad. Un proceso de evaluación de un programa académico presupone • definir los propósitos de la evaluación, • delimitar el objeto de evaluación, • delimitar sus variables, elementos, indicadores, y criterios, para establecer el nivel y calidad del programa en su funcionamiento, • recolectar, analizar e interpretar información pertinente, • valorar la calidad del programa en su totalidad o en alguna de sus variables y elementos, • analizar los niveles de logro del programa evaluado, • identificar e incorporar los ajustes o cambios pertinentes, • establecer procesos permanentes de seguimiento y control. 26 En: Casanova, M.A. (1995). Manual de evaluación educativa. Editorial La Muralla, S.A. Madrid. 10 BIBLIOGRAFIA • Araya, Roberto (1997) Construcción visual de conocimientos con fuegos cooperativos. Impresos Universitaria S.A. Santiago. • Casanova, M. Antonia (1995) Manual de evaluación educativa. Edit. La Muralla, S.A. Madrid. • MINEDUC (1999). La evaluación del aprendizaje en el contexto de los nuevos planes y programas de estudio: una síntesis. Jornada Nacional de Supervisión. Punta de Tralca, marzo, 1999. • Pont B., Esteban (1995). Instrumentos para la evaluación curricular. En Dossier “Planificación y evaluación curricular”. Magister en Ciencias de la Educación. Universidad Autónoma de Barcelona. • Santos Guerra, M. A. (1998). Evaluar es comprender. Magisterio del Río de la Plata. República Argentina, 1998.

...