METODOLOGÍA DE ANÁLISIS DE UN CUESTIONARIO PARA EVALUAR EL APRENDIZAJE DE ALUMNOS DE UN CURSO MULTITUDINARIO DE CÁLCULO

Leonor Colombo de Cudmani¹ y Patricia Villalonga de García²
lcudmani@herrera.unt.edu.ar y pvillalonga@fbqf.unt.edu.ar

Universidad Nacional de Tucumán
Tucumán-Argentina

Este estudio es parte de una investigación más amplia. El propósito de este artículo fue idear un procedimiento de análisis, de tipo formal, para estudiar las respuestas de las preguntas (abiertas, cerradas y semiabiertas) de un cuestionario. El mismo fue aplicado a una muestra aleatoria de 155 estudiantes del año 2001, con el fin de diagnosticar el sistema de evaluación del aprendizaje de Matemática 1, asignatura de primer año de la facultad argentina de ciencias. El diagnóstico se basó en un modelo de evaluación alternativa del aprendizaje, fundado en criterios innovadores que surgen de principios de teorías cognitivas de aprendizaje y de los estándares de evaluación del National Council of Teachers of Mathematics. Para estudiar la información de las preguntas cerradas se emplearon técnicas de estadística descriptiva e inferencial no paramétrica. El análisis de contenido de las preguntas abiertas se realizó con un procedimiento ideado en base a principios de Samaja y de Taylor y Bogdan. El estudio del único ítem del cuestionario de respuesta semiabierta se realizó combinando las técnicas de análisis de preguntas de respuestas cerradas y abiertas. Lo más relevante de esta propuesta es mostrar que se puede formalizar el objeto modelo de cualquier investigación empírica (cuantitativa o cualitativa) siempre que el mismo sea construido en base a un sistema de matrices de datos.

Introducción

La asignatura Matemática 1, de carácter instrumental, tiene un currículo eminentemente técnico que contiene los principios básicos del Cálculo diferencial e integral en una variable, sostenes de otras asignaturas de las especialidades dictadas en la Facultad de Bioquímica, Química y Farmacia de la Universidad Nacional de Tucumán-Argentina. Se inicia, en el primer cuatrimestre de primer año, aproximadamente con mil alumnos, habiendo una relación docente alumno 1/120 en clases prácticas y 1/500 en clases teóricas.

Como se mencionó, esta investigación es parte de una más extensa cuyo propósito es diagnosticar el sistema de evaluación del aprendizaje de la asignatura. Para adoptar un marco teórico de referencia para la misma, en un trabajo anterior, se construyó un modelo de evaluación del aprendizaje basado en teorías cognitivas de aprendizaje y en principios de los estándares de evaluación del National Council of Teachers of Mathematics (N.C.T.M.) (N.C.T.M., 1989; 1995; 2000; Moreira (a), 1997; Moreira (b), 1997; Fernández de Alaiza, 2001; Villalonga de García, 2003; 2006). Dicho modelo contiene una serie de criterios generales orientadores para la evaluación del aprendizaje de la matemática del cual se derivaron los indicadores para el diagnóstico.

A fin de disponer de datos para validar el diagnóstico del sistema evaluativo se efectuaron encuestas a docentes de la asignatura, a alumnos de los años 2001 y 2002 y se analizaron los items de las pruebas de papel y lápiz de las evaluaciones sumativas, teniendo como referencia el marco teórico mencionado (Villalonga de García, 2003).

Este trabajo se centra en la presentación de una metodología para analizar las respuestas a los distintos tipos de preguntas (abiertas, cerradas y semiabiertas) de la encuesta a alumnos del año 2001. Para exponer los tipos de análisis realizados, este artículo muestra para los diferentes casos un ejemplo. A las preguntas de respuesta cerrada, se las estudió empleando técnicas de estadística inferencial no paramétrica y a las de respuesta abierta, con una técnica ideada en base a principios de Samaja y de Taylor y Bogdan. Desde la perspectiva de la lógica dialéctica se orienta la construcción del objeto modelo de una investigación educativa basado en sistemas de matrices de datos como soporte básico del diseño investigativo.

La intención de este estudio es mostrar que puede formalizarse el objeto modelo de cualquier investigación empírica (cuantitativa o cualitativa), con lo que se estaría brindando un procedimiento que permitiría formalizar, también, las técnicas cualitativas, consideradas por muchos investigadores del área de la matemática y de la estadística como carentes de fundamentos científicos.

4. Marco teórico metodológico

4.1 El modelo de evaluación alternativa

El marco teórico se construyó integrando aportes de las teorías Psicogenética de Piaget, del Aprendizaje Significativo de Ausubel, el Enfoque Histórico Cultural con la Teoría de la Actividad y la Teoría de Formación por Etapas de las Acciones Mentales de Vigotsky, Leontiev y Galperin, entre otros, y, de los estándares de evaluación del National Council of Teachers of Mathematics (N.C.T.M., 1989; 1995; 2000; Czar M. y Pizarro de Raya, 1993; Moreira (a), 1997; Moreira (b), 1997; Fernández de Alaíza García, 2001).

Basándose en la concepción de aprendizaje promovida por estas teorías, la evaluación del aprendizaje de la matemática debiera ser una estrategia constitutiva del proceso de enseñanza y aprendizaje caracterizada por (Villalonga de García, 2003):

1. Enriquecer el aprendizaje de la matemática. Este objetivo se alcanzará realizando evaluación del aprendizaje continua, de carácter integral, que se caracterice por retroalimentar el proceso de enseñanza y aprendizaje, informando al docente acerca de los cambios que deben efectuarse en la enseñanza y al estudiante de los progresos logrados en el aprendizaje. Este propósito se conseguirá si la evaluación: a) enfatiza objetivos y contenidos relevantes, es decir los destacados por el currículo y por los estándares de evaluación del N.C.T.M., atendiendo a la especificidad de saber matemático y b) formando a los alumnos como aprendices independientes mediante el empleo de técnicas autoevaluativas.

2. Ser un proceso abierto. Es decir, todos los implicados deben tener información sobre él, conocer los criterios de evaluación e interpretar los resultados de la misma.

3. Planificar los instrumentos de evaluación respetando tres momentos: diagnóstico, formativo y sumativo.

4. Ser un instrumento para desarrollar el pensamiento del alumno, promover el espíritu crítico, la creatividad y mejorar aspectos de su personalidad

5. Indagar sobre contenidos integrados: conceptos, procedimientos y actitudes.

6. Ser un proceso coherente entre lo enseñado y lo evaluado.

7. Promover la igualdad de oportunidades. Lo que implica: Brindar un trato diferenciado a cada estudiante según sus características, potencialidades y limitaciones, ofreciéndole oportunidades de evaluar e incrementar su potencia matemática³ (N.C.T.M., 1995).

8. Promover inferencias válidas acerca del aprendizaje de la matemática. Este tipo de inferencias se logran a partir del empleo de múltiples fuentes de información: observación, entrevistas, situaciones problemáticas abiertas y cerradas, diarios, pruebas de papel y lápiz, proyectos, portafolios etc.

9. Ser una herramienta valiosa para la toma de decisiones para la enseñanza y el aprendizaje. Las decisiones serán efectivas si: provienen de múltiples fuentes de información y las actividades de evaluación son coherentes con la experiencia, conocimientos previos y necesidades de los estudiantes.

Villalonga de García (2006), enuncia además de estos criterios generales, una serie de criterios específicos para evaluar los contenidos de la disciplina matemática. Los mismos se refieren a evaluación de conceptos, procedimientos, resolución de problemas matemáticos, comunicación matemática y actitudes hacia la matemática.

4.2 El objeto modelo o sistema de matrices de datos

Samaja (2004) plantea que en ciencias sociales todo objeto real de investigación posee múltiples atributos, relaciones y contextos, por lo que será necesario que el indagador, en base a modelos preexistentes en el acto investigativo -consecuencias de la historia personal, intuiciones, experiencia y circunstancias (precomprensión modelizante (Ladrière, 1978))- efectúe una reducción de su complejidad explicitando qué aspectos relevantes tendrá en cuenta de sus componentes y qué procedimientos concretos usará para llevar a cabo su descripción. Es decir, debe construir un objeto modelo mediante el cual describe el objeto de estudio basándose en un sistema propio de categorías. Si el grado de formalización del objeto de estudio es grande, mayores serán en el modelo las posibilidades operatorias y de esquematización para la acción pero, de igual forma, existirán mayores riesgos de excluir aspectos complejos de la realidad.

En esta etapa de la tarea científica la acción y la modelización interactúan de manera que una determina sucesivamente a la otra. Aquí el concepto de operación o procedimiento de relación entre conceptos es fundamental como lenguaje traductor apropiado de ser aplicado tanto en las hipótesis como en los datos experimentales. Samaja caracteriza a las operaciones como: “a. acciones de transformación, b. de naturaleza formal, c. que pueden ser tematizadas (y ser incorporadas en operaciones de nivel más elevado), c. son generalizables; y d. no se dan aisladamente sino que están inscriptas en redes operatorias” (Samaja, 2003:158).

Samaja (2004) considera cuatro operaciones básicas propias de la tarea científica: 1) El procedimiento de selección de las unidades de análisis (Entificación). 2) El procedimiento de identificación de variables y de sus valores (Categorización). 3) Los procedimientos que se ponen en juego con las dimensiones de las variables para llegar a los indicadores (Operacionalización). 4) Procesamiento de las observaciones, que vendrá condicionado por las operaciones anteriores. El mismo, podrá realizarse centrado en las variables, en las unidades de análisis o en los valores (Procesamiento) (Samaja, 2003).

Desde este enfoque se considera al dato de cualquier investigación empírica, como una estructura compleja de cuatro componentes: Unidad de análisis, Variables, Valores e Indicadores, la que se denomina matriz de datos (Samaja, 2003). Como puede notarse, respecto a la orientación clásica de la metodología de la investigación, basada en el análisis de variables, seguida por Galtung (1978), Samaja agrega a la estructura del dato científico la figura del indicador. El indicador es caracterizado por el autor de la siguiente manera: “todo dato es el resultado de haber obtenido suficientes elementos de juicio como para poder pronunciar una “sentencia” que ubica una cierta unidad de análisis en un valor de la variable” (Samaja, 2004: 16). Es decir, el indicador es el procedimiento aplicado a cada dimensión relevante de la variable para efectuar su medición o valoración. Tales procedimientos incluyen desde el empleo de un indicio perceptivo simple, hasta la construcción de escalas o números índices que combinan muchos ítems o dimensiones de una variable compleja.

Para construir el objeto modelo se intenta descomponer un objeto complejo -como es el objeto de estudio en el área educativa- en sus diversos elementos con el fin de poder analizarlos. El concepto de sistema es lo suficientemente amplio como para tener en cuenta las variaciones relativas en las distintas dimensiones de estudio. Así, a través del análisis del estado de un sistema y de la evaluación de sus elementos, será posible compararlo con un estado subsiguiente.

La noción de sistema puede asociarse con el esquema de matriz de datos e identificarse con un sistema de matrices de datos. En este sistema cada matriz de datos puede constituirse en un elemento de un sistema pero simultáneamente, en un nivel de integración inferior, ella misma puede ser un sistema siendo sus elementos los componentes del mismo. El objeto modelo de una investigación constituye un sistema de matrices de datos.

Para emplear este lenguaje será necesario construir el objeto modelo basándose en un sistema propio de variables relevantes para la indagación. El conjunto de variables que se escogen para describir el objeto real de estudio se designa espacio de atributos. Lo que se denominó objeto modelo, queda delimitado por los distintos tipos de unidades de análisis escogidas para la investigación, mediante la aplicación de un espacio de atributos propio de cada tipo de unidad de análisis (Samaja, 2004).

4.3 Taylor y Bogdan: El trabajo con los datos

Taylor y Bogdan describen un modo de análisis de datos descriptivos recogidos mediante métodos de investigación cualitativa (Taylor y Bogdan, 1987).

El análisis de este tipo de datos implica las siguientes etapas:

1. La primera etapa es una fase de descubrimiento progresivo en la que se identifican temas y desarrollan conceptos y proposiciones.

2. La segunda etapa se realiza cuando ya se recogieron los datos, incluye la codificación de datos y el refinamiento de la comprensión de tema investigado.

3. La última etapa incluye la tarea de comprender los datos en el contexto en que fueron recogidos.

En la etapa de descubrimiento el autor sugiere orientarse de la siguiente manera (Taylor y Bogdan, 1987:160-166)

1. Lea repetidamente los datos

2. Siga pistas de temas, intuiciones, interpretaciones e ideas.

3. Busque temas emergentes.

4. Elabore tipologías.

5. Desarrolle conceptos y proposiciones teóricas.

6. Lea material bibliográfico que incluya otros estudios que se aborden con metodología cualitativa para ayudarse a interpretar los datos.

7. Desarrolle una guía de la historia de su trabajo que le permita idear una sentencia que describa su trabajo en términos generales. Esta guía es una hebra que une e integra los principales temas de los datos.

En la etapa de codificación el autor sugiere (Taylor y Bogdan, 1987:167-170):

1. Desarrolle categorías de codificación.

2. Codifique todos los datos.

3. Separe datos pertenecientes a las diversas categorías de codificación.

4. Vea qué datos le han sobrado. Trate de ajustarlos a las categorías de codificación existentes, en caso contrario observe la posibilidad de plantear nuevas categorías.

5. Refine su análisis, modifique las interpretaciones para explicar todos los datos. Analice los casos negativos para profundizar la comprensión de los sujetos de estudio.

El lector puede recurrir a la bibliografía para aclarar la síntesis mostrada en este parágrafo y ampliar acerca de la restante etapa.

5. Metodología

Los criterios del modelo de evaluación alternativa, bases para la investigación, llevaron a enunciar la siguiente hipótesis sustantiva: “La evaluación del aprendizaje de Matemática 1, se realiza con una concepción reduccionista y desintegrada de los procesos de enseñanza y aprendizaje”.

La referencia efectuada en esta hipótesis respecto a la concepción de evaluación del aprendizaje subyacente en la práctica docente debe interpretarse de la siguiente manera. En primer lugar, significa que la evaluación se considera separada del proceso y equivalente a examen, medición o acreditación. Por otra parte, se limita sólo al aspecto cognitivo del sistema de contenidos de enseñanza (González Pérez, 2000).

Para hacer viable la investigación se tuvieron presentes tres factores de peso: la baja relación docente alumnos, estudiantes con excesivos compromisos horarios de los cuales podía disponerse muy poco, y la escasez de tiempo para concretarla. Se pensó que de acuerdo a las restricciones del contexto la manera más segura de recoger mayor cantidad de información sería mediante las siguientes fuentes: el análisis de los ítems de todas pruebas de papel y lápiz de evaluación sumativa (exámenes parciales y finales) del año 2001, una encuesta a todo el personal docente de la asignatura y encuestas realizadas a alumnos del año 2001, objeto de estudio de este trabajo, y del año 2002 (Villalonga de García, 2003).

5.1. Encuesta efectuada a alumnos del año 2001

La encuesta fue respondida por todos los alumnos que habían asistido a una clase obligatoria en la que finalizaban el cursado de Matemática 2 (asignatura del segundo cuatrimestre de primer año, correlativa de Matemática 1). Se seleccionaron los protocolos correspondientes a una muestra aleatoria representativa de 155 alumnos, que habían sido evaluados en Matemática 1 hasta la fecha en que se recogió la muestra.

El instrumento constituido por once preguntas, incluyó preguntas de respuesta abierta, cerrada (con una o varias alternativas de elección) y una pregunta semiabierta. A fin de indagar, desde la perspectiva de los alumnos, características propias del proceso evaluativo de la asignatura, la elaboración del cuestionario se basó en los principios del modelo de evaluación alternativa, en características del contexto de enseñanza y en base a la experiencia docente de las investigadoras.

La encuesta se realizó con el objetivo de evaluar opiniones acerca de: a) Metodología de enseñanza (preg. 10) .b) Exámenes (preg.1, 8 y 9). c) Causas de fracasos (preg. 2). d) Estrategias empleadas por los estudiantes para aprender y para superarse (preg. 3, 4, 5 y 6). e) Propuestas de los alumnos para innovar el sistema evaluativo de la asignatura (preg. 7). f) Concepción de evaluación de los alumnos (preg. 11).

Se realizó una encuesta piloto aplicada a una muestra de 20 alumnos. Teniendo en cuenta los resultados de la misma, se reestructuraron las preguntas del cuestionario, conformando el contestado por los alumnos.

El estudio de la validez de contenido de la encuesta fue efectuado por Villalonga de García (2003) empleando técnicas de estadística inferencial no paramétrica.

5.2. Técnica que permitió organizar y analizar los datos

Villalonga de García (2003) basándose en Taylor y Bogdan (1987) ideó la técnica que se describe seguidamente para analizar la información obtenida de todas las preguntas de la encuesta:

1. Se consideró como universo al conjunto de respuestas dadas a la encuesta, y como unidad de análisis, a la respuesta dada a un ítem determinado del cuestionario.

2. Se realizó lectura y relectura de las respuestas efectuadas a todas las preguntas del cuestionario, para obtener un conocimiento profundo de los datos, con el objeto de definir todas las dimensiones de análisis.

3. Se efectuó un análisis comparativo sistemático de los registros que permitió delimitar las dimensiones que demarcaron el análisis. Se clasificaron las respuestas en temas o rubros mutuamente excluyentes. Estos rubros se denominaron dimensiones. En consecuencia, las dimensiones fueron enunciadas a partir de los objetivos del cuestionario o inductivamente desde de las principales tendencias que se vislumbraron de las respuestas dadas a las preguntas abiertas.

4. Análisis de los datos. De la lectura de la encuesta se seleccionó la información necesaria que delimitaría cada dimensión, observando la frecuencia con que aparecía cada respuesta a las preguntas.

5. Esto llevó a: a) codificar toda la información; b) agrupar datos cuantitativos en porcentajes y frecuencias; c) realizar tablas para sintetizar la información; d) efectuar la definición de categorías exhaustivas significativas que constituyeron las variables; d) realizar un estudio descriptivo más profundo (calculando distintos indicadores), acompañado de estudios estadísticos inferenciales; e) interpretar los datos en el contexto en que fueron recogidos; f) extraer conclusiones.

El procedimiento descrito permitió organizar y analizar el contenido de toda la información relevada de las encuesta.

5.3. El espacio de atributos de esta investigación

El esquema de análisis seguido en este trabajo originó el espacio de atributos (Samaja, 2003) propio de este estudio que configuró de instrumento de análisis para la valoración de las opiniones de los estudiantes. Ver la Tabla 1. El mismo incluye variables generadas en distintos momentos. Un sistema básico de variables establecido a priori de la implementación de la encuesta, denominado en este trabajo sistema de variables intencionales. El mismo, fue generado a partir de los fundamentos del marco teórico, de la experiencia e intuición de las investigadoras y de los objetivos propuestos al elaborar el cuestionario. Del análisis de las respuestas dadas a las preguntas abiertas surgieron datos que permitieron establecer un segundo sistema de variables, denominado sistema de variables originados por los datos. Al conjunto de variables establecidas intencionalmente, que se manifestaron, además, en datos de preguntas abiertas, se denominaron en este estudio, sistema de variables mixto.

En la Tabla 1 cada variable lleva una abreviación indicando el sistema al que pertenece: VI (variable intencional), VD (variable originada por los datos), VM (variable de origen mixto). Además, se indica la pregunta del cuestionario que la generó.

También, apoyándose en principios de Samaja se realizó la definición operacional de las variables de la indagación. En la Tabla 2 se presenta la definición operacional de la variable Estrategias de los estudiantes para obtener logros en el aprendizaje. Obsérvese que para ubicar una cierta unidad de análisis (respuesta a un ítem) en un valor la variable se emplearon dos tipos de procedimientos. El primero, observar la pertinencia del dato a una cierta clase determinada, conforme a la precomprensión modelizante de las investigadoras a posteriori del análisis de las respuestas dadas a la encuesta. El segundo, observar si la respuesta se clasificaba dentro de las alternativas: Siempre, A veces o Nunca, establecidas a priori al diseñar la encuesta. De manera similar se definieron operacionalmente las otras variables.

5.4. Definición conceptual de las variables apriori

En este parágrafo se muestra la definición conceptual de las variables a priori, la definición de las restantes se realizó después de analizar la información de las preguntas de respuesta abierta. La definición conceptual de las variables intencionales fue la siguiente:

Tabla 1. Espacio de atributos relevantes para estudiar la evaluación del aprendizaje de Matemática 1 desde la perspectiva de los estudiantes.

Tabla 2. Definición operacional de la variable Estrategias de los estudiantes para obtener logros en el aprendizaje

“Tipos de clases”: Opiniones de los estudiantes acerca de los distintos tipos de clases (teóricas, teórico prácticas, prácticas y de consulta) que se ofrecen durante el desarrollo de la asignatura. La descripción de los distintos tipos de clase se realizó en un trabajo de Villalonga de García (2003).

“Concepción de evaluación de estudiante”: Ideas de los alumnos acerca de algunas de las funciones que satisface la evaluación del aprendizaje.

“Comunicación docente-alumno”: Opiniones de los estudiantes, referidas al proceso de interacción entre docentes y estudiantes, y entre éstos entre sí, que ayuda a optimizar el intercambio y a la recreación de significados.

“Pruebas de papel y lápiz”: Opiniones de los alumnos, referentes a las pruebas de evaluación sumativa, únicas estrategias evaluativas implementadas en forma sistemática: los exámenes parciales (dos pruebas escritas de carácter práctico) y el examen final (una prueba escrita integradora de carácter teórico- práctico).

La descripción de estas pruebas en el contexto de estudio es presentada por Villalonga de García (2003).

5.5. Generación de las variables originadas por los datos. Un ejemplo

El sistema de variables generados por los datos fue originado por la información recabada del análisis de las preguntas abiertas. El procedimiento de generación de este tipo de variables se apoyó en principios expuestos por Taylor y Bogdan (1987) y por Samaja (2003).

A modo de ejemplo, se mostrará, cómo de los datos de la pregunta abierta 4, se generó la dimensión “Cambio de actitud hacia el estudio” (VD) de la variable “Estrategias de los estudiantes para obtener logros en el aprendizaje” (Ver Tabla 1).

5.5.1 Generación de las subdimensiones de la dimensión “Cambio de actitud hacia el estudio”

Primero se estudiaron las respuestas dadas a la pregunta 4 buscando palabras y frases, propias del vocabulario de los alumnos para captar el sentido de lo que dicen o hacen. Es decir, se buscaron los conceptos concretos derivados de la cultura del estudiante (Taylor y Bogdan, 1987).

Así, al efectuar el análisis comparativo de los registros volcados por los alumnos se observó que las estrategias que contribuyeron al estudiante a lograr la aprobación de una evaluación, anteriormente aplazada, pertenecían a las siguientes clases mutuamente excluyentes: “Más dedicación al estudio”, “Cambio en la metodología de estudio” y “Buscar ayuda”, las cuales constituyeron las subdimensiones de la variable “Cambio de actitud hacia el estudio” (Taylor y Bogdan, 1987; Samaja, 2003; 2004). Obsérvese, que para construir estas subdimensiones se empleó en este caso un procedimiento de clasificación, que permitió ubicar una cierta unidad de análisis (la respuesta a un item) en cada subdimensión (Samaja, 2004). Por ejemplo, registros (unidades de análisis) como “me machuqué con los ejercicios hasta que logré sacarlos a todos”, “presté especial atención al error”, “estudiaba la teoría y luego la práctica”, “resolví todos los ejercicios de la cartilla y los adicionales” etc. que al analizar los datos se ubicaron en la clase Cambio en la metodología de estudio, generaron la subdimensión, que lleva el nombre de esta clase, de la variable “Cambio de actitud hacia el estudio”.

De manera similar se crearon las otras subdimensiones, “Más dedicación al estudio” y “Buscar ayuda” de la variable a que se hace referencia. Ver Tabla 1. Nótese que estas subdimensiones son mutuamente excluyentes.

5.5.2 Generación de la dimensión “Cambio de actitud hacia el estudio”

Luego se asumió que si el alumno había empleado alguna/s de la/s estrategia/s siguiente/s para superar un aplazo: “Más dedicación al estudio”, “Cambio en la metodología de estudio” y “Buscar ayuda”, sería un indicador de que hubo un “Cambio de actitud hacia el estudio” (Samaja, 2004). (Ver Tabla1).

5.6. Generación de variables mixtas. Un ejemplo.

Se mostrará como se generó la variable mixta “Estrategias de los estudiantes para obtener logros en el aprendizaje”.

Continuando con el ejemplo que se venía mostrando en el parágrafo anterior, procediendo de la forma recién descrita, es decir, efectuando comparación sistemática del contenido de los registros de la pregunta 4, surgieron de los datos dos dimensiones más: “Adaptación al ambiente universitario” y “Actividades metacognitiva y de regulación”. Después de analizar la pregunta abierta 4 y considerando, además, la información recabada de los items c, d y e de la pregunta cerrada 3, en este estudio se asumió que: “Cambio de actitud hacia el estudio”, “Adaptación al ambiente universitario” y “Actividades metacognitivas y de autorregulación” (dimensión de estudio mixta, había sido fijada a priori (preguntas cerradas 3c, 3d y 3e) y originada por datos de la pregunta 4) constituirían todas las estrategias empleadas por los alumnos para superar un aplazo. El proceso descrito llevó a generar el conjunto de dimensiones exahautivas y relevantes de la variable “Estrategias para obtener logros en el aprendizaje” (Taylor y Bogdan, 1987; Samaja, 2003; 2004).

5.6.1 Definición conceptual de una variable mixta. Un ejemplo

Recién después de realizar este proceso se efectuó la definición conceptual de la variable mixta “Estrategias para obtener logros en el aprendizaje” de la siguiente manera: Opiniones de los estudiantes acerca de las estrategias que emplean para aprender o para lograr aprobar alguna evaluación aplazada dentro de las dimensiones Cambio de actitud hacia el estudio, Adaptación al ambiente universitario y Actividades metacognitivas y de autorregulación, entendiéndose que Actividades metacognitivas y de autorregulación agrupa opiniones de los alumnos relativas a situaciones de reflexión, que los lleven a tomar conciencia de las modificaciones que ellos mismos deben efectuar, en las estrategias que emplean para lograr un objetivo propuesto, induciéndolos luego a efectuar ajustes y correcciones a un determinado proceso de aprendizaje (Jorba y Casellas, 1997).

En forma similar se procedió para efectuar la definición conceptual de las otras variables de tipo VD o VM (Villalonga de García, 2003).

5.7. Definición operacional de las variables

El estudio de la realidad educativa en el campo de la evaluación no se puede limitar a un solo aspecto, los fenómenos objeto de estudio son complejos y relacionados entre si de forma muy diversa. Como puede apreciarse en la Tabla 1, el espacio de atributos de esta investigación no es simple. Dada su complejidad, en este trabajo, a modo de ejemplo, se presentar en la Tabla 2 sólo la definición operacional de la variable “Estrategias de los estudiantes para obtener logros en el aprendizaje”. En forma similar se efectuó la definición operacional de las otras variables del espacio de atributos.

En la Tabla 2 puede apreciarse cómo se construyó el dato científico para modelar, en el contexto de investigación, el tipo de estrategias empleadas por los estudiantes para aprender. Se escogió como unidad de análisis a la “respuesta la ítem” y como variable a “Estrategias de los estudiantes para obtener logros en el aprendizaje”. Esta variable fue construida con un indicador complejo con dos dimensiones originadas por los datos de preguntas abiertas y una de origen mixto. También, se muestran los valores asignados a la variable mencionada y se especifican los procedimientos empleados para asignar dichos valores.

La Tabla 2 representa, además, un sistema de matrices de datos constituido por:

a) Una matriz central, llamada matriz de anclaje, identificada con la matriz objetivo de la investigación. En este caso es la matriz anclada en “Estrategias de los estudiantes para obtener logros en el aprendizaje”. En esta etapa del estudio, el objetivo es analizar las estrategias de logros de los alumnos, por eso a la mencionada variable se la considera unidad de análisis del nivel de anclaje. Esta matriz queda construida incluyendo todos los elementos de la tabla que están a la derecha del nivel de anclaje recién especificado, incluyéndolo al mismo.

b) Una matriz formada por los contextos de las unidades de análisis del nivel de anclaje, llamada matriz de nivel supraunitario o contextual. En este ejemplo es la anclada en la “respuesta al ítem” (unidad de análisis del nivel supraunitario). Esta matriz se construye con los elementos que muestra la tabla a partir de este último nivel de anclaje mencionado, inclusive.

c) Una matriz constituida por los componentes (partes) de las unidades de análisis del nivel de anclaje, llamada matriz de nivel infraunitario constituida por las dimensiones “Cambio de actitud hacia el estudio”, “Adaptación al ambiente universitario” y “Actividades metacognitivas y de autorregulación”, sus respectivas subdimensiones y los valores de la variable “Estrategias de los estudiantes para obtener logros en el aprendizaje”.

Algunas de las relaciones que pueden darse entre los tres niveles de matrices, son:

a) las variables del nivel inferior pueden funcionar como dimensiones (o sea subvariables) de los indicadores del nivel superior;

b) las unidades de análisis del nivel inferior pueden expresarse como variables del nivel superior; y,

c) las unidades de análisis del nivel superior pueden obrar como contextos relevantes del nivel inferior. Estas relaciones indican que cada matriz de datos puede ser un elemento de un sistema pero, a su vez, en un nivel de integración inferior, ella misma puede ser un sistema siendo sus elementos los componentes del mismo (Samaja, 2003).

El sistema de matrices de datos presentado en la Tabla 2 es parte de uno más amplio, constituido por el objeto modelo de esta investigación.

5.8. Fases seguidas para resumir los datos de la encuesta

En este parágrafo se describen los procedimientos realizados en dos fases independientes para resumir los datos de las preguntas abiertas y cerradas. A la información de la pregunta semiabierta se la desglosó en dos partes. La brindada por la parte cerrada de la pregunta y por la parte abierta.

En una primera fase denominada, en este trabajo, descriptiva-inferencial, se analizó la información de las preguntas cerradas. Se calcularon porcentajes y los datos fueron representados en tablas o en forma gráfica. En el caso de la pregunta 3 se calculó el coeficiente de correlación de rango de Kendall (considerado con un factor de corrección por la existencia de puntajes ligados). Además, se emplearon algunas técnicas de estadística inferencial: test de hipótesis para estudiar la significación de los coeficientes de asociación, test de Cochran (pregunta 2), Wilcoxon (preguntas 8 y 9) y de Friedman (pregunta 3), para testar la homogeneidad de distribuciones (Siegel, 1983). Con tales procedimientos, se consiguieron resultados que sólo permitieron la elaboración de descripciones y la extracción de algunas inferencias de la información, pero restaba interpretarlos.

Posteriormente en una segunda fase, denominada fase interpretativa, se realizó el procedimiento de análisis de las preguntas abiertas. En esta fase se generaron, después del estudio de la información de las preguntas abiertas, las denominadas variables de los datos (VD) con el procedimiento mostrado en este trabajo.

El objetivo final de esta metodología fue conectar la información proporcionada por las respuestas a preguntas cerradas con toda la información extraída de las respuestas a preguntas abiertas. Así, en forma gradual, estudiando temas, relacionando entre sí diferentes piezas de datos, teniendo también en cuenta la información cuantitativa obtenida del análisis las preguntas cerradas, se elaboraron las proposiciones (enunciados generales deducidos de los datos) (Taylor y Bogdan, 1987) que conformaron los resultados del estudio.

A modo de ejemplo se muestra cómo se generó la Proposición 1: “Las estrategias metacognitivas, el cambio de actitud hacia el estudio y la adaptación al ambiente universitario, son las principales estrategias que emplearían los alumnos para aprender o para superar una evaluación aplazada”.

La proposición recién enunciada se derivó de la confrontación de datos de los items 3c, 3d y 3e, y de las preguntas abiertas cuatro y seis. Su enunciación requirió la implementación de las siguientes técnicas: El análisis de los items 3c, 3d y 3e que se llevó a cabo mediante: a) la construcción de una tabla de doble entrada, cálculos de porcentajes y la realización de un gráfico de barras apiladas, b) la aplicación de la prueba de rangos de Friedman para testar una hipótesis nula, c) el rechazo de dicha hipótesis, condujo a realizar el test de comparaciones múltiples de Friedman, d) el cálculo del coeficiente de correlación de rangos de Kendall, y e) efectuar un test de hipótesis para estudiar la significación del coeficiente de correlación (Siegel, 1983). Los cálculos realizados para los cuatro últimos apartados se efectuaron con la ayuda de los softwares SPSS y Arcus.

La pregunta 4 se analizó con la técnica construida en este estudio para el análisis de las preguntas abiertas. Los resultados de la pregunta 6 se resumieron calculando un porcentaje. El cruce de toda esta información permitió enunciar la Proposición 1.

6. Análisis efectuados a las respuestas de las preguntas. Un caso.

6.1. Pregunta 2: Las “causas de fracasos”

La pregunta semiabierta 2, de respuesta con alternativas de elección múltiple y una opción abierta, pretendía relevar las causas a las que los estudiantes atribuyen sus fracasos.

De los 155 alumnos de la muestra, 130 (86%) manifestaron haber experimentado fracasos durante el desarrollo de la asignatura.

Se efectuó un estudio para analizar si los factores de fracasos detallados en los nueve items de la pregunta 2 (items de a al i), tenían la misma probabilidad de contribuir al fracaso de los alumnos. Para tal fin, se aplicó la prueba de Cochran (Siegel, 1983), obteniéndose p-value< 0,0001, por lo que se infirió que los mismos, no tendrían la misma probabilidad de contribuir al fracaso como se intuía al observar el Gráfico 1.

Gráfico 1. Causas de fracasos expresadas en porcentajes de estudiantes (n=130)

6.2. Estudio del ítem 2j: “Otras causas”. Definición conceptual de variable “Otras causas” (VD)

Al estudiar las respuestas dadas a la pregunta abierta 2j (unidades de análisis) y siguiendo la técnica de análisis ideada en este trabajo, se reconocieron, a posteriori, tres dimensiones -mutuamente excluyentes- de la variable “Causas de fracasos” señaladas en la Tabla 1. Seguidamente se da su definición conceptual y se describen respuestas de algunos sujetos prototípicos:

1. “Características personales del estudiante”: Opiniones de los estudiantes los cuales atribuyen las causas de sus fracasos a factores propios de cada individuo. Se transcriben algunos registros: “falta de atención”, “me distraigo con cualquier cosa”, “me apresuro a dar la respuesta”, “no pude estudiar pues no completé la cartilla” y “estudio sólo un día para el examen”.

2. “Dificultades en el estudio de una asignatura de contenido matemático”: Opiniones de los estudiantes, los cuales atribuyen sus causas de fracasos a dificultades propias del estudio de la disciplina matemática. Ejemplos: “el lenguaje matemático es complejo”, “tengo dificultad para aprender las demostraciones de los teoremas”, “tengo errores de interpretación al estudiar”, “no puedo escribir las respuestas con claridad”, “me cuesta expresarme con precisión”.

3. “Características de las pruebas de evaluación”: Opiniones de los estudiantes, los cuales atribuyen sus causas de fracasos a características propias de las evaluaciones. Algunos registros fueron: “me imaginaba lo que me iban a pedir en los parciales, pero al examen final me lo imaginaba distinto”, “algunos ejercicios me resultan más difíciles que los de los prácticos”, “demasiado exigencias con la expresión”, “en el examen toman cosas que se vieron sólo una vez”.

4. “Deficiencias de infraestructura física y humana”: Opiniones de los estudiantes, los cuales atribuyen sus causas de fracasos a carencias materiales y humanas del ambiente de aprendizaje. Ejemplos: “hay muchos alumnos por comisión”, “aulas con mala acústica y mal ventiladas”.

6.3. Definición conceptual de la variable “Causas de fracasos” (VM)

En este estudio la definición conceptual de las variables mixtas se efectuó después de analizar las respuestas dadas a las preguntas abiertas y cerradas. A modo de ejemplo se muestra el caso de la definición conceptual de la variable “Causas de fracasos”.

“Causas de fracasos”: Opiniones de los estudiantes, que indican distintas causas que los llevaron a desaprobar un examen parcial o final o a obtener una calificación considerada baja, de acuerdo al empeño puesto en el estudio. Estas causas son atribuidas a características personales del estudiante, a problemas en la metodología de enseñanza, a dificultades en el estudio de una asignatura de contenido matemático, al tipo de pruebas de evaluación y a deficiencias de infraestructura física y humana.

7. Resultados de la encuesta a alumnos del año 2001

En un trabajo inédito, se estudiaron los resultados de las otras preguntas del cuestionario (Villalonga de García, 2003). Este análisis permitió resumir en las siguientes proposiciones, las visiones que tienen los estudiantes de la evaluación de Matemática 1:

• Con respecto a las estrategias de enseñanza se apreciaría apego a principios de la enseñanza tradicional.

• La evaluación se encontraría desintegrada del proceso de enseñanza y aprendizaje.

• Las causas de fracasos se atribuirían: i) un 60% a características personales del estudiante; ii) un 31 % a problemas metodológicos y iii) un 9% a otras causas, entre las que se señalan: dificultades en el estudio de una asignatura de contenido matemático, características de las pruebas de evaluación y a deficiencias de infraestructura física y humana.

• Las tres causas principales de fracasos en las evaluaciones, señaladas por los alumnos, serían: nerviosismo para rendir, deficiente preparación del ingresante y falta de hábitos de estudio.

• Algunas formas de comunicación docente alumno evaluadas en esta encuesta: libertad de opinar, plantear problemas y ser escuchados por los docentes; tener confianza para avisar al profesor cuando no se entiende en clase y tener claro los conceptos a los que el docente asignará importancia en las evaluaciones, estarían asociadas en sentido positivo con las calificaciones de las evaluaciones.

• Aunque en la asignatura no se realizan actividades metacognitivas en forma sistemática, más de la mitad de los estudiantes emplearían siempre algunas estrategias metacognitivas para aprender.

• No existiría asociación entre la calificación del estudiante y el puntaje del compuesto denominado “actividades metacognitivas superadoras”.

• Entre las principales estrategias que emplearían los alumnos para aprender o para superar una evaluación aplazada estarían el cambio de actitud hacia el estudio, la adaptación al ambiente universitario, y las estrategias metacognitivas.

• En cuanto a la concepción de evaluación de los estudiantes, un alto porcentaje no considerarían a la misma como elemento de sanción sino más bien como medio para autorregular el aprendizaje y para ver los progresos logrados.

8. Discusión de los resultados

La información brindada por esta encuesta confirmaría una vez más la validez de la hipótesis planteada. Al ser este estudio parte de una investigación más amplia para validar los resultados obtenidos, sería necesario complementar y cruzar los datos de la encuesta a alumnos del 2001, con los derivados de las demás fuentes empleadas para concretar el diagnóstico. Motivo de otro trabajo sería realizar la triangulación de métodos y de datos dentro de los subtipos: personas y tiempo (Denzin, 1978). La finalidad de la triangulación es corregir los sesgos que pudiesen aparecer cuando las observaciones provienen de una única fuente.

9. Conclusiones

• La única fuente de información utilizada en este trabajo, ha aportado elementos para desnudar situaciones áulicas reales, permitiendo de esta manera, detectar la visión que tienen los estudiantes acerca de la evaluación del aprendizaje implementada en la asignatura.

• En relación a los lineamientos orientadores de la evaluación del aprendizaje, fundamentos de este trabajo, sirvieron de referentes para diagnosticar algunas características de la evaluación del aprendizaje de la asignatura desde la perspectiva del alumno.

• El diseño metodológico ha resultado adecuado para cubrir los objetivos de este trabajo.

10. Bibliografía

Czar M. y Pizarro de Raya A. “Las corrientes psicológicas en el estudio del aprendizaje”, en Czar, M., Pizarro de Raya A., Badfessi de Talpalar, C. (Eds.), Concepciones del aprendizaje y práctica docente (p. 4-64). Módulo 4. Material del Curso de formación pedagógica para docentes universitarios. Instituto Coordinador de Programas de Capacitación. Universidad Nacional de Tucumán. Tucumán- Argentina: Imprenta Aragón. (1993). (76 p.).

Denzin, N. Citado por Forni F., Gallart M. y Vasilachis de Gialdino I. (1992). Métodos cualitativos II. La práctica de la investigación. Buenos Aires: Centro editorial de América Latina. (1968). (216 p.). ISBN: 950-25-2081-5.

Fernández de Alaíza García, B. “La psicología cognitiva contemporánea y sus aplicaciones en la enseñanza de la matemática para no matemáticos”. En Hernández Fernández, H., Delgado Rubí, J. y Fernández de Alaíza, B. (Eds). Cuestiones de didáctica de la matemática. Conceptos y procedimientos en la educación polimodal y superior. Rosario- Argentina: Homo Sapiens Ediciones. (2001). (p. 27-31). Segunda edición. ISBN: 950-808-173-2.

Galtung, J. Teoría y métodos de la investigación social. Tomo 1. Buenos Aires- Argentina: Editorial Eudeba. (1978). (205 p.) Quinta edición. ISBN: no registra.

González Pérez, M. (2000). Evaluación del aprendizaje en la enseñanza universitaria. Universidad de La Habana- Cuba: CEPES. (140 p.). ISBN: no registra.

Jorba, J. y Casellas, E. “La evaluación como regulación. La evaluación formativa”, en Jorba, J. y Casellas E. (Eds.) (1997), Estrategias y técnicas para la gestión social en el aula. Vol 1: La regulación y la autorregulación de los aprendizajes. (p. 83- 99). España: Síntesis. (1997). ISBN: 84-7738-470-0.

Ladrière, J. (1978). Citado por Samaja Epistemología y metodología. Elementos para una teoría de la investigación científica. Buenos Aires: Eudeba. (2003). (415 p.). 3º edición. 3º reimpresión. ISBN: 950-23-0931-6.

Moreira, M. (a) “La teoría del desarrollo cognitivo de Piaget”, en Moreira, M. (Ed.), Enfoques teóricos. Monografías sobre aprendizagem e encino. Material impreso. (1997). (144p.). Primera edición. Universidade Federal do Rio Grande do Sul. Brasil.

Moreira, M. (b) “La teoría del aprendizaje significativo de Ausubel”, en Moreira, M. (Ed.), Enfoques teóricos. Monografías sobre aprendizagem e encino. Material impreso. (1997). (144p.). Primera edición. Universidade Federal do Rio Grande do Sul. Brasil.

N.C.T.M. Estándares Curriculares y de Evaluación para la Educación Matemática. Sevilla. Edición española de Curriculum and Evaluation Standards for School Mathematics (Tr. por José Alvarez Falcón y Jesús Casado Rodrigo). EEUU: Sociedad Andaluza de Educación Matematica "Thales". (1989). (267 p.). ISBN: 0-87353-359-3.

N.C.T.M. Assessment Standards for School Mathematics. Editado en internet: http://standards.nctm.org/Previous/AssStds/index.htm. (1995). (11/ 04/ 2003).

N.C.T.M. Principios y Estándares para la Educación Matemática. Sevilla. Edición española de Principles and Standards for School Mathematics. (Tr. por Manuel Fernández Reyes). Sevilla: Sociedad Andaluza de Educación Matematica "Thales". (2000). (411 p.). Primera edición en castellano. ISBN: 84-933040-3-4.

Pérez González, O. La evaluación del aprendizaje como elemento del sistema de dirección del proceso docente. Tesis de doctorado inédita. (2000). (123 p.). Universidad de Camagüey. Cuba.

Samaja J. Epistemología y metodología. Elementos para una teoría de la investigación científica. Buenos Aires: Eudeba. (2003). (415 p.). 3º edición. 3º reimpresión. ISBN: 950-23-0931-6.

Samaja J. “Semiótica de la ciencia. Los métodos; las inferencias y los datos a la luz de la semiótica como lógica ampliada. Primera parte”. Material del Curso de posgrado: La ciencia como proceso de investigación y dimensión de la cultura. Secretaría de Posgrado de la Universidad nacional se Tucumán. Argentina. (2004). (88 p.)

Siegel, S. Estadística no paramétrica aplicada a las ciencias de la conducta. México: Editorial Trillas. (1983). Octava reimpresión. (344 p.). Registro nro. 158. ISBN: no registra.

Taylor S. y Bogdan R. Introducción a los métodos cualitativos de investigación. La búsqueda de significados. Barcelona: Ediciones Paidós. Ibérica. S. A. (1987). (343 p.). ISBN: 84-7409-816-9.

Villalonga de García, P. Un enfoque alternativo para la evaluación del Cálculo en una Facultad de Ciencias. Tesis de Magíster no publicada. Universidad Nacional de Tucumán. Tucumán-Argentina. (2003). (223 p.).

Villalonga de García, P. y Colombo de Cudmani, L. Análisis de los instrumentos de evaluación del aprendizaje de un curso de cálculo fundado en principios de un modelo alternativo. Educación y Ciencia, 8, 16 (30), 79-96. (2004). ISSN 0188-3364.

Villalonga de García, P. Evaluar contenidos en matemática. Algunos criterios orientadores. Novedades Educativas. “Educación Matemática, entre las tradiciones y los cambios. Aprendizaje conceptual y habilidades”. Nº 182, 60-65. (2006). ISSN 0328-3534.

Notas