Premio Santander en su Quinta Edición correspondiente al año 2012, concedido por la Cátedra Banco Santander de la Universidad de Zaragoza.
Autores: Manuel Antonio Espitia Escuer, Nuria Alcalde Fradejas, Nieves García Casarejos, Isabel Acero Fraile, Mª José Vela Jiménez, Silvia Abella Garcés, Francisco Javier Pérez Sanz, Millán Díaz Foncea, Joaquín Cañón de Francia y Víctor Raúl Serrano Lázaro del Departamento de Dirección y Organización de Empresas, y Tomás Gómez Martín.
1. Una experiencia deUna experiencia de
e-Evaluación continua parae-Evaluación continua para
1.300 alumnos con la1.300 alumnos con la
herramienta MultiEvalherramienta MultiEval
Coordinador: Manuel A. Espitia EscuerCoordinador: Manuel A. Espitia Escuer
UNIVERSIDAD DE ZARAGOZAUNIVERSIDAD DE ZARAGOZA
2. CONTEXTO DOCENTECONTEXTO DOCENTE
Curso 2011-2012Curso 2011-2012
Asignaturas: ‘Fundamentos de Administración yAsignaturas: ‘Fundamentos de Administración y
Dirección de Empresas’ y ‘Economía de la Empresa’Dirección de Empresas’ y ‘Economía de la Empresa’
4 Grados: ADE, FICO, MIM, ECO y D+ADE4 Grados: ADE, FICO, MIM, ECO y D+ADE
3 Centros: FEEZ, FCCSHT, FEGPH3 Centros: FEEZ, FCCSHT, FEGPH
4 Campus: Zaragoza-Paraíso, Zaragoza-Río Ebro,4 Campus: Zaragoza-Paraíso, Zaragoza-Río Ebro,
Huesca y Teruel .Huesca y Teruel .
Aproximadamente 1.300 alumnos repartidos en 16Aproximadamente 1.300 alumnos repartidos en 16
grupos docentesgrupos docentes
3. OBJETIVOS EN EL MARCOOBJETIVOS EN EL MARCO
DEL EEESDEL EEES
Coordinación de todos los grupos en los que seCoordinación de todos los grupos en los que se
imparte la asignatura (contenidos, materiales,imparte la asignatura (contenidos, materiales,
cronogramas…)cronogramas…)
Utilización de sistemas de evaluación continuaUtilización de sistemas de evaluación continua
en titulaciones con un elevado número deen titulaciones con un elevado número de
alumnos por grupoalumnos por grupo
4. IMPORTANCIA DE LAS TICSIMPORTANCIA DE LAS TICS
Coordinación (Dropbox, Google Docs,Coordinación (Dropbox, Google Docs,
Blackboard Collaborate WebBlackboard Collaborate Web
Conferencing)Conferencing)
Evaluación continua (MultiEval,Evaluación continua (MultiEval,
Blackboard)Blackboard)
5. e-EVALUACIÓN CONTINUAe-EVALUACIÓN CONTINUA
CON MultiEval YCON MultiEval Y
BLACKBOARDBLACKBOARD
Ejercicios homogéneos pero individualizadosEjercicios homogéneos pero individualizados
para los alumnospara los alumnos
Resolución fuera del aulaResolución fuera del aula
Envío de soluciones a través de BlackboardEnvío de soluciones a través de Blackboard
Corrección automática de los ejerciciosCorrección automática de los ejercicios
6. SISTEMA DE EVALUACIÓNSISTEMA DE EVALUACIÓN
EN FADE y EE (curso 11-12)EN FADE y EE (curso 11-12)
Teoría (4 puntos) Examen tipo test al finalTeoría (4 puntos) Examen tipo test al final
del semestredel semestre
Práctica (6 puntos)Práctica (6 puntos)
3 entregas de ejercicios MultiEval (3 puntos)3 entregas de ejercicios MultiEval (3 puntos)
2 pruebas en el aula (3 puntos)2 pruebas en el aula (3 puntos)
7. METODOLOGÍA SEGUIDA ENMETODOLOGÍA SEGUIDA EN
EL PROYECTOEL PROYECTO
Coordinación interna del profesoradoCoordinación interna del profesorado
Implementación de la e-evaluaciónImplementación de la e-evaluación
continuacontinua
Evaluación interna y divulgaciónEvaluación interna y divulgación
8. COORDINACIÓN INTERNACOORDINACIÓN INTERNA
DEL PROFESORADODEL PROFESORADO
Reuniones periódicas entre los profesoresReuniones periódicas entre los profesores
de los 16 grupos docentesde los 16 grupos docentes
Lista de correo comúnLista de correo común
Asistencia vía e-mail del creador de laAsistencia vía e-mail del creador de la
herramientaherramienta
Conferencia webConferencia web
9. IMPLEMENTACIÓN DE LAIMPLEMENTACIÓN DE LA
e-EVALUACIÓN CONTINUAe-EVALUACIÓN CONTINUA
Talleres de formación dirigidos a losTalleres de formación dirigidos a los
profesoresprofesores
Creación de grupos de trabajo paraCreación de grupos de trabajo para
diseñar los ejerciciosdiseñar los ejercicios
Elaboración de tutoriales para el manejoElaboración de tutoriales para el manejo
del programa (para profesores y alumnos)del programa (para profesores y alumnos)
10. EVALUACIÓN INTERNA YEVALUACIÓN INTERNA Y
DIVULGACIÓNDIVULGACIÓN
Encuestas de opinión a alumnos y profesoresEncuestas de opinión a alumnos y profesores
Presentación de comunicaciones en diferentesPresentación de comunicaciones en diferentes
Congresos docentesCongresos docentes
IV Jornadas de Docencia en Economía. La Coruña.IV Jornadas de Docencia en Economía. La Coruña.
IV Jornadas de Innovación e InvestigaciónIV Jornadas de Innovación e Investigación
Educativa de la UZ.Educativa de la UZ.
III Jornadas de Buenas Prácticas en la DocenciaIII Jornadas de Buenas Prácticas en la Docencia
Universitaria con apoyo de TIC. Cátedra BancoUniversitaria con apoyo de TIC. Cátedra Banco
Santander.Santander.
11. e-EVALUACIÓN CONTINUAe-EVALUACIÓN CONTINUA
CON MultiEvalCON MultiEval
Herramienta informáticaHerramienta informática nuevasnuevas
actividades de evaluación entre elactividades de evaluación entre el
alumnado que se realizan fuera del aulaalumnado que se realizan fuera del aula
Diferentes variantes del ejercicioDiferentes variantes del ejercicio
12. UTILIZACIÓNUTILIZACIÓN DE MultiEval: PROCESODE MultiEval: PROCESO
1)El equipo de profesores diseña los ejercicios con variantes
y soluciones para cada una de ellas.
2)Se distribuyen los ejercicios MultiEval en Blackboard
3)La actividad creada está disponible para el alumno, 4 días
4)El alumno descarga el ejercicio, lo resuelve por su cuenta y
entrega las soluciones mediante Blackboard
5)El profesor descarga de Blackboard las soluciones por
grupos de clase
6)Se ejecuta el programa de corrección MultiEval y se
obtienen las calificaciones y se publican.
18. VENTAJAS PARA ELVENTAJAS PARA EL
PROFESORPROFESOR
Permite generar diferentes variantes dePermite generar diferentes variantes de
un mismo ejercicioun mismo ejercicio
Corrección automáticaCorrección automática
Evita pruebas presenciales que consumenEvita pruebas presenciales que consumen
tiempo en el aulatiempo en el aula
Seguimiento continuado del trabajo queSeguimiento continuado del trabajo que
desarrollan los estudiantesdesarrollan los estudiantes
19. VENTAJAS PARA EL ALUMNOVENTAJAS PARA EL ALUMNO
Trabajo en equipo: aprendizajeTrabajo en equipo: aprendizaje
constructivistaconstructivista
Fomenta el estudio continuadoFomenta el estudio continuado
Ausencia de estrés en las condiciones deAusencia de estrés en las condiciones de
trabajotrabajo
Adecuado a la metodología de enseñanzaAdecuado a la metodología de enseñanza
utilizadautilizada
Retroalimentación inmediata que le permiteRetroalimentación inmediata que le permite
orientar el estudioorientar el estudio
20. VALORACIÓN GENERAL DE LAVALORACIÓN GENERAL DE LA
HERRAMIENTA MultiEval (HERRAMIENTA MultiEval (%%))
11 22 33 44 55 ns/ncns/nc
Técnica adecuadaTécnica adecuada 5.95.9 10.510.5 23.623.6 48.748.7 10.510.5 0.70.7
Mejora el procesoMejora el proceso
enseñanza/aprendizajenseñanza/aprendizaj
ee
5.35.3 12.112.1 25.725.7 44.544.5 11.211.2 1.11.1
Colaboración entreColaboración entre
alumnosalumnos
2.72.7 5.65.6 17.417.4 41.341.3 32.032.0 1.01.0
RecomiendoRecomiendo 12.712.7 15.115.1 25.825.8 29.029.0 16.216.2 1.11.1
21. CONCLUSIONESCONCLUSIONES
MultiEval es una herramienta motivadora yMultiEval es una herramienta motivadora y
generadora de aprendizajegeneradora de aprendizaje
Cuenta con una buena aceptación por parte deCuenta con una buena aceptación por parte de
los alumnoslos alumnos
Facilita la evaluación continua en grupos con unFacilita la evaluación continua en grupos con un
elevado número de alumnoselevado número de alumnos
El elevado coste que en términos de esfuerzo yEl elevado coste que en términos de esfuerzo y
dedicación supuso para los profesores su puestadedicación supuso para los profesores su puesta
en marcha se rentabiliza en cursos posterioresen marcha se rentabiliza en cursos posteriores
MultiEval se sigue utilizando en FADE y EE, seMultiEval se sigue utilizando en FADE y EE, se
extiende a otras asignaturas del Departamentoextiende a otras asignaturas del Departamento
El proyecto que vamos a presentar recoge una experiencia docente innovadora consistente en la utilización de una herramienta informática denominada MultiEval para desarrollar actividades de evaluación continua que los alumnos realizan fuera del aula y envían a través de internet (e-evaluación continua). Esta herramienta se puso en marcha en el curso 11/12 de forma coordinada y simultánea en un total 16 grupos docentes para evaluar a más de 1.000 alumnos.
La experiencia se enmarca en el contexto de los nuevas titulaciones de grado. En concreto ,se inicia en el curso 11/12 en la asignatura FADE, que se imparte en primer curso de los 4 grados económico empresariales de la UZ: Administración y Dirección de Empresas (ADE), Economía (ECO), Finanzas y Contabilidad (FICO) y Marketing e Investigación de Mercados (MIM).. Dado que la titulación de ADE se imparte en las tres provincias aragonesas, el proyecto involucra 3 centros distintos (Facultad de Economía y Empresa de Zaragoza, Facultad de CC sociales y Humanas de Teruel y Facultad de Empresa y Gestión Pública de Huesca) y 4 campus universitarios. En total la asignatura se imparte en 16 grupos docentes distintos, abarcando en torno a 1.300 alumnos.
Los Grados y esta asignatura en concreto se pusieron en marcha por primera vez en la UZ en el curso 10/11. Los profesores consideramos que la adaptación al Espacio Europeo de Educación Superior exigía el cumplimiento de dos objetivos: coordinar la docencia de todos los grupos en los que se imparte la asignatura Fundamentos de Administración y Dirección de Empresas (FADE), dado que la guía docente de la misma (donde se establecen resultados de aprendizaje, competencias, sistema de evaluación, etc) es común para todos. Resultaba, por tanto, necesaria la coordinación entre los profesores de 16 grupos docentes en numerosos aspectos: contenidos, materiales, cronogramas, etc… Reformular las metodologías docentes asociadas a la convergencia al EEES, poniendo especial énfasis en la evaluación continua de los alumnos. El elevado número de alumnos constituye, sin duda, un handicap para aplicar metodologías de evaluación continua tradicionales, por lo que resultaba necesario desarrollar herramientas que permitieran una fácil implementación y corrección de las pruebas propuestas de evaluación continua.
Para el logro de ambos objetivos: coordinación de grupos e implementación de sistemas de evaluación continua, resultó imprescindible el uso de las TICs. Entre todas las herramientas TICs de posible aplicación a esta experiencia docente, se optaría, en primer lugar, por utilizar herramientas como Dropbox y Google docs para la coordinación, intercambio de materiales, gestión de reuniones, etc entre profesores de los diferentes grupos. Por otro lado, para el desarrollo de sistemas de evaluación continua en grupos de más de 70 estudiantes, el uso de las TICS resulta imprescindible. Además, los estudiantes poseen un conocimiento elevado sobre el uso de TICs, tanto sobre informática como sobre Internet, lo cual favorece la buena acogida por parte de los mismos de nuevas actividades basadas en la utilización de TICs. Así, en el curso 11-12, se optó por la utilización conjunta de dos de herramientas: MultiEval y la plataforma Blackboard, para implementar parte de la evaluación continua . La primera herramienta permitiría individualizar y gestionar la evaluación de las pruebas de la asignatura, mientras que la segunda permitiría una fluida y constante comunicación profesor-alumno. En el curso 2010-11 el objetivo docente abordado con mayor intensidad para la asignatura de FADE fue homogeneizar los materiales de estudio del estudiante; en el segundo año de implantación de la asignatura, curso académico 2011-12, se profundizó en la mejora del sistema de evaluación y comenzó a utilizarse el programa Multieval para el diseño, realización y corrección de pruebas de evaluación continua. Nos centramos pues en esta herramienta.
Nos centramos a continuación en el sistema de e-evaluación continua que empezó a utilizarse en el curso 11/12. De una forma muy general, se puede decir que la experiencia ha consistido en diseñar a través del programa Multieval ejercicios individualizados para los alumnos que éstos han resuelto fuera del aula y cuyas soluciones han transmitido al profesor utilizando el mismo programa y con el soporte de la plataforma Blackboard; el programa permite también una corrección automática de las soluciones dadas por cada alumno a su ejercicio, evitando al profesor, por tanto, la tarea de corrección manual y permitiendo una rápida retroalimentación que informe a los alumnos de los fallos cometidos y les permita orientar adecuadamente su estudio.
La ponderación de estas actividades en la calificación del alumno se presenta en la diapositiva La asignatura se califica sobre 10 puntos, de los cuales, 4 puntos corresponden a la parte de teoría y los otros 6 puntos se refieren a la parte de práctica. Para evaluar los conocimientos teóricos, los alumnos realizaron un examen tipo test al finalizar la asignatura. Para evaluar los conocimientos prácticos, se decidió combinar dos controles en el aula (noviembre y enero) y 3 entregas de ejercicios multieval a lo largo del semestre.
La puesta en marcha de la experiencia de implantación de la herramienta MultiEval ha supuesto, por un lado, una intensa labor de coordinación y, por otro, la selección y manejo de las herramientas informáticas necesarias para poner en marcha la e-Evaluación continua. Asimismo se procedió a una evaluación interna para analizar los resultados desde una perspectiva crítica.
Para la puesta en marcha del nuevo sistema de evaluación se realizaron varias reuniones en las que participaron todos los profesores implicados en la asignatura; así como reuniones más específicas por campus, en febrero. Paralelamente se creó una lista de correo que, incluyendo a todos los profesores implicados en la asignatura, sirvió para comentar y debatir diversos temas de interés general o de sincronización de agenda que fueron apareciendo a lo largo del curso. En todo momento los profesores contaron con asistencia personal vía e-mail del creador de la herramienta de evaluación, para resolver todas aquellas dudas que pudieran surgir en el desarrollo de las prácticas. Dada la dispersión física de los profesores en cuatro campus y con el fin de facilitar la celebración de reuniones en los sucesivos cursos académicos, se decidió ofrecer un curso de formación interna en una herramienta de conferencia web que incluye la plataforma Blackboard Collaborate para la colaboración en Red, integrada tanto en Blackboard 9.1 como en Moodle del ADD. El curso se realizó en junio de 2012 bajo el título “Cooperación en Red con Blackboard Collaborate Web Conferencing”. Dicha herramienta ha sido utilizada en el presente curso académico 2012-13 para la realización de la reunión inicial de coordinación de la asignatura.
Con el fin de que todos los profesores conociesen los fundamentos de las herramientas TICs que se iban a utilizar, se organizaron varios talleres de formación dirigidos a todos los profesores de la asignatura de FADE. Los contenidos que en él se desarrollaron fueron la comunicación con los alumnos a través de la plataforma Blackboard, la implementación de una e-Evaluación continua con la herramienta MultiEval, y la gestión y monitorización de los resultados obtenidos en las evaluaciones. Esta formación inicial permitió tomar un primer contacto con las herramientas TICs que se iban a utilizar y comenzar a hacer grupos de trabajo de profesores para organizar y preparar las tres entregas de prácticas de MultiEval que estaba previsto que los alumnos tenían que presentar. Para elaborar cada una de las evaluaciones de MultiEval que se les planteaban a los alumnos, el trabajo se repartió entre los profesores de prácticas de la asignatura. Se establecieron tres grupos de trabajo de profesores, con tres o cuatro profesores en cada uno de ellos, que fueron los encargados de realizar y supervisar cada una de las prácticas. De esta forma, cada grupo asignado diseñaba y elaboraba una práctica, que después se enviaba a la lista interna de correo para detectar los posibles errores o implementar mejoras en el enunciado. Se elaboraron materiales con las instrucciones más importantes para la utilización del programa, tanto de la versión del profesor como del alumno.
Para evaluar la experiencia, además de la información recabada durante el desarrollo de la misma, a final de curso se realizaron encuestas de opinión tanto a los estudiantes como a los profesores. En estas encuestas se recogió el grado de satisfacción sobre la experiencia. La experiencia ha sido divulgada a través de comunicaciones presentadas en Jornadas Docentes
SE DESCRIBE A CONTINUACIÓN Y DE FORMA BREVE EN QUÉ CONSISTE LA HERRAMIENTA: Como se ha indicado anteriormente, Multieval es un programa informático a partir del cual se proponen ejercicios a los alumnos que estos resuelven fuera del aula utilizando el mismo programa. Multieval permite plantear diversas variantes de un mismo ejercicio, para evitar que el estudiante pueda copiar automáticamente los resultados de otro compañero.
EL PROCESO QUE SE SIGUE PARA SU UTILIZACION ES EL SIGUIENTE
PARA COMPRENDER MEJOR EL FUNCIONAMIENTO DEL PROGRAMA, A CONTINUACIÓN SE PRESENTAN ALGUNOS EJEMPLOS DEL INTERFAZ DEL MISMO En primer lugar, en la Imagen 1 se visualiza la pantalla inicial del programa en la que los alumnos deben incorporar sus datos identificativos. Es muy importante el campo del “Identificador” (en nuestro caso usamos el NIP), ya que a través de este identificador el programa otorga las distintas variantes del ejercicio
A continuación, se muestra un ejemplo de uno de los ejercicios planteados, tal y como los visualiza el alumno. Se observa que en la ventana central aparece el enunciado del ejercicio y en la parte de la derecha se sitúan los campos en los que el alumno debe indicar sus soluciones:
En la imagen 3 se muestra el mismo enunciado del ejercicio pero con la versión del programa del profesor. Los campos en verde indican que son variables del enunciado que se van a ir modificando de variante a variante, de esta forma se crean problemas o ejercicios homogéneos pero no idénticos para los distintos alumnos.
En la versión del programa del profesor, hay un menú para la edición de las variables y las variantes del ejercicio. De este modo el docente define las variables que se van a utilizar en el ejercicio y determina las variantes que se van a incorporar. Asimismo, debe introducir los resultados relacionados con cada una de las preguntas en cada una de las variantes. En la Imagen 4 se muestra la ventana del programa en la que aparecen las variables utilizadas así como las soluciones de cada variante.
Por último, en la Imagen 5 se muestra un ejemplo de cómo aparecen las calificaciones de los ejercicios (cada fila corresponde a un estudiante). Además de la calificación, se puede visualizar también para cada uno de los estudiantes, el detalle de los aciertos y fallos que ha tenido.
En esta diapositiva se presenta la valoración que realizan los alumnos de la técnica