Presentación que usé para la defensa de mi TFM. Programa Oficial de Máster y Doctorado en Tecnología Educativa: E-Learning y Gestión del Conocimiento. Universidad Rovira y Virgili, Universidad Islas Baleares, Universidad de Lleida y Universidad de Murcia.Septiembre de 2014.

1. Diseño y Validación de un instrumento de evaluación
para la certificación de la competencia TIC del
profesorado universitario
Trabajo Fin de Máster
Autora: Marta Durán Cuartero
Directora: Isabel Gutiérrez Porlán
Programa Oficial de Máster y Doctorado en Tecnología Educativa: E-Learning y Gestión del Conocimiento

2. Índice
1. Introducción
2. Fundamentación teórica
3. Parte empírica
4. Resultados
5. Conclusiones y propuestas
de futuro

3. Introducción
Proyecto base de
nuestra
investigación

4. Fundamentación Teórica
Concepto de Competencia
Competencia TIC
Profesorado Universitario y
Evaluación de la Competencia TIC

5. Concepto de Competencia
González y Wagenaar, 2003; Villa y Poblete, 2004; OCDE,
2005; Escudero, 2006, 2008; Mulder, Weigel y Collings, 2008;
Gordon et ál, 2009; Esteve, Adell y Gisbert 2013
Diferentes
Enfoques
Conductual
Cognitivo
Definiciones con un carácter
más holístico
Nuestra Definición

6. Competencia TIC
OCDE,2003; Villa y Poblete, 2004; Ministerio de Educación de
Chile, 2006; Schneckenberg & Wildt, 2006; Esteve y Gisbert, 2011;
Gutiérrez, 2011; Krumsvik, 2011; UNESCO, 2011
Estándares:
-Indicadores
-Ámbitos de competencia TIC
Definiciones:
- Enfoque Tecnológico
- Enfoque informacional y
comunicativo
Nuestra Definición
“Una persona competente en TIC debe ser capaz de seleccionar y utilizar adecuadamente las
herramientas y recursos necesarios, de gestionar la información, de crear tareas en base a un
problema, de diseñar recursos adecuados a las necesidades de un contexto determinado y ser
capaz participar en entornos donde poder desarrollar sus conocimientos además de difundirlos a
otros, fomentando así el pensamiento crítico.”

7. Profesorado Universitario y Evaluación de
la Competencia TIC
Estándares de evaluación
de la competencia TIC en
el ámbito universitario
• UNESCO (2008; 2011)
• Ministerio de Educación
Chileno (2006)
• Janssen et al (2013)
• Ferrari (2013)
• Prendes (2010)
Mecanismos para la
certificación de
competencia TIC
• ACTIC
• ECDL
• CERTIUNI
• PROPUESTA UNIDAD DE
INNOVACIÓN UM

8. Parte empírica
Problema de investigación y
justificación de su interés
Objetivos
Diseño de Investigación
Procedimiento de investigación
PROBLEMA: Escasos trabajos con instrumentos de
evaluación que certifiquen competencia TIC.
JUSTIFICACIÓN: Interés demandado para la creación
de pruebas de certificación de la competencia TIC

9. Parte empírica
Problema de investigación y
justificación de su interés
Objetivos
Diseño de Investigación
Procedimiento de investigación
General
“Elaborar un instrumento que permita la certificación
de la competencia TIC del profesorado universitario”
1
Determinar los
ámbitos e
indicadores de
evaluación de
la competencia
TIC del
profesorado
universitario
2
Diseñar un
instrumento de
certificación de
la competencia
TIC del
profesorado
universitario
3
Validar el
instrumento de
certificación de
la competencia
TIC diseñado

10. Parte empírica
Problema de investigación y
justificación de su interés
Objetivos
Diseño de Investigación
Procedimiento de investigación
METODOLOGÍA
(Reeves, Herrington, & Oliver, 2004; Reeves, 2000, 2006)
Análisis de la
situación.
Definición del
problema
Desarrollo de
soluciones de
acuerdo a la
fundamentación
teórica
“Diseño y desarrollo”
Evaluación de
las soluciones
en la práctica
Documentación
y producción de
principios de
diseño

11. Parte empírica
Problema de investigación y
justificación de su interés
Objetivos
Diseño de Investigación
Procedimiento de investigación
PLAN DE TRABAJO
OBJETIVO TAREA
Determinar los ámbitos e indicadores
de evaluación de la competencia TIC del
profesorado universitario.
- Elaboración del marco teórico y exploración en fuentes sobre
evaluación de competencia TIC profesorado universitario.
-Análisis de indicadores de evaluación de la competencia TIC
-Selección de indicadores de evaluación de la competencia TIC
Diseñar un instrumento de certificación
de la competencia TIC del profesorado
universitario
- Selección del instrumento de evaluación y sus características.
- Creación del instrumento de evaluación de competencias TIC
- Selección de niveles de dominio y ponderación de las respuestas
Validar el instrumento de certificación
de la competencia TIC diseñado
- Grupo de discusión
- Prueba piloto
- Rediseño de la Versión definitiva del instrumento

12. Parte empírica
Problema de investigación y
justificación de su interés
Objetivos
Diseño de Investigación
Procedimiento de investigación
CRONOGRAMA

13. Parte empírica
Problema de investigación y
justificación de su interés
Objetivos
Diseño de Investigación
Procedimiento de investigación
Fase 1
Fundamentación
teórica
Marco teórico y
exploración.
Instrumento Evaluación
Certificación competencia
TIC Profesorado
Universitario
Fase 2
Análisis
indicadores
Proyecto Prendes
2010
Fase 3
Diseño del
nuevo
instrumento de
evaluación
Fase 4
Validación del
instrumento:
grupo de
discusión y
prueba piloto
Fase 5:
Diseño de la
Versión
definitiva del
instrumento

14. Fase 3
Diseño del nuevo
instrumento de
evaluación
Parte empírica
Selección del instrumento de evaluación y sus
características
Primera Versión del instrumento
Elaboración del instrumento de evaluación de
Competencias TIC y la tabla de valoración de las
respuestas
Dominio de Nivel 1: bases de conocimiento que fundamenta el uso de las TIC.
Dominio de Nivel 2: competencias precisas para:
a) diseñar,
b) implementar y
c) evaluar acciones con TIC.
Dominio de Nivel 3: competencias que son pertinentes para que el profesor:
a) analice reflexiva y críticamente la acción realizada con TIC, ya sea de forma individual o en
b) contextos colectivos.

15. Parte empírica
Fase 4
Validación
del
instrumento
•Grupo de expertos 6 profesionales del GITE de la UM
•Dialogar y debatir el resultado final del instrumento
de evaluación
•Cambios propuestos se modificó el instrumento
•2º Versión del Instrumento
Grupo de
Discusión
• Comprobar que el instrumento era viable, que
certifica realmente
• 2 profesores
• Muestra deliberada previamente con algunas
condiciones
Prueba
Piloto

16. Fase 4 Parte empírica
Validación
del
instrumento
Prueba Piloto

17. Parte empírica
Problema de investigación y
justificación de su interés
Objetivos
Diseño de Investigación
Procedimiento de investigación
Fase 1
Fundamentación
teórica
Marco teórico y
exploración.
Instrumento Evaluación
Certificación
competencia TIC
Profesorado
Universitario
Fase 2
Análisis
indicadores
Proyecto Prendes
2010
Fase 3
Diseño del
nuevo
instrumento de
evaluación
Fase 4
Validación del
instrumento:
grupo de
discusión y
prueba piloto
Fase 5:
Diseño de la
Versión
definitiva del
instrumento

18. Resultados
PRIMERA VERSIÓN. Diseño del
instrumento de evaluación y sus
características:
SEGUNDA VERSIÓN. Validación del
instrumento de evaluación de
Competencias TIC tras el grupo de
discusión.
VERSIÓN DEFINITIVA DEL
INSTRUMENTO. Validación del
instrumento de evaluación de
Competencias TIC tras la prueba Piloto.

19. Resultados
PRIMERA VERSIÓN Ver Primera Versión
MOMENTO DE MODIFICACIÓN
Primer diseño realizado
ESTRUCTURA DEL
INSTRUMENTO
50 preguntas/ítems
2 sesiones y 3 partes.
Ítems mezclados en un cuestionario y una segunda prueba práctica en una sala de
ordenadores.
NUMERACIÓN
Diferentes formatos de numeración en tablas y enunciados
TIPO ESCALA
Diferentes tipos de escalas (5 opciones de respuesta, 6 opciones, etc.)
INSTRUCCIONES
Explicación de las sesiones y de las partes del instrumento
DATOS ETNOGRÁFICOS Interés para estadísticas descriptivas, aquí se propuso poner:
Edad, sexo, experiencia docente, área de conocimiento, universidad y categoría profesional.

20. SESIÓN 1
PRIMERA VERSIÓN Ver Primera Versión
1ª Parte
22 ítems
Resultados
Miden: conocimientos hacia las TIC y conocimiento de determinadas estrategias metodológicas,
herramientas y aplicaciones
2ª Parte
23 ítems
Por medio de la recogida de evidencias (documentos, enlaces, demostraciones, etc. aquí se mide:
Uso estrategias metodológicas, herramientas y aplicaciones, difusión en red, evaluación con TIC,
participación en proyectos de innovación TIC, etc.
SESIÓN 2
4 ítems
Prueba práctica docente en sala de ordenadores completamente equipada
Aquí se mide:
Demostración manejo, conocimientos observables, capacidad de resolución de incidencias
técnicas, etc.
Técnica de recogida información:
Anotación observaciones en Lista de Control

21. Resultados
SEGUNDA VERSIÓN Ver Segunda Versión
MOMENTO DE MODIFICACIÓN Tras el grupo de discusión
ESTRUCTURA DEL INSTRUMENTO
- 13 preguntas + subapartados
- 2 sesiones y 3 partes
- Más unificadas y con más coherencia
NUMERACIÓN
- Mismo formato para todas las tablas y enunciados
- Realización Tabla equivalencia: VER TABLA
Indicador/ parte del instrumento/ pregunta/ medida /nivel de dominio de
competencia TIC
TIPO ESCALA - Unificación 5 opciones de respuesta
- Redacción escalas igual todas
INSTRUCCIONES - Modificación redacción adaptada a la nueva estructura del instrumento.
DATOS ETNOGRÁFICOS
Se añade:
- Categoría profesional “profesor asociado”
- Área de conocimiento “ciencias”.
- Para ayudante, becario de investigación y asociados ahora se le pregunta si es
doctor.

22. Resultados
SEGUNDA VERSIÓN Ver Segunda Versión
SESIÓN 1
1ª Parte - 3 preguntas + subapartados
- Unificado:
Cuestionario de actitud frente a las TIC
- Preguntas de demostración de evidencias pasan a la 2ª parte
2ª Parte - 7 preguntas + subapartados
- Demostración adjuntando evidencias
SESIÓN 2
- 3 preguntas + subapartados
- Prueba realizada con el propio ordenador portátil del docente
- Recogida de información: Realización de una prueba escrita por parte del
sujeto

23. Resultados
RESULTADOS DE LA PRUEBA PILOTO: CASO 1
NIVEL 1
Actitud medianamente favorable y positiva
CERTIFICA NIVEL
Escala de Actitud Frente a las TIC: 4,27 puntos
7 puntos resto de la prueba
NIVEL 2
CERTIFICA NIVEL
Escala de Actitud Frente a las TIC: 3,5 puntos
11 puntos resto de la prueba
NIVEL 3
16 puntos CERTIFICA NIVEL
Tiempo de la prueba:
Cuestionario en red: 1 hora y 45
minutos
Prueba Práctica con ordenadores: 1
hora
Características del sujeto:
- No ha colaborado en el proceso de
validación.
- Profesor del departamento de
Didáctica y Organización Escolar de la
Facultad de Educación de la UM.
- Experiencia docente en el
departamento: más de 20 años
- Experto en Nuevas Tecnologías: Con
formación en Tecnología Educativa y
Docente actual de Tecnología Educativa.

24. Resultados
RESULTADOS DE LA PRUEBA PILOTO: CASO 2
Tiempo prueba:
- Cuestionario en red: 1 hora.
- Prueba Práctica con ordenadores:
45 minutos.
Características del sujeto:
- No ha colaborado en el proceso
de validación.
- Profesor del departamento de
Teoría e Historia de la Facultad de
Educación de la UM.
- Experiencia docente en el
departamento: 35 años.
- Inexperto en Nuevas Tecnologías.
NIVEL 1
Actitud medianamente favorable y positiva
NO CERTIFICA NIVEL
Escala de Actitud Frente a las TIC:
4,06 puntos
4 puntos resto de la prueba
NIVEL 2
NO CERTIFICA NIVEL
Escala de Actitud Frente a las TIC:
4,5 puntos
3 puntos resto de la prueba
NIVEL 3
1 punto NO CERTIFICA NIVEL

25. Resultados
VERSIÓN DEFINITIVA DEL INSTRUMENTO Ver Aquí
MOMENTO DE MODIFICACIÓN Tras prueba piloto
ESTRUCTURA DEL INSTRUMENTO
- 14 preguntas + subapartados
- 2 sesiones y 3 partes
NUMERACIÓN
- Igual que la versión 2
TIPO ESCALA
- Igual que la versión 2 excepto pregunta 7 de la 2º parte: Cambia “siempre” por
“muy a menudo”
INSTRUCCIONES - Igual que la versión anterior
- Se añaden los comando para hacer una captura de pantalla
DATOS ETNOGRÁFICOS - Igual que la versión anterior

26. VERSIÓN DEFINITIVA DEL INSTRUMENTO Ver Aquí
SESIÓN 1
Resultados
- Igual que la versión anterior
- Reformulación algunos enunciados para mejorar
comprensión de la pregunta
- Igual que la versión anterior
- Se suprimen las estrategias metodológicas:
Webquest y Caza del tesoro
SESIÓN 2
- 4 preguntas + subapartados
Se actualizan las herramientas:
- Suprime escritorios personalizados
- Añade mensajería instantánea con ordenador
- Se añade un apartado de conocimientos
ofimáticos a las herramientas
Se añade un problema práctico para demostrar
aprendizaje autónomo con TIC
1ª Parte
2ª Parte

27. Conclusiones y propuestas de futuro
Objetivos específicos
Objetivo 1
Hemos determinado
ámbitos e indicadores de
evaluación de la
competencia TIC del
profesorado universitario
Objetivo 2
Hemos diseñado un
instrumento de
certificación de dicha
competencia
Objetivo 3
El instrumento ha sido
validado
Objetivo
General

28. Conclusiones y propuestas de futuro
Propuestas
de Futuro
Nueva parte práctica
de “Herramientas TIC
en el aula”
Establecer subniveles de
dominio. Ejemplo:
OpenBadges
Otra prueba piloto:
Individual y a nivel
grupal
Implementar
certificación
oficialmente para las
Universidades
Españolas
Crear y difundir
cursos de formación
por niveles de
competencia TIC.
Ejemplo cursos
MOOC

29. Diseño y Validación de un instrumento de evaluación
para la certificación de la competencia TIC del
profesorado universitario
Trabajo Fin de Máster
Autora: Marta Durán Cuartero
Directora: Isabel Gutiérrez Porlán
Programa Oficial de Máster y Doctorado en Tecnología Educativa: E-Learning y Gestión del Conocimiento