Presentación de la Dra. Stephanie Carretero, @deunacarretero, de JRC Sevilla, @EU_ScienceHub, para la Jornada "El Portfolio de la Competencia Digital Docente" celebrada en INTEF el 14 de septiembre de 2017.

1. The European Commission’s
science and knowledge service
Joint Research Centre
Jornada INTEF "El Portfolio de la Competencia Digital", Madrid, 14 de septiembre
2017
LA EVALUACIÓN DE LA COMPETENCIA DIGITAL
Dr. Stephanie Carretero Gómez, Joint Research Centre
stephanie.carretero-gomez@ec.europa.eu
@deunacarretero

2. 2
The Joint Research Centre
at a glance
3000 staff
Almost 75% are scientists
and researchers.
Headquarters in Brussels
and research facilities
located in 5 Member States.
DG JRC – Directorate
Innovation and
Growth. Unit B4
Human Capital and
Employment:
Education & Skills
team

3. 3
1. Relevancia de la evaluación de la competencia digital
2. La evaluación para mejorar la competencia digital de la
ciudadanía
2.1. Comprender mejor la competencia digital
2.2. ¿Cómo evaluar la competencia digital?
3. Conclusiones

4. 4
1. Relevancia de la evaluación
de la competencia digital
El requerimiento de la competencia digital está
incrementando en muchos sectores y profesiones (Comisión
Europea, 2009)

5. 5

6. 6
Abril2016
Digital Agenda Score Board, 201

7. 7
"La transformación digital está
cambiando el mercado laboral y
la naturaleza del trabajo"
Necesita de un conjunto de
competencias transversales:
digitales, liderazgo,
emprendimiento, ingeniería.
No atendidas por sistemas
educativos y de formación

8. 8
New Skills Agenda for Europe (2016): 3
prioridades:
• Mejorar el nivel de competencias y su
relevancia para el mercado laboral en Europa
• Hacer que las competencias y las
cualificaciones sea más fáciles de entender y
comparar entre fronteras y sectores
económicos.
• Mejorar la previsión y la comprensión de las
necesidades de competencias ahora y en el
futuro.
Foco en digital skills
Revisión del marco de competencias
claves: DigComp para un
entendimiento común y potenciar las
competencias digitales

9. 9

10. 10
Digital Skills Index (2016) – La población europea:
• 45% insuficientes competencias digitales: 17
Estados Miembros % superior
• 21% no competencias digitales
• 26% nunca ha usado software básicos
• 35% no sabe que los cookies rastrean sus
movimientos online

11. 11

12. 12

13. 13
Competencia digital y participación en MOOCs
0
1
2
3
4
5
6
7
Lower quintile
digital
competence
Medium low
quintile digital
competence
Medium
quintile digital
competence
Medium high
quintile digital
competence
Higher quintile
digital
competence
Enrolled Completed Completed with certificate
• High self-declared level of digital skills
• Clear relationship between digital skills and participation in MOOCS
Position in digital skills quintile
and participation in MOOCs in the
past
N=1910 (ALL MOOCs), Genocide MOOC only included for Enrolled.
Fuente: Castaño Muñoz, J et al.
(2016):
MOOCs in Europe: Evidence from
pilot surveys with universities and
MOOC learners.
https://ec.europa.eu/jrc/sites/jrcsh/fil
es/JRC%20brief%20MOOCs_JRC1019
La competencia digital
juega un papel clave en
la intensidad de
participación en las
MOOCs. A mejor
competencia digital del
participante, más
participación en
MOOCs.

14. 14
• Ciudadanos con competencias digitales más posibilidad de tener
un empleo– población inmigrante con competencias digitales más
posibilidades de tener un trabajo, promocionar, etc (Carretero et al.,
2016)
http://is.jrc.ec.europa.eu/pages/EAP/eInclusion/IEM_Ictegra.html
• Entre el 20 y el 25 % de los adultos europeos de entre 16 y 65 años
con un bajo nivel de capacitación en lectura, escritura, cálculo y
resolución de problemas en entornos tecnológicos tienen menos
probabilidades de participar plenamente en la economía y la sociedad
digitales (Consejo de la Unión Europea, 2016)
• La competencia digital facilita el cambio tecnológico en los
sistemas y servicios públicos – Bajas competencias digitales entre
profesionales de la salud barrera para la incorporación digital (Carretero
et al., 2013, Carretero, 2015)
http://is.jrc.ec.europa.eu/pages/EAP/eInclusion/carers.html

15. 15
2. La evaluación para mejorar
la competencia digital de la
ciudadanía

16. 16
La competencia digital puede ser enseñada y mejorada a través
de intervenciones, programas de formación y educación. Para
ello, es crítico (Litt, 2013):
Comprender
mejor que
implica la
competencia
digital
Evaluar la
competencia
digital

17. 17
2.1. Comprender mejor la
competencia digital

18. 18
Comprender
mejor que implica
la competencia
digital
DigComp:
Ciudadanos
DigCompEdu:
Profesorado
DigCompOrg:
Organizaciones
educativas

19. 19
DigComp – competencia digital para la ciudadania:

20. 20

21. 21

22. 22
DigCompEdu – competencia digital para el profesorado:
Redecker, in progress

23. 23
https://ec.europa.eu/jrc/en/digcomporg
DigCompOrg – competencia digital para las organizaciones educativas

24. 24
Basado en DigCompOrg, JRC está desarrollando ahora SELFIE
SELFIE (Self-reflection on Effective Learning by Fostering Innovation
through Educational Technology) es un instrumento de autoevaluación
para las escuelas que quiere reflejar su compromiso con las tecnologias
digitales para un mejor aprendizaje
SELFIE está siendo pilotado por el JRC
y DG EAC en>600 escuelas en 14
paises de la UE entre Sept-Oct 2017
-> version final 1er semestre de
2018

25. 25
2.2.¿Cómo evaluar la
competencia digital?

26. 26
La evaluación es una herramienta relevante para:
• Definir recursos formativos para estudiantes y los individuos en
general (trabajo, educación, etc.)
• Aquellos individuos que quieren incrementar su nivel de
competencia digital, para alcanzar un determinado nivel
• Aquellas organizaciones que necesitan personal con un
determinado nivel de competencia digital
• Aquellos responsables políticos que necesitan seguir desarrollos
y definir futuras acciones para mejorar las competencias de la
ciudadanía.
Ala-Mutka et al., (2011)

27. 27
Falta de adecuados instrumentos de evaluación disponibles en
la actualidad
• Limitado interés en la investigación de la medida de la competencia digital (Meelisen,
2008)
• Poco consenso sobre lo que tiene que ser evaluado y cómo ha de desarrollarse ese
instrumento (Maderick et al., 2015)
• Muchos instrumentos solo evalúan unas facetas de la competencia digital (comunicación
digital, colaboración y resolución de problemas son menos evaluadas) (Siddiq et al.,
2016)
• Ausencia de normas adecuadas que documenten los instrumentos de competencia
digital
• Falta de estudio de la fiabilidad (ej. Ítems del test miden competencia digital) y validez
de los instrumentos (ej. El test mide la competencia digital).

28. 28
Tipos de instrumentos de evaluación de la competencia
digital
Medidas de
realización u
observación
(informatizados)
Medida directa
Realización de tareas
Medidas de
autoevaluación
Medida indirecta (más
usada)
Evaluación de la
propia realización
Uso, conocimiento,
percepciones y
actitudes
http://ikanos.encuesta.euskadi.net/index.php/566697/lang-es

29. 29
Tipos de instrumentos de evaluación de la competencia
digital
Medidas de
conocimiento
Medida indirecta
Que haría o pasaría en
una situación real
Conocimiento
procedimental
https://pix.beta.gouv.fr/
Datos
secundarios
Cuestionarios,
encuestas

30. 30
Medidas realización Autoevaluación Medidas de conocimiento
+ • Mejor forma de evaluar la
competencia digital
• Registro automático de indicadores
(tiempos de respuesta, secuencia de
clicks, etc.)
• Resultados robustos
• Pocos recursos
• Muestras grandes
• Eficiente
• Útil para evaluar el aprendizaje y la
progresión (Guía de formación
interna)
• Informa sobre atributos
• Datos ricos en
combinación con la
autoevaluación
• Rápidos y baratos de
desarrollar
- • Consume tiempo
• Más gastos personal y equipo
• Difícil comparar y replicar
• Muestras pequeñas
• Problemas técnicos
• Falta de equipamiento necesario
(inversión)
• Sesgo de lenidad o indulgencia (uso
limitado como medida única) – Datos
más ricos en combinación con otros
instrumentos.
• Evitan el sesgo de lenidad
Ventajas e inconvenientes de cada tipo de instrumento
de evaluación de la competencia digital

31. 31
¿Qué instrumento elegir para la evaluación de la competencia
digital definida según DigComp?
• Estudio JRC: revisión de la literatura "evaluación de la competencia digital" "evaluación
de las destrezas digitales"
• Objetivo: obtener recomendaciones para la construcción de un instrumento de la
competencia digital basado en DigComp
• Búsqueda y selección de instrumentos de evaluación de la competencia digital, en uso
• Análisis de las siguientes variables:
• Tipo de medida
• Audiencia
• Antecedentes
• Principales características
• Informes
• Metodología
• Propiedades psicométricas
• Evaluación externa

32. 32 Fuente: Carretero et al., 2016 (informe no publicado)
Resultados estudio JRC: 22 instrumentos

33. 33
• Variedad – número limitado de instrumentos de evaluación:
• 5 tests de realización
• 5 instrumentos de autoevaluación
• 5 instrumentos de conocimiento
• 2 encuestas
• 5 son combinaciones de tipos de instrumentos (realización/conocimiento +
autoevaluación)
• Tienen finalidades diferentes:
• certificación (realización),
• evaluación y guía de estudiantes o individuos,
• guía de carrera y empleabilidad, investigación, y
• encuestar la competencia digital
Resultados estudio JRC

34. 34
• Pocas publicaciones en una revisión últimos 15 años
• Solo 13 de los 22 instrumentos incluyen información sobre la metodología en la
construcción del instrumento (13 de los 22)
• Solo 7 instrumentos recogen datos sobre la fiabilidad y validez del instrumento: Los
instrumentos no confirman que realmente evalúan lo que pretenden medir, y que son
replicables a lo largo del tiempo
• Los instrumentos están compuestos por 20-30 items de elección múltiple
Resultados estudio JRC

35. 35
• Recomendaciones para la construcción de un instrumento de evaluación:
• Necesaria la disponibilidad de un marco conceptual para la construcción de un
instrumento, define el contenido y las facetas de la competencia digital: solo 5 de los
instrumentos usaron DigComp (Self-assessment toolkit for nursing students, IKANOS,
Guadalinfo, Skillage, Digital Skills Index).
• Combinar ítems de autoevaluación y conocimiento: fácil de diseñar, rápido de
administrar, resultados fiables, válidos y robustos. Autoevaluación para evaluar
actitudes
• Recogida de otros datos más allá de la competencia digital (ej. Acceso al entorno
digital)
Resultados estudio JRC

36. 36
• Recomendaciones para la construcción de un instrumento de evaluación:
• Acceso online para favorecer llegar a más individuos y automatizar la recogida y
análisis de los datos con menos recursos. Importante similar a versión papel, incluir
tutoriales y guias para no o bajo nivel de competencia digital
• Reportar para informar a los individuos, organizaciones y gobiernos sobre el nivel de
competencia digital: perfiles digitales, guias para la empleabilidad y la formación,
bases de datos para análisis, etc.
• Verificación de la fiabilidad y validez del instrumento
• Guias que favorezcan la administracion del instrumento y su replicabilidad
Resultados estudio JRC

37. 37
3. Conclusiones

38. 38
• Necesidad de mejorar la competencia digital de la población y todos los
implicados para poder atender las demandas de la tecnología en el mundo
laboral
• Es fundamental para ello la disponibilidad de un marco que defina la
competencia digital y de la evaluación de la competencia digital
• Disponibilidad de marcos europeos: DigComp, DigCompEdu, DigCompOrg
• Poco consenso y disponibilidad de instrumentos e información sólida y
comprehensiva en la evaluación de la competencia digital
• Diferentes instrumentos, combinación entre instrumentos de
realización/conocimiento con autoevaluación parece ser lo adecuado

39. 39
• Necesidad de un marco conceptual para el desarrollo de un instrumento
adecuado
• Proporcionar información sobre fiabilidad y validez
• JRC trabajando actualmente en el desarrollo de un instrumento de
evaluación de la competencia digital basado en DigComp 2.1 y
destinado a los niveles básicos e intermedios – niveles 1 a 4.
Principales características:
• 63 items, 3 opciones de respuesta
• Instrumento de conocimiento y de autoevaluación (actitudes)
• Pilotado en 3 Estados Miembros
• Disponible en versión electrónica similar a una versión en papel
• Documento metodológica para su aplicación y replicabilidad, y lecciones
aprendidas
• Disponible en Junio 2018

40. 40
https://ec.europa.eu/jrc/en/digcomp

41. 41
Stay in touch
•EU Science Hub: ec.europa.eu/jrc
•Twitter: @EU_ScienceHub
•Facebook: EU Science Hub - Joint Research Centre
•LinkedIn: Joint Research Centre
•YouTube: EU Science Hub