Evaluación Habilidades SFIA.

1. Evaluación
Habilidades SFIA
Área de Informática y Telecomunicaciones
Vicerrectoría Académica de Pregrado
Agosto 2014

2. Proyecto:
Evaluación Habilidades SFIA
Contexto
 Otoño de 2012, entran en vigencia nuevos planes para:
 Analista Programador (B50-8)  5 Semestres
 Ingeniería en Informática (T60-6)  8 Semestres
 Perfil de Egreso expresado en Habilidades SFIA con niveles de
madurez para cada habilidad.
 Otoño 2014, egreso 1ra cohorte de Analista Programador

3. Proyecto:
Evaluación Habilidades SFIA
Objetivos:
 Medir el desarrollo de las habilidades SFIA en las carreras del
Área Informática y Telecomunicaciones.
 Retroalimentar el diseño curricular respecto de los resultados
de logro de habilidades SFIA.
 Evaluar la plataforma de evaluación Validate Skills y su
relación con el Marco de Habilidades SFIA.
 Mostrar claramente los beneficios del uso de SFIA en los
programas de estudio actualizados.

4. Recordemos: ¿Que es SFIA?
Skills Framework for the Information Age

5. Categorías, Subcategorías y
Habilidades SFIA
Programación (PROG)

6. Competencias Seleccionadas para el Proyecto
Perfil de Egreso - Analista Programador
Habilidad
SFIA
Descriptor Habilidad SFIA
Construir programas a partir de requerimientos de diseño,
generando la documentación necesaria de acuerdo a
normas establecidas
PROG
Nivel 3
Desarrollo de software o
programación
Diseñar el repositorio para el almacenamiento de
información estructurada y no estructurada en función de
las necesidades del negocio
DBDS
Nivel 4
Diseño de bases de datos o
almacenes
Integrar componentes, subsistemas y sus interfaces,
realizando pruebas de funcionamiento
SINT
Nivel 3
Integración de sistemas
Administrar los requerimientos del negocio para asegurar
la implementación de los cambios acordados
REQM
Nivel 3
Gestión y definición de
requisitos
Diseñar sistemas de información y sus componentes,
manteniendo la compatibilidad con la arquitectura de la
solución y de la empresa
DESN
Nivel 3
Diseño de sistemas
Habilidades SFIA…
en la evaluación

7. Etapas iniciales del Proyecto
I. Planificación y Diseño
Diseño de evaluaciones
 Selección de asignaturas integradoras de competencias del perfil de egreso
 Diseño de la estructura de la evaluación para cada asignatura seleccionada
 Asignación de preguntas a las habilidades SFIA, según nivel, a ser evaluadas
 Selección de 100 estudiantes que cumplan con requisitos necesarios para
ser evaluados.
Configuración de validateskills.com
 Configuración de espacio privado para INACAP
 Ingreso de preguntas a la base de datos y configuración de las evaluaciones
 Configuración de cuentas de usuarios para 100 estudiantes
II. Ejecución y Análisis
a. Capacitación participantes sede (Docentes y Alumnos)
b. Realización de las evaluaciones (3 evaluaciones x estudiante)
c. Consolidación de resultados y generación de reportes
d. Evaluación de resultados y factibilidad de escalamiento para el
proyecto.

8. Asignaturas v/s Habilidades
Asignaturas 5to. semestre REQM DESN SINT PROG DBDS
Ingeniería y Gestión de Requerimientos
(TI1217)
√ √
Ingeniería de Software (TI1218) √ √ √ √
Modelamiento de Procesos de Negocio
(TI1219)
√ √
Niveles SFIA Nivel 3 Nivel 3 Nivel 3 Nivel 3 Nivel 4

9. ¿Como evaluar?
Tabla de Especificación
Objetivo:
 Establecer la estructura de un instrumento de evaluación:
 Aprendizajes Esperados
 Criterios de Evaluación
 Tipo de pregunta
 Nivel de complejidad
 Ponderación de cada pregunta
 Tiempo de resolución

10. Instrumento de Evaluación
Habilidad Cant. Ejercicios Ponderación
DBDS 1 5%
DESN 11 34%
PROG 15 27%
SINT 6 15%
REQM 10 19%
TOTAL PREGUNTAS 43 100%
Tiempo Total de la
Evaluación
188 minutos
Tipo de Pregunta Cantidad
Verdadero y Falso 12
Términos Pareados 5
Selección Múltiple/Compuesta 17
Método de Casos (Pauta de Cotejo) 7
Desarrollo (Rúbrica) 2
TOTAL PREGUNTAS 43

11. Aplicación de la Evaluación

12. Plataforma de Evaluación
• Validate Skills es una plataforma
exclusivamente construida con el fin de
evaluar las habilidades contenidas en SFIA

13. Validate Skills
Funcionalidades Generales
• Permite
– Construir sets de preguntas de acuerdo a sus
necesidades
– Subir archivos adjuntos de respuestas
– Asociar sets de preguntas a distintas evaluaciones
– Generar evaluaciones para habilidades específicas
– Realizar evaluaciones simultaneas a diversos
roles/perfiles
– Medir el progreso de las personas evaluadas vía e-
Portfolio

14. Validate Skills
Panel del evaluado

15. Resultados

16. 1.5 Produce un software como una solución de negocio
de acuerdo a un caso específico.
2.3 Aplica estrategias y métodos de diseño de software
en la solución a un problema específico.
2.4 Explica los conceptos relacionados con la
construcción de software en base a sus métodos y
estrategias.
1.2 Reconoce la estructura de un proceso de negocio en
el contexto de una organización.
Resultados
Aprendizajes Esperados Evaluados
1.1 Reconoce los tipos de requerimientos, considerando
su rol en las organizaciones actuales.
1.3 Aplica la técnica de obtención de requerimientos
acorde a la problemática de la organización.
3.1 Aplica mejores prácticas al desarrollo de
requerimientos en el contexto de un caso de estudio.
(Resultados no incluyen preguntas de desarrollo, aún no disponibles su corrección)
2.5 Describe los conceptos
asociados a la fase de pruebas
de Software en el ciclo de vida
de software
Ponderación 15%
43%
Logro del Nivel 3 v/s Habilidad SFIA
57%
86%
Ponderación 34%
69%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
Ponderación 19%
1.4 Reconoce los conceptos asociados a la gestión de
proyectos informáticos y sus distintas fases en su
correspondiente ciclo de vida.
2.1 Explica las áreas de conocimiento de la Ingeniería de
Software de acuerdo a SWEBOK.
Ponderación 27%
SINT REQM PROG DESN

17. Resultados
Aprendizajes Esperados Evaluados
(Resultados no incluyen preguntas de desarrollo, aún no disponibles su corrección)
39%
Nivel de Logro por Sede
72%
89%
78%
45% 48%
84%
65%
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
SINT REQM PROG DESN
SEDE 1 SEDE 2

18. Principales Conclusiones
 Evaluación no incluida en las asignaturas y no conducente
a nota, conlleva baja participación por parte de alumnos.
 De la muestra de 100 alumnos, participaron 49 alumnos en
la evaluación.
 De las tres evaluaciones definidas, se integraron en una
evaluación general.
 La herramienta Validate Skills no tiene incorporados los
instrumentos de Rúbrica y Pautas de Cotejo.
 La metodología utilizada se observa como una potente
herramienta de análisis de competencias y logro de
habilidades SFIA.
 Se logran los objetivos del proyecto. Aún falta el análisis de
las preguntas de desarrollo.

19. Muchas Gracias
Twitter: @kquiroga