Knowledge-based recommendation strategies for personalized access to Learning Object repositories

Estrategias de recomendaciń basadas en
o
conocimiento para la localizaciń personalizada de
o
recursos en repositorios educativos
Almudena Ruiz Iniesta
Dirigida por los doctores
Mercedes G´mez Albarrń y Guillermo Jimńez D´
o
a
e
ıaz
Departamento de Ingenier´ del Software e Inteligencia Artificial
ıa
Facultad de Informatica
Universidad Complutense de Madrid
20 de Diciembre de 2013

´
Indice I
1

Motivaciń
o
Sistemas de recomendaciń en el ´mbito educativo
o
a
L´
ıneas de investigaciń abiertas
o
Objetivos

2

Estrategias de recomendaciń para repositorios de objetos de aprendizaje
o
Las fuentes de conocimiento
Estrategia de recomendaciń basada en conocimiento sensible al contexto que
o
promueve altos niveles de personalizaciń
o
Estrategia de recomendaciń basada en conocimiento que promueve la diversidad
o
Estrategia de recomendaciń basada en conocimiento que combina proactividad y
o
o
navegaciń por propuesta

3

Un framework para el desarrollo de recomendadores basados en conocimiento en el
a
´mbito educativo

4

Evaluaciń de las estrategias de recomendaciń
o
o
Aplicaciń de las estrategias de recomendaciń a un repositorio de recursos
o
o
educativos de Programaciń
o
An´lisis del comportamiento y evaluaciń computacional de las estrategias
a
o
propuestas
Evaluando las estrategias de recomendaciń con profesores y alumnos
o

5

Conclusiones
Publicaciones

6

Trabajo Futuro

Tesis doctoral


2

´
Indice I
1

Motivaci´n
o
o
a
L´
o
Objetivos

2

o
o
o
o
o
o

3

a
´mbito educativo

4

o
o
o
o
o
a
o
propuestas
o

5

Conclusiones
Publicaciones

6

Trabajo Futuro

Tesis doctoral


3

Motivaciń
o

Diariamente estamos expuestos a una cantidad de informaciń
o
que aumenta mucho m´s r´pido que nuestra capacidad para
a a
procesarla
Tambiń en el ´mbito educativo donde proliferan los
e
a
contenidos educativos
Repositorios de contenidos educativos

Tesis doctoral


4

Problema

Inhibiciń de una adopciń mayor de los repositorios de
o
o
aprendizaje
Los usuarios de los repositorios echan en falta (Yergler, 2010;
Dichev and Dicheva, 2012)
Recursos adaptados
Listas pequeãs y variadas
n
Mecanismos de interacciń que permitan explorar el espacio de
o
los recursos y que reduzcan el esfuerzo de localizaciń
o

Reto
Proporcionar soporte a la localizaciń de aquellos contenidos que
o
se adapten a las necesidades, objetivos, preferencias, etc. de los
usuarios

Tesis doctoral


5

Introducciń: Sistemas de recomendaciń
o
o

Misiń
o
Facilitan la toma de decisiones en temas/dominios en los que las
posibilidades de elecciń son muchas y variadas
o
Recomendadores en educaciń
o
Candidatos a ser incorporados en los repositorios de recursos
educativos con el fin de proporcionar al usuario recursos que se
adapten a sus necesidades

Tesis doctoral


6

Introducciń: Sistemas de recomendaciń en el ´mbito
o
o
a
educativo

Recomendaciń de recursos
o
Recomendadores basados en filtrado colaborativo
No sacan partido del conocimiento del dominio
No existe preocupaciń por la diversidad
o
Tampoco existe preocupaciń por aliviar el esfuerzo y el
o
tiempo empleado por un usuario en encontrar el recurso que
mejor se adapte a sus necesidades

Tesis doctoral


7

Introducciń: L´
o
o

En otro dominios tambiń se busca mejorar la calidad de las
e
recomendaciones
La explotaciń de la informaciń contextual
o
o
La diversidad de los resultados en la recomendaciń
o
Reducir el esfuerzo del usuario en conseguir un resultado
deseable

Tesis doctoral


8

Introducciń: Informaciń contextual
o
o

Definiciń
o
Los par´metros de la situaciń que pueden ser conocidos por el
a
o
sistema y que pueden tener un impacto en la selecciń y
o
clasificaciń de los resultados de recomendaciń
o
o
Introducir informaciń adicional en la recomendaciń: lugar,
o
o
hora, estado de ńimo, actividades en grupo, etc.
a
Utilizar el contexto para introducir un modelo de usuario que
mejore la personalizaciń
o

Tesis doctoral


9

Introducci´n: Diversidad
o

Caracter´
ıstica que nos habla de la variedad que encontraremos
entre los productos recomendados
Evita la monoton´
ıa
Promueve que los usuarios reciban sugerencias que acierten en
sus gustos
Ofrece distintas alternativas de elecci´n
o

Tesis doctoral


10

Introducciń: Alternativas de interacciń
o
o

Formulaciń de consultas
o
Esfuerzo para los usuarios con poco conocimiento del dominio

Aligerar la carga de trabajo del usuario
Comportamiento proactivo del recomendador

Proceso iterativo (conversaciń) en el que el usuario puede ir
o
refinando sus requisitos hasta obtener productos adecuados
para ´l
e

Tesis doctoral


11

Objetivos I

Este trabajo intenta mejorar las estrategias de recomendaciń
o
actuales mediante:
La adaptaciń al contexto del usuario
o
La incorporaciń de diversidad en los recursos recomendados
o
La exploraciń de estrategias de interacciń con un
o
o
comportamiento proactivo complementando con facilidades de
navegaciń por el espacio de soluciones
o

Tesis doctoral


12

Objetivos II

Definiciń de tres estrategias de recomendaciń que alivien los
o
o
problemas planteados
Introducir conocimiento adicional sobre el dominio y sobre el
usuario
Desarrollo de un framework orientado a objetos
Aplicaciń de las estrategias gen´ricas a un repositorio
o
e
An´lisis del comportamiento de las estrategias
a
Evaluaciń en una comunidad real de profesores y estudiantes
o

Tesis doctoral


13

´
Indice I
1

Motivaci´n
o
o
a
L´
o
Objetivos

2

o
o
o
o
o
o

3

a
´mbito educativo

4

o
o
o
o
o
a
o
propuestas
o

5

Conclusiones
Publicaciones

6

Trabajo Futuro

Tesis doctoral


14

Estrategias de recomendaciń para repositorios de objetos
o
de aprendizaje

1

Mejorar la capacidad de adaptaciń de las recomendaciones
o

2

Aliviar el problema de la sobreespecializaciń
o

3

Aliviar la sobrecarga de trabajo

Estas tres estrategias sacarń partido del mismo conocimiento: la
a
ontolog´ del dominio, los objetos de aprendizaje y la
ıa
informaciń contextual
o

Tesis doctoral


15

Las fuentes de conocimiento: Ontolog´ del dominio
ıa

Taxonom´ con los conceptos del dominio que permite
ıa
incorporar conocimiento sobre similitud
Indexaci´n de los objetos de aprendizaje
o
Contener conocimiento sobre la informaci´n contextual
o

Tesis doctoral


16

Las fuentes de conocimiento: Objetos de aprendizaje

Estńdar Learning Object Metadata (LOM): general, ciclo de
a
vida, tćnica, educativa y relaciń
e
o
General: contiene palabras clave que nos indican qu´ conceptos
e
del dominio estń cubiertos por el objeto de aprendizaje
a

Tesis doctoral


17

Informaciń contextual
o

Dos tipos de informaciń contextual
o
Contexto de la actividad: inclusiń de itinerarios/caminos de
o
aprendizaje
En la ontolog´ relaciones de precedencia entre los conceptos
ıa

Contexto del estudiante: objetivos alcanzados
Modelado overlay (o superpuesto) basado en ontolog´
ıa

Tesis doctoral


18

Estrategia que promueve altos niveles de personalizaciń
o

Comportamiento reactivo
El estudiante proporciona una consulta expl´
ıcita al sistema
Recomendaciń en tres pasos
o
Recuperaciń, Filtrado y Valoraciń
o
o
Personalizaciń fuerte
o
Consecuciń de objetivos a corto y largo plazo
o

Tesis doctoral


19

Etapas de la recomendaci´n
o

Recuperaci´n
o
Conjunto inicial de objetos de aprendizaje que satisfagan de
una manera aproximada la consulta del estudiante

Filtrado
Dejar en el conjunto s´lo aquellos objetos de
o
aprendizaje “listos para ser explorados”
Es un concepto ya explorado por el usuario
Es un concepto que el usuario todav´ no ha explorado pero
ıa
puede ser uno de los siguientes a aprender: umbral de progreso

Valoracion
Asigna calidad a cada objeto de aprendizaje obtenido en el
proceso anterior y los ordena

Tesis doctoral


20

M´tricas de calidad
e

Calidad(L, S, Q) = α · Similitud(L, Q) + (1 − α)·UP(L, S)
donde α ∈ [0, 1]

Calidad(L, S, Q) =

1
α
Similitud(L,Q)

+

(1−α)
UP(L,S)

donde α ∈ [0, 1]
S: estudiante L: objeto de aprendizaje Q: consulta

Tesis doctoral


21

M´tricas para las utilidades parciales I
e

La Similitud eval´a c´mo de parecidos son los conceptos
u o
contenidos en la consulta y los conceptos que cubre un objeto de
aprendizaje (Gonz´lez-Calero et al., 1999)
a
Similitud(L, Q) =

|super (Q conj c) super (L conj c)|
|super (Q conj c)| · |super (L conj c)|

L: objeto de aprendizaje Q: consulta

Tesis doctoral


22

M´tricas para las utilidades parciales II
e

La Utilidad Pedag´gica (UP) se refiere a lo adecuado que es el
o
objeto de aprendizaje para el estudiante en funciń de su
o
informaciń contextual (Siemer and Angelides, 1998)
o
UP(L, S) = 1 − MAN(L, S)
S: estudiante L: objeto de aprendizaje

Tesis doctoral


23

Estrategia que promueve la diversidad

Comportamiento reactivo
El estudiante proporciona una consulta expl´
ıcita al sistema
Recomendaciń en cuatro pasos
o
Recuperaciń, Filtrado, Valoraciń y Selecciń
o
o
o
Diversidad
Proceso de selecciń basado en diversidad
o

Tesis doctoral


24

Etapas de la recomendaciń
o

Los procesos de recuperaciń y filtrado son similares a los de
o
la estrategia anterior
La etapa de valoraciń le asigna a cada objeto de
o
aprendizaje una puntuaciń basada en la similitud que ´ste
o
e
muestra con la consulta
El proceso de selecciń es el encargado de introducir
o
diversidad en el conjunto final de objetos de
aprendizaje recomendados

Tesis doctoral


25

Selecciń por diversidad
o
Selecciń por diversidad basado en (Smyth and McClave, 2001)
o
Entrada: Q, R, k
Salida: P
1: P := {}
2: para i := 1 hasta k hacer
3:
Ordenar R por Calidad(L, P, Q) para cada L en R
4:
P := P+ primero(R)
5:
R := R - primero(R)
6: fin para
7: devolver P
Q: consulta L: objeto de aprendizaje R: conjunto de recuperados +
filtrados P: conjunto propuesto
Tesis doctoral


26

M´tricas de calidad
e

Para el c´lculo de la calidad
a
Calidad(L, P, Q) = α · Similitud(L, Q) + (1 − α)·RelD(L, P)
donde α ∈ [0, 1]

Calidad(L, P, Q) =

1
α
Similitud(L,Q)

+

(1−α)
RelD(L,P)

donde α ∈ [0, 1]

Tesis doctoral


27

M´tricas para las utilidades parciales
e

Para el c´lculo de la diversidad relativa (Smyth and McClave,
a
2001)

RelD(L, P) =


1


Tesis doctoral

si P={}
Li

(1−Similitud(L,Li ))
∈P
|P|

en otro caso


28

Estrategia que combina proactividad y navegaciń por
o
propuesta

Comportamiento proactivo
El estudiante recibe un conjunto de objetos de aprendizaje
Navegaciń
o
Seleccionar un objeto de aprendizaje o refinar la propuesta
Objetivo
Proporcionar una ayuda m´s adecuada a aquellos estudiantes que
a
tienen una actitud pasiva o que tienen poco conocimiento del
dominio como para proponer una consulta al recomendador

Tesis doctoral


29

Diagrama de interacci´n
o

Tesis doctoral


30

Fases de la estrategia de recomendaci´n I
o

Para la primera propuesta que se le plantea al usuario
El repositorio se divide en dos grupos de objetos de
aprendizaje: objetos de aprendizaje de refuerzo, y objetos de
aprendizaje de descubrimiento

Tesis doctoral


31

Fases de la estrategia de recomendaci´n II
o

En la segunda propuesta y sucesivas
Se produce un recorrido por niveles en la taxonom´ de
ıa
conceptos del dominio

Tesis doctoral


32

´
Indice I
1

Motivaci´n
o
o
a
L´
o
Objetivos

2

o
o
o
o
o
o

3

a
´mbito educativo

4

o
o
o
o
o
a
o
propuestas
o

5

Conclusiones
Publicaciones

6

Trabajo Futuro

Tesis doctoral


33

Un framework para el desarrollo de recomendadores
basados en conocimiento en el ´mbito educativo I
a

Desarrollo de prototipos
Caracter´
ısticas comunes en todas las estrategias: base de
conocimiento y proceso de recomendaciń
o

Proceso gen´rico de recomendaciń en 5 etapas
e
o
Obtenciń de la consulta
o
Recuperaciń de los objetos de aprendizaje almacenados en el
o
repositorio a partir de la consulta obtenida
Filtrado de los objetos de aprendizaje recuperados de acuerdo
a las preferencias del estudiante
Valoraciń de la calidad de un objeto de aprendizaje
o
Selecciń de los componentes de la lista de recomendaciń
o
o

Tesis doctoral


34

Caracter´
ısticas del framework

Cada etapa por la que discurre el proceso de recomendaciń
o
se corresponde con una clase
Clases abstractas que controlan el flujo de control
Responsables de la ejecuciń ordenada de las etapas
o

Definiciń de puntos flexibles
o
Puntos predefinidos que necesitan ser configurados por el
sistema de recomendaciń concreto
o

En el framework se incluyen un conjunto clases que extienden
las clases abstractas y que implementan algunas de las
estrategias concretas utilizadas en nuestros prototipos
El desarrollo de sistemas de recomendaciń se vuelve m´s
o
a
simple

Tesis doctoral


35

Clase principal

Tesis doctoral


36

Obtenci´n de la consulta
o

QueryElicitationStage
generateQuery()L:LQueryTO
init()L:Lbool
end()L:Lvoid

FromFileQueryElicitationStage
UserQueryElicitationStage
init()L:Lbool
end()L:Lvoid

init()L:Lbool
end()L:Lvoid

RandomQueryElicitationStage
init()L:Lbool
end()L:Lvoid

Tesis doctoral

ReinforcementConceptsQuery
init()L:Lbool
end()L:Lvoid

CmdLineQueryElicitationStage
init()L:Lbool
end()L:Lvoid


DiscoverConceptsQuery
init()L:Lbool
end()L:Lvoid

ConceptsQueryElicitationStage
init()L:Lbool
end()L:Lvoid

37

Recuperaci´n
o

RetrievalStage
retrieve(QueryTO)m:mCollection<LO>
init()m:mbool
end()m:mvoid

ApproximateRetrievalStage

LightAccurateRetrievalStage

init()m:mbool
end()m:mvoid

init()m:mbool
end()m:mvoid

AccurateRetrievalStage
retrieve()m:mCollection<LO>
init()m:mbool
end()m:mvoid

Tesis doctoral


38

Filtrado

Filter
filter(LO) : bool
init() : bool
end() : void

ReachableConceptsFilter
filter(LO) : bool
init() : bool
end() : void

Tesis doctoral


39

Valoraci´n
o

QualityMetric
computeQuality(LO)H:HQualityTO
add(QualityMetric,Hdouble)H:Hvoid
init()H:Hbool
end()H:Hvoid

AggregationFunction

Utility
end()H:Hvoid
init()H:Hbool

QuerySimilarity
end()H:Hvoid
init()H:Hbool

Tesis doctoral

PedagogicalUtility
end()H:Hvoid
init()H:Hbool

add(QualityMetric,Hdouble)H:Hvoid
init()H:Hbool
end()H:Hvoid

WeightedMeanMetric
init()H:Hbool
end()H:Hvoid


HarmonicWeigthedMeanMetric
init()H:Hbool
end()H:Hvoid

40

Selecci´n
o

SelectionStage
select(Collection<QualityTO>)K:KList<RecommendationTO>
init()K:Kbool
end()K:Kvoid

TopKSelectionStage
init()K:Kbool
end()K:Kvoid

RelDSelectionStage
computeQuality(QualityTO)K:Kvoid
init()K:Kbool
end()K:Kvoid

RelDWeightedMeanSelection
init()K:Kbool
end()K:Kvoid

Tesis doctoral


RelDHarmonicMeanSelection
init()K:Kbool
end()K:Kvoid

41

´
Indice I
1

Motivaci´n
o
o
a
L´
o
Objetivos

2

o
o
o
o
o
o

3

a
´mbito educativo

4

o
o
o
o
o
a
o
propuestas
o

5

Conclusiones
Publicaciones

6

Trabajo Futuro

Tesis doctoral


42

o
o

An´lisis del comportamiento
a
Tres caracter´
ısticas de las listas de recomendaciń: la utilidad
o
pedag´gica, la similitud de los recursos contenidos en ella y la
o
diversidad de los elementos de la lista
Evaluaciń computacional
o
Analizar la calidad de las listas de recomendaciń
o
Evaluaciń real
o
Aceptaciń de las estrategias de recomendaciń por parte de los
o
o
usuarios

Tesis doctoral


43

Las fuentes de conocimiento: objetos de aprendizaje I

Los objetos de aprendizaje
Objetos de aprendizaje de Programaciń
o
Alberga m´s de 500 recursos educativos
a
Adaptaciń de los recursos educativos existentes en el
o
repositorio al estńdar LOM
a

Tesis doctoral


44

Las fuentes de conocimiento: objetos de aprendizaje II

Herramienta auxiliar LOEditor
Facilita el proceso de adaptaciń a LOM
o

El usuario selecciona el fichero con el recurso que quiere
marcar con metadatos e introduce la informaciń
o
LOEditor detecta la informaciń tćnica del recurso, genera
o e
el documento LOM asociado y lo aãde al repositorio
n

Tesis doctoral


45

Las fuentes de conocimiento: ontologia del dominio I
La ontolog´ del dominio formada por 34 clases y 28 instancias que
ıa
representan elementos concretos en los lenguajes de programaci´n
o
C++ y Pascal

Tesis doctoral


46

Las fuentes de conocimiento: ontologia del dominio II

V´
ınculo entre objeto de aprendizaje y conceptos del dominio
Objetos de aprendizaje representados en la ontolog´
ıa
(LearningObject)
Herramienta LOM2OWL facilita la inclusiń de esta
o
representaciń
o
A partir del fichero XML que representa a un objeto de
aprendizaje lo transforma en una instancia de
LearningObject con las propiedades necesarias
Herramienta desarrollada en Java con ayuda de la librer´
ıa
OntoBridge1

1

http://gaia.fdi.ucm.es/research/ontobridge

Tesis doctoral


47

Las fuentes de conocimiento: informaci´n contextual
o

Contexto de la actividad
Itinerario de aprendizaje representado en la ontolog´ gracias a
ıa
dos propiedades: has next y has previous

Contexto del estudiante
Los objetivos de aprendizaje alcanzados
Representado a trav´s de las instancias de la ontolog´ y el
e
ıa
nivel de competencia alcanzado en cada una de ellas

Tesis doctoral


48

An´lisis del comportamiento de las estrategias propuestas
a

An´lisis del comportamiento de las estrategias centrńdonos
a
a
en los niveles de similitud, diversidad y utilidad pedag´gica
o
Estudiar las caracter´
ısticas conforme var´ el par´metro que
ıa
a
ajusta las utilidades parciales
Sin tener en cuenta el tamaõ de la lista de recomendaciń ni
n
o
el orden en el que aparecen los objetos de aprendizaje

Tesis doctoral


49

M´tricas para el an´lisis I
e
a

M´tricas
e
Valores medios de las relevancias parciales para el conjunto ﬁnal de
objetos de aprendizaje recomendados
Para cada conjunto P = {L1 , L2 , ..., Ln } recomendado por una
estrategia calcularemos:
La similitud media Sim de dicho conjunto como la media de
las similitudes de cada objeto de aprendizaje con la consulta
Q:
Sim(P, Q) =

Tesis doctoral

Li ∈P

Similitud(Li , Q)
|P|


50

M´tricas para el an´lisis II
e
a

La utilidad pedag´gica media UP del conjunto P como la
o
media de las utilidades pedag´gicas de cada objeto de
o
aprendizaje para el estudiante S:
UP(P, S) =

Li ∈P

UP(Li , S)
|P|

La diversidad de dicho conjunto ser´ medida a partir de la
a
siguiente ecuaci´n
o
Diversidad(P) =

Tesis doctoral

n
i=1

n
j=i (1

− Similitud(Li , Lj ))
n·(n−1)
2


51

Prototipos empleados en el an´lisis I
a

Para la realizaci´n de estos experimentos hemos desarrollado 4
o
prototipos a partir del framework: dos relacionados con
KBpersonalization y otros dos relacionados con KBdiversity.

Tesis doctoral


52

Prototipos empleados en el an´lisis II
a
Los prototipos de KBpersonalization tienen las siguientes
caracter´
ısticas:

Tesis doctoral


53

Prototipos empleados en el an´lisis III
a

Los prototipos desarrollados para KBdiversity tienen las siguientes
caracter´
ısticas:

Tesis doctoral


54

Configuraciń del an´lisis
o
a

Conjunto de 30 perfiles sint´ticos y heterogńeos: han
e
e
explorado aproximadamente el 80 % del camino de aprendizaje
y para todos los conceptos explorados tienen un nivel de
competencia mayor o igual que 5
Para cada perfil se han utilizado 18 consultas
Se han realizado 540 diferentes recomendaciones para cada
m´trica de calidad
e
Se ha repetido este proceso de recomendaciń con diferentes
o
valores de α en el intervalo 0 a 1 en intervalos de 0,1
Los valores de similitud, utilidad pedag´gica y diversidad se
o
han promediado para producir una unica valoraciń para cada
o
´
α

Tesis doctoral


55

Resultados para KBpersonalization

Cuadro: P´rdida de similitud media con la consulta y ganancia de utilidad
e
pedag´gica media en base a la aproximaci´n de referencia basada en
o
o
similitud pura (α = 1)

α
0,0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1,0

Tesis doctoral

Calidad con media
P´rdida de Sim
e
15, 56 %
11, 06 %
7, 19 %
4, 58 %
2, 76 %
1, 59 %
0, 88 %
0, 44 %
0, 16 %
0, 03 %
0, 00 %

ponderada
Ganancia de UP
18, 22 %
17, 65 %
16, 03 %
13, 94 %
11, 58 %
9, 28 %
7, 21 %
5, 22 %
3, 15 %
1, 46 %
0, 00 %

Calidad con media arm´nica ponderada
o
α
P´rdida de Sim
e
Ganancia de UP
0,0
15, 56 %
18, 22 %
0,1
14, 02 %
17, 95 %
0,2
12, 37 %
17, 67 %
0,3
10, 65 %
17, 15 %
0,4
9, 00 %
16, 41 %
0,5
7, 34 %
15, 42 %
0,6
5, 78 %
14, 13 %
0,7
4, 21 %
12, 45 %
0,8
2, 71 %
10, 14 %
0,9
1, 12 %
6, 39 %
1,0
0, 00 %
0, 00 %


56

Resultados para KBdiversity
Cuadro: P´rdida de similitud media con la consulta y ganancia de
e
diversidad en base a la aproximaci´n de referencia basada en similitud
o
pura (α = 1)

α
0,0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1,0

Tesis doctoral

Calidad con media ponderada
P´rdida de Sim
e
Ganancia
Diversidad
23,62 %
40,46 %
18,23 %
39,23 %
15,26 %
36,81 %
13,18 %
34,88 %
4,12 %
19,80 %
2,76 %
15,86 %
1,17 %
11,65 %
0,42 %
6,94 %
0,33 %
4,14 %
0,06 %
2,92 %
0,00 %
0,00 %

de

Calidad con media arm´nica ponderada
o
α
P´rdida de Sim
e
Ganancia
de
Diversidad
0,0
23,62 %
40,46 %
0,1
19,35 %
38,56 %
0,2
16,92 %
35,28 %
0,3
14,51 %
34,27 %
0,4
9,22 %
26,36 %
0,5
7,31 %
24,26 %
0,6
5,04 %
19,05 %
0,7
1,81 %
11,87 %
0,8
1,06 %
8,55 %
0,9
0,19 %
4,62 %
1,0
0,00 %
0,00 %


57

Evaluaciń computacional
o

Evaluaciń de la calidad de las listas de recomendaciń
o
o
obtenidas con respecto a las tres caracter´
ısticas mencionadas
–similitud, diversidad y utilidad pedag´gica–
o
Teniendo en cuenta el tamaõ de las listas y el orden de los
n
objetos de aprendizaje en las misma
Variaciones en los par´metros α y k
a
Identificar cu´l es el mejor valor para ambos par´metros
a
a

Tesis doctoral


58

M´tricas para la evaluaciń I
e
o

Normalized Discounted Cumulative Gain (NDCG)
mide la utilidad o ganancia de una lista de resultados basada
en la relevancia y la posiciń de los documentos recuperados y
o
se compara la ganancia obtenida con la ideal

Funciń compromiso
o
Averiguar cu´l es el mejor valor de α para ambas estrategias
a

Tesis doctoral


59

Ganancia de Similitud para KBpersonalization con Q1
Resumen de los resultados para la m´trica de calidad Media
e
ponderada

Tesis doctoral


60

Ganancia de Utilidad Pedag´gica para KBpersonalization
o
con Q1
e
ponderada

Tesis doctoral


61

Compromiso para KBpersonalization con con Q1

Tesis doctoral


62

Ganancia de Similitud para KBpersonalization con Q2
e
arm´nica ponderada
o

Tesis doctoral


63

Ganancia de Utilidad Pedag´gica para KBpersonalization
o
con Q2
e
arm´nica ponderada
o

Tesis doctoral


64

Compromiso para KBpersonalization con Q2

Tesis doctoral


65

Ganancia de Similitud para KBdiversity con Q1
e
ponderada

Tesis doctoral


66

Ganancia de Diversidad para KBdiversity con Q1
e
ponderada

Tesis doctoral


67

Compromiso para KBdiversity con Q1

Tesis doctoral


68

Ganancia de Similitud para KBdiversity con Q2
e
arm´nica ponderada
o

Tesis doctoral


69

Ganancia de Diversidad para KBdiversity con Q2
e
arm´nica ponderada
o

Tesis doctoral


70

Compromiso para KBdiversity con Q2

Tesis doctoral


71

Evaluando las estrategias de recomendaci´n con profesores
o
y alumnos

Objetivo principal
Determinar la acogida que tienen las herramientas por parte de los
potenciales usuarios de las mismas (profesores y estudiantes) como
una nueva manera de acceder a los repositorios de objetos de
aprendizaje

Tesis doctoral


72

Objetivos I

Nuestro objetivo principal puede ser dividido en tres sub-objetivos:
1

Valoraciń de rendimiento, el grado en el que un individuo
o
cree que la herramienta de recomendaciń le ayudar´ a
o
a
conseguir sus objetivos de aprendizaje.

2

Valoraciń de esfuerzo, el grado de facilidad de uso de la
o
herramienta.

3

Valoraciń de intenciń de uso futuro, el grado de utilizaciń
o
o
o
que tendr´ la herramienta si estuviera disponible en otros
ıa
dominios de aprendizaje.

Tesis doctoral


73

Objetivos II

Rendimiento: 3 preguntas
Creo que es positivo para el aprendizaje disponer de una
o
herramienta de recomendaciń con ejercicios resueltos,
ejemplos y preguntas

Esfuerzo: 5 preguntas
La herramienta de recomendaciń me ha resultado, en general,
o
fćil de utilizar
a

Intenciń de uso: 2 preguntas
o
Ser´ interesante disponer de una herramienta como ´sta en
ıa
e
otras materias de conocimiento

Tesis doctoral


74

Prototipos para la evaluaciń
o

KBpersonalization: calidad ponderada, par´metro α fijado a
a
un valor 0,2, k = 7
KBdiversity : calidad armńica ponderada, par´metro α fijado
o
a
a un valor 0,1, k = 7
KBnavigation: calidad ponderada con el par´metro α = 0, 2,
a
k=7

Tesis doctoral


75

Configuraciń del experimento
o
La evaluaciń tuvo lugar durante los cursos acad´micos
o
e
2011-12 y 2012-13
Estudiantes y profesores participaron en sesiones formativas
Sesiń de 60 minutos para utilizar la herramienta de manera
o
libre
Los profesores rellenaron los cuestionarios despu´s de dicha
e
sesiń
o
Los alumnos tuvieron a su disposiciń la herramienta durante
o
90 d´ m´s y despu´s de estos d´ rellenaron los cuestionarios
ıas a
e
ıas
14 profesores de asignaturas de Programaciń y 171
o
alumnos de los Grados de la Facultad de Inform´tica de la
a
Universidad Complutense de Madrid participaron en la
evaluaciń
o

Tesis doctoral


76

Resultados globales

Profesores y estudiantes creen que la herramienta de
recomendaci´n es un buen apoyo al proceso de
o
ense˜anza-aprendizaje
n
Consideran interesante disponer de este tipo de herramientas
para repositorios de otras materias de conocimiento

Tesis doctoral


77

Resultados para KBpersonalization

Rendimiento:
El 78 % de profesores y el 68 % de estudiantes creen que los
recursos estaban adaptados al nivel de conocimientos del
usuario y que adem´s daban respuesta a la consulta que
a
hab´ planteado
ıan
Esfuerzo:
92 % de profesores y 74 % de estudiantes coincide en seãlar
n
que les ha resultado fćil proponer consultas al sistema
a
Intenciń de uso:
o
M´s del 85 % de los profesores y m´s del 94 % de los
a
a
estudiantes mostraron inter´s en disponer de una herramienta
e
como ´sta en otras materias de conocimiento
e

Tesis doctoral


78

Resultados para KBdiversity
Rendimiento:
M´s del 90 % de profesores y 80 % de estudiantes creen que el
a
uso de la herramienta es positivo para el aprendizaje
Confusiń que pueden generar algunas recomendaciones al
o
obtener objetos de aprendizaje que reducen la similitud con la
consulta

Esfuerzo:
M´s del 73 % de los profesores y m´s del 80 % de los
a
a
estudiantes estń de acuerdo con que la herramienta de
a
recomendaciń ha sido fćil de utilizar
o
a
Intenciń de uso:
o
79 % de profesores y el 90 % de estudiantes coinciden en
afirmar que les gustar´ disponer de herramientas similares en
ıa
otras materias de conocimiento

Tesis doctoral


79

Resultados para KBnavigation

Rendimiento:
Profesores y estudiantes han coincido en seãlar que la
n
herramienta proporciona ejercicios interesantes
Esfuerzo:
La curva de aprendizaje es m´
ınima, debido a que no era
necesario proporcionar una consulta
Intenciń de uso:
o
El 85 % de los profesores y el 80 % de los estudiantes afirman
que les gustar´ disponer de herramientas similares en otras
ıa
asignaturas

Tesis doctoral


80

´
Indice I
1

Motivaci´n
o
o
a
L´
o
Objetivos

2

o
o
o
o
o
o

3

a
´mbito educativo

4

o
o
o
o
o
a
o
propuestas
o

5

Conclusiones
Publicaciones

6

Trabajo Futuro

Tesis doctoral


81

Conclusiones I
Revisiń del estado actual en la investigaciń sobre los
o
o
sistemas de recomendaciń
o
An´lisis sobre el traslado de los sistemas de recomendaciń al
a
o
a
´mbito educativo
Se han considerado l´
ıneas interesantes de expansiń las tres
o
siguientes:
Inclusiń de un mayor nivel de personalizaciń
o
o
Incorporaciń de estrategias de selecciń que afronten el
o
o
problema de la sobreespecializaciń
o
Planteamiento de estrategias de interacciń
o
usuario-recomendador que supongan un menor esfuerzo por
parte del usuario

Se ha propuesto una estrategia de recomendaciń basada en
o
conocimiento que hace uso de la informaciń contextual para
o
promover la personalizaciń en las recomendaciones
o
Tesis doctoral


82

Conclusiones II
Se ha propuesto una segunda estrategia de recomendaciń
o
basada en conocimiento que promueve la diversidad entre los
recursos educativos recomendados a la vez que preserva los
objetivos a corto plazo del usuario
Se ha propuesto una tercera estrategia de recomendaciń que
o
emplea la navegaciń por propuesta como modelo de
o
interacciń con el usuario
o
Se han identificado las necesidades de conocimiento
espec´
ıficas para estas tres estrategias, a saber: una ontolog´
ıa
del dominio, los recursos educativos, y la informaciń
o
contextual –de usuario y de actividad
Desarrollo de un framework
Aplicaciń de las estrategias a un repositorio de Programaciń
o
o
Desarrollar una ontolog´ en OWL que contiene conceptos del
ıa
dominio e itinerarios de aprendizaje sobre los mismos
Tesis doctoral


83

Conclusiones III

Adaptar al estńdar Learning Object Metadata los recursos
a
o
Desarrollar un prototipo para cada una de las estrategias

Se ha realizado un an´lisis del comportamiento de las
a
estrategias propuestas
Se ha realizado una evaluaciń de la aplicaciń de estas
o
o
estrategias en una comunidad real de profesores y estudiantes
en el dominio de la Programaciń
o

Tesis doctoral


84

Publicaciones I
1

Ruiz-Iniesta, A., Jimńez-D´
e
ıaz, G. y G´ mez-Albarr´ n, M. Recommendation in repositories of
o
a
learning objects: A proactive approach that exploits diversity and navigation-by-proposing.
En Proceedings of the 9th IEEE International Conference on Advanced Learning Technologies, p´ginas
a
543–545. IEEE Computer Society, 2009.
ISBN 978-0-7695-3711-5.

2

e
ıaz, G. y G´ mez-Albarr´ n, M.
o
a
User-adaptive recommendation techniques in repositories of learning objects: Combining long-term and
short-term learning goals.
En Proceedings of the 4th European Conference on Technology Enhanced Learning: Learning in the
Synergy of Multiple Disciplines, p´ginas 645–650. Springer, 2009.
a
ISBN 978-3-642-04635-3.

3

e
o
a
Promoting strong personalization in content-based recommendation systems of learning objects.
En Proceedings of the XI International Simposium on Computers in Education. 2009.
ISBN 978-989-20-1774-7.

4

e
o
a
Personalizaciń en recomendadores basados en contenido y su aplicaciń a repositorios de objetos de
o
o
aprendizaje.
IEEE-RITA, vol. 5(1), p´ginas 31–38, 2010.
a
ISSN 1932-8540.

5

e
o
a
Combining personalization and diversity in a case-based recommendation strategy for the learning domain.
En Proceedings of the International Council for Educational Media and International Simposium on
Computers in Education Joint Conference, p´ginas 409–419. 2011.
a
ISBN 978-972-789-347-8.

Tesis doctoral


85

Publicaciones II

6

e
o
a
An experimental analysis of the behaviour of a personalized case-based recommendation strategy for the
learning domain.
En Proceedings of the 19th International Conference on Computers in Education, p´ginas 135–137.
a
National Electronics and Computer Technology Center, 2011.
ISBN 978-616-12-0188-3.

7

e
o
a
Un framework para el desarrollo de recomendadores basados en contenido aplicados a objetos de
aprendizaje.
En Actas del 2o Taller sobre Ingenier´ del Software en eLearning, p´ginas 147–161. Universidad
ıa
a
´
Complutense de Madrid, Area de Ciencias Exactas y de la Naturaleza, 2011.
ISBN 978-84-694-7325-2.

8

e
o
a
A framework for rapid prototyping of knowledge-based recommender systems in the learning domain.
Journal of Research and Practice in Information Technology, vol. 44(2), p´ginas 167–181, 2012.
a
ISSN 1443-458X.

9

e
o
a
A hybrid user-centered recommendation strategy applied to repositories of learning objects.
International Journal of Web Based Communities, vol. 8(3), p´ginas 302–321, 2012.
a
ISSN 1741-8216.

Tesis doctoral


86

´
Indice I
1

Motivaci´n
o
o
a
L´
o
Objetivos

2

o
o
o
o
o
o

3

a
´mbito educativo

4

o
o
o
o
o
a
o
propuestas
o

5

Conclusiones
Publicaciones

6

Trabajo Futuro

Tesis doctoral


87

Trabajo Futuro I
Aumentar la confianza del usuario en el sistema a trav´s de la
e
inclusiń de explicaciones
o
Inclusiń de mecanismos que faciliten la localizaciń de los
o
o
conceptos en la jerarqu´
ıa
Poder proporcionar comentarios por parte del usuario sobre si
un recurso recomendado le ha resultado util o no
´
Inclusiń en el framework de nuevas alternativas para distintas
o
etapas del proceso de recomendaciń para que ´ste tienda
o
e
m´s a un modelo de caja negra
a
Estrategias de recuperaciń que hagan uso no s´lo de los
o
o
conceptos cubiertos por un determinado objeto sino tambiń
e
ısticas del mismo
de otras caracter´
Desarrollo de nuevos filtros que hagan un mayor uso de la
informaciń contextual relativa a un estudiante
o
Otras funciones de agregaciń para las m´tricas de calidad
o
e
Tesis doctoral


88

Trabajo Futuro II
Introducir informaciń contextual adicional que refleje el estilo
o
de aprendizaje de un estudiante
Adaptaciń de otros algoritmos de selecciń basados en
o
o
diversidad

Completar el framework un conjunto de clases que ayuden a la
evaluaciń autom´tica de los sistemas de recomendaciń
o
a
o
diseãdos con ´l
n
e
Refinar el modelo de interacciń que explora un modelo de
o
navegaciń por propuesta invitando a los usuarios a
o
proporcionar informaciń m´s precisa sobre sus preferencias
o
a
Estudiar el uso de este tipo de herramientas en otras
disciplinas

Tesis doctoral


89

¡Muchas gracias!

Mercedes y Guillermo
A los profesores del Departamento de Ingenier´ del Software e
ıa
Inteligencia Artiﬁcial que participaron en los experimentos
A los profesores que permitieron que realizara los experimentos en
sus clases
A los estudiantes que utilizaron la herramienta y rellenaron las
encuestas
Familia y amigos...

Tesis doctoral


90

¡Muchas gracias!
Estrategias de recomendaciń basadas en
o
conocimiento para la localizaciń personalizada de
o
recursos en repositorios educativos
Dirigida por los doctores
Mercedes G´mez Albarrń y Guillermo Jimńez D´
o
a
e
ıaz
Departamento de Ingenier´ del Software e Inteligencia Artificial
ıa
Facultad de Informatica
Universidad Complutense de Madrid
20 de Diciembre de 2013

Tesis doctoral


91

Knowledge-based recommendation strategies for personalized access to Learning Object repositories

Recomendados

Recomendados

Más contenido relacionado

Similar a Knowledge-based recommendation strategies for personalized access to Learning Object repositories

Similar a Knowledge-based recommendation strategies for personalized access to Learning Object repositories (20)

Último

Último (16)

Knowledge-based recommendation strategies for personalized access to Learning Object repositories