1. Sistemas de Recomendación:
tipos y evaluación
Blanca A. Vargas Govea
Grupo de Servicios de Recomendación
Dirigido por: Dr. Juan Gabriel González Serna
CENIDET 29/Sep/2010

2. 1.Sistemas de recomendación
- Tipos: filtrado de contenido,
colaborativo e híbrido
- Problemas
2. Evaluación
- Dificultades
- Importancia de los datos
- Diversos enfoques

3. Objetivo
Encontrar
ítems/servicios del
agrado del usuario

4. Tipos
Filtrado basado en
contenido
Filtrado colaborativo
Filtrado híbrido

5. Filtrado basado en contenido
Correspondencia ítem - usuario
Descripción - ítem
Implícita
Descripción - perfil
Explícita
Vectores de atributos

6. Filtrado basado en contenido
Aprendizaje automático
Entrada:
descripción - ítem
Árboles,
Salida:
reglas
rating del usuario sobre el ítem

7. Filtrado basado en contenido: ventajas
El usuario puede conocer el
efecto de sus preferencias
Puede generar
recomendaciones sin
necesidad de ratings

8. Filtrado basado en contenido: desventajas
Descripciones ricas,
completas
Recomiendan ítems
muy parecidos
Contenido en teŕminos de
atributos

9. Filtrado colaborativo
Favorece los juicios
humanos
Opiniones
expresadas
por una
comunidad
Basado en la memoria
Basado en el modelo

10. Filtrado colaborativo: basado en memoria
Es el que domina
Supone que usuarios que
han compartido intereses
en el pasado lo seguirán
haciendo en el futuro

11. Filtrado Colaborativo: basado en memoria
Métricas de similaridad
1. Formación de
Correlación de
vecindario
Pearson
Manhattan
Jaccard
Euclidiana
2. Agregación de opinión
Se calculan las predicciones de
rating (k-vecinos más cercanos)
3. Generación de recomendaciones

12. Filtrado colaborativo: generación de recomendaciones
Retroalimentación
Los perfiles crecen
Se repite el ciclo

13. Filtrado colaborativo: basado en el modelo
Técnicas de aprendizaje clase 4
automático clase 1
Clasificación: clase 3
a qué rating pertenecen clase 2
los ítems no calificados
Regresión:
relación de variables (usuario-otros perfiles)

14. Filtrado colaborativo: basado en el modelo
Inferir reglas o patrones
Ejemplo:
Agrupar usuarios en
clusters
Los vecinos son los
usuarios del mismo
cluster

15. Filtrado colaborativo: basado en el modelo
Predicción eficiente
Se entrena un
modelo por usuario
Basados en memoria: igual de
eficientes, ¿más simples?
Noción de
Interpretación
comunidad

16. Filtrado híbrido
Filtrado basado en memoria y modelo
(e.g.,clusters+vecinos cercanos)
Filtrado colaborativo y de contenido (e.g., correr
independientemente y combinar con esquema de
votación)

17. Problemas generales
Datos faltantes
Cold Start
Espera de nuevas
recomendaciones
Usuarios maliciosos

18. 1. Sistemas de recomendación
- Tipos: filtrado de contenido,
colaborativo e híbrido
- Problemas
2. Evaluación
- Dificultades
- Importancia de los datos
- Diversos enfoques

19. Evaluación
Gran cantidad de
algoritmos
Todos dicen ser el mejor
No hay una metodología
estándar para
determinar qué hace
a un algoritmo mejor que
otro

20. Evaluación: dificultades
Algoritmos diseñados
para conjuntos de datos
específicos
Distintos objetivos
Cuestionamiento en
decidir qué métricas usar

21. Evaluación: tareas del sistema (las más evaluadas)
Depende de los objetivos y tareas del sistema
Predicción de Desplegar artículos
preferencias (e.g., lista rankeada)

22. Evaluación: tareas del sistema (menos evaluadas)
Sólo navegar,
Todos los ítems buscados (e.g., sin comprar
documentos legales)
Ayudar a
Mejora
otros
del
perfil
Deseo
Recomendador confiable
de expresarse

23. Evaluación: ¿qué se evalúa?
Objetivo del sistema Objetivo del usuario
Pueden ser muy diferentes

24. Evaluación: los datos
¿Offline? ¿Online?
¿Simulados?

25. Evaluación: los datos
Propiedades de los datos para modelar
mejor la tarea
Atributos de dominio
Atributos inherentes
Atributos de muestreo

26. Evaluación: los datos, atributos de dominio
Naturaleza del
contenido
a recomendar/contexto
Tareas soportadas por el sistema

27. Evaluación: los datos, atributos de dominio
Novedad y calidad
Costo/Beneficio
Granularidad de la preferencia

28. Evaluación: los datos, atributos inherentes
Ratings implícitos, explícitos o ambos
Escala del rating

29. Evaluación: los datos, atributos inherentes
Dimensiones del rating
Presencia/ausencia de registro de tiempo

30. Evaluación: los datos, atributos inherentes
Disponibilidad de información demográfica del usuario
Registro de las recomendaciones
Sesgo de la colección de datos

31. Evaluación: los datos, atributos de muestreo
Ítems: 999
Calif: 3
Ítems:
1122
Calif:3127
Densidad de los ratings de ítems
Densidad de los ratings de usuarios que
generan recomendaciones

32. Evaluación: los datos, atributos de muestreo
Tamaño y distribución:
ítems > usuarios,
usuario > ítems
Escasez de datos

33. Evaluación:métricas de precisión
Mide qué tan cerca el sistema puede predecir el
rating para un ítem en comparación con el rating real
¿Qué rating le dará un usuario a un ítem?
¿Seleccionará el usuario un ítem?
¿Qué orden de utilidad tendrán los ítems?

34. Evaluación: categorías de métricas de precisión
1. Precisión predictiva
2. Clasificación
3. Precisión y recuerdo

35. Evaluación: precisión predictiva
Miden qué tan cerca están las predicciones de los
ratings del sistema de recomendación a los del
usuario real.
Error Absoluto Medio (MAE)
No es muy útil cuando la granularidad de las
preferencias es pequeña.
Raíz cuadrada del error cuadrático medio (RMSE)
La diferencia radica en el grado en el cual los errores
son penalizados. RMSE penaliza errores grandes.

36. Evaluación: clasificación
Miden la frecuencia con la que el sistema toma
decisiones correctas o incorrectas sobre si un ítem es
bueno.
Son apropiadas para tareas como encontrar buenos
ítems donde los usuarios tienen preferencias binarias.

37. Evaluación: precisión y recuerdo
Miden la capacidad del sistema de obtener los ítems
relevantes disponibles.
Precisión: Relevante No
relevante
Capacidad del sistema de
Seleccionado a b
mostrar ítems relevantes.
No c d
Representa la probabilidad de seleccionado
que un ítem seleccionado sea
relevante. P=
a
a+b
Recuerdo:
Cobertura de ítems útiles que
el sistema puede obtener. R=
a
a+c
Representa la probabilidad de
que un ítem relevante sea
seleccionado.

38. Evaluación: curvas ROC
Receiver Operating Characteristic
Mide la capacidad del sistema de distinguir entre
ítems relevantes y no relevantes.
Precisión/Recuerdo enfatizan la proporción de
recomendaciones exitosas. Ideal para: muchos ítems
interesantes y se necesitan pocas buenas
recomendaciones.
ROC enfatiza la proporción de ítems no exitosos que
fueron recomendados. Ideal para: cada
recomendación tiene un costo y equivocarse es caro.

39. Evaluación:métricas de precisión
Ciertas métricas son más adecuadas para
determinadas tareas y tipos de datos

40. Evaluación:más allá de la precisión
Cobertura
¿Sobre qué porcentaje
de ítems el sistema puede
generar predicciones?
¿Qué porcentaje de los
ítems son los que
recomienda el sistema?

41. Evaluación:más allá de la precisión
Confianza:
¿qué tan seguro está el sistema de que
su recomendación es exacta? Mostrarle al
usuario.
Novedad y Suerte
Similar a un esquema por refuerzo
Tasa de aprendizaje

42. Evaluación:más allá de la precisión
Evaluación del usuario
Evaluación
explícita/implícita
Estudios de
laboratorio/campo
Definición de lo que
es una salida exitosa
Corto/largo alcance

43. Evaluación:más allá de la precisión
Satisfacción del usuario
¿A qué métricas son más
sensitivos los usuarios?
¿Cómo afectan los diversos
aspectos (cobertura,
novedad, etc.) a la
satisfacción?

44. Gracias.
¿Preguntas?
blanca.vg@gmail.com

45. Referencias
Candillier, L., Jack, K., Fessant, F., and Meyer, F. (2009). State­of­
the­Art Recommender Systems, chapter 1, pages 1–22. IGI Global. Book:
Collaborative and Social Information Retrieval and Access: Techniques for
Improved User Modeling.
de Wit, J. J. (2008). Evaluating recommender systems – an evaluation frame­
work to predict user satisfaction for recommender systems in an electronic
programme guide context. Master’s thesis, University of Twente.
Gunawardana, A. and Shani, G. (2009). A survey of accuracy evaluation
metrics of recommendation tasks. Journal of Machine Learning Research,
10:2935–2962.
Herlocker, J. L., Konstan, J. A., Terveen, L. G., and Riedl, J. T.
(2004). Evaluating collaborative filtering recommender systems. ACM Trans.
Inf. Syst.,22(1):5–53.
Lathia, N. (2009). Computing Recommendations with Collaborative Filtering,
chapter 2, pages 23–38. IGI Global. Book: Collaborative and Social
Information Retrieval and Access: Techniques for Improved User Modeling.

46. Referencias imágenes
http://www.flickr.com/photos/ario/54106663/sizes/m/
http://www.flickr.com/photos/44760652@N05/4659522355/
http://www.flickr.com/photos/51813566@N08/4760804346/
http://www.flickr.com/photos/7750017@N02/4267291403/
http://www.flickr.com/photos/94698336@N00/292229414/
http://www.flickr.com/photos/15086630@N07/4152920543/
http://www.flickr.com/photos/splorp/59240233/sizes/l/
http://www.flickr.com/photos/44921934@N00/302001867/
http://www.flickr.com/photos/79477324@N00/230625187/
http://www.flickr.com/photos/26517433@N00/2007012694/
http://www.flickr.com/photos/38917708@N00/455000502/
http://www.flickr.com/photos/49366539@N00/572481795/
http://www.flickr.com/photos/49462908@N00/4411505290/
http://www.flickr.com/photos/80639080@N00/1286122845/
http://www.flickr.com/photos/32263295@N00/3938238831/
http://www.flickr.com/photos/40780016@N02/3914729343/
http://www.flickr.com/photos/49408564@N00/91970575/

47. Referencias imágenes
http://www.flickr.com/photos/44124426342@N01/151822725/
http://www.flickr.com/photos/35034364750@N01/282496846/
http://www.flickr.com/photos/10687935@N04/3887516326/
http://www.flickr.com/photos/32957828@N00/3737437574/
http://www.flickr.com/photos/24431382@N03/4671584999/
http://www.flickr.com/photos/35855601@N06/3313477849/
http://www.flickr.com/photos/71239936@N00/397653832/
http://www.flickr.com/photos/23812016@N05/4998557125/
http://www.flickr.com/photos/39332788@N02/4060003777/
http://www.flickr.com/photos/41987260@N00/2234941799/
http://www.flickr.com/photos/65793011@N00/84894948/
http://www.flickr.com/photos/32109282@N00/4504668254/
http://www.flickr.com/photos/32109282@N00/4633615801/
http://www.flickr.com/photos/71438311@N00/2764675971/
http://www.flickr.com/photos/70403129@N00/2492474473/
http://www.flickr.com/photos/15087210@N00/997085301/
http://www.flickr.com/photos/60364452@N00/264891907/