Hacia una Ontolog´ıa Visual
Hacia una Ontolog´ıa Visual
Rodrigo Toro Icarte
´Alvaro Soto Jorge Baier Cristian Ruz
Pontifici...
Hacia una Ontolog´ıa Visual
Marco te´orico
Motivaci´on
Motivaci´on
Hacia una Ontolog´ıa Visual
Marco te´orico
Motivaci´on
Motivaci´on
Hacia una Ontolog´ıa Visual
Marco te´orico
Motivaci´on
Motivaci´on
Hacia una Ontolog´ıa Visual
Marco te´orico
Motivaci´on
Motivaci´on
Hacia una Ontolog´ıa Visual
Marco te´orico
Motivaci´on
Motivaci´on
Hacia una Ontolog´ıa Visual
Marco te´orico
Inducci´on: Reconocedores visuales
Reconocedores visuales
Hacia una Ontolog´ıa Visual
Marco te´orico
Inducci´on: Reconocedores visuales
Reconocedores visuales
Hacia una Ontolog´ıa Visual
Marco te´orico
Inducci´on: Reconocedores visuales
Reconocedores visuales
Hacia una Ontolog´ıa Visual
Marco te´orico
Deducci´on: L´ogica
L´ogica
Hacia una Ontolog´ıa Visual
Marco te´orico
Deducci´on: L´ogica
L´ogica
Tran and Davis: Event Modeling and Recognition usin...
Hacia una Ontolog´ıa Visual
Pregunta de investigaci´on
Pregunta de investigaci´on
¿Es posible asociar reglas de sentido co...
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet...
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet...
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet...
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet...
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet...
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet...
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet...
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet...
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet...
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet...
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet...
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet...
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet...
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet...
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet...
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet...
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet...
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet...
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet...
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet...
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet...
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet...
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet...
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet...
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Construcci´on
Soluci´on propuesta
Ontolog´ıa visual = ConceptNet + WordNet...
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Experimentos
Soluci´on propuesta
Experimentos
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Experimentos
Soluci´on propuesta
Experimentos
Oraci´on → Sustantivo + Verbo
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Experimentos
Soluci´on propuesta
Experimentos
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Experimentos
Soluci´on propuesta
Experimentos
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Experimentos
Soluci´on propuesta
Experimentos
ESPGames
13.114 im´agenes ro...
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Experimentos
Soluci´on propuesta
Experimentos
0 10 20 30 40 50
0
20
40
60
...
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Experimentos
Soluci´on propuesta
Experimentos
0 10 20 30 40 50
0
20
40
60
...
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Experimentos
Soluci´on propuesta
Experimentos
0 10 20 30 40 50
0
20
40
60
...
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Experimentos
Soluci´on propuesta
Experimentos
0 10 20 30 40 50
0
20
40
60
...
Hacia una Ontolog´ıa Visual
Soluci´on propuesta
Experimentos
Soluci´on propuesta
Experimentos
0 10 20 30 40 50
0
20
40
60
...
Hacia una Ontolog´ıa Visual
Limitaciones soluci´on
Limitaciones soluci´on
Mapeo ConceptNet a WordNet
Bounding boxs im´agen...
Hacia una Ontolog´ıa Visual
Estado de la investigaci´on
Estado de la investigaci´on
Estado actual
En progreso
Futuro
Hacia una Ontolog´ıa Visual
Cierre
Cierre
Hacia una Ontolog´ıa Visual
Cierre
Cierre
pc: Hay una persona estudiando.
Hacia una Ontolog´ıa Visual
Cierre
Cierre
pc: Hay una persona estudiando.
pc: Que la persona sea un estudiante y la mesa u...
Hacia una Ontolog´ıa Visual
Cierre
Cierre
pc: Hay una persona estudiando.
pc: Que la persona sea un estudiante y la mesa u...
Hacia una Ontolog´ıa Visual
Cierre
Cierre
pc: Hay una persona estudiando.
pc: Que la persona sea un estudiante y la mesa u...
Hacia una Ontolog´ıa Visual
Cierre
Preguntas
Próxima SlideShare
Cargando en…5
×

Seminario

173 visualizaciones

Publicado el

0 comentarios
0 recomendaciones
Estadísticas
Notas
  • Sé el primero en comentar

  • Sé el primero en recomendar esto

Sin descargas
Visualizaciones
Visualizaciones totales
173
En SlideShare
0
De insertados
0
Número de insertados
4
Acciones
Compartido
0
Descargas
0
Comentarios
0
Recomendaciones
0
Insertados 0
No insertados

No hay notas en la diapositiva.

Seminario

  1. 1. Hacia una Ontolog´ıa Visual Hacia una Ontolog´ıa Visual Rodrigo Toro Icarte ´Alvaro Soto Jorge Baier Cristian Ruz Pontificia Universidad Cat´olica de Chile Junio, 2014
  2. 2. Hacia una Ontolog´ıa Visual Marco te´orico Motivaci´on Motivaci´on
  3. 3. Hacia una Ontolog´ıa Visual Marco te´orico Motivaci´on Motivaci´on
  4. 4. Hacia una Ontolog´ıa Visual Marco te´orico Motivaci´on Motivaci´on
  5. 5. Hacia una Ontolog´ıa Visual Marco te´orico Motivaci´on Motivaci´on
  6. 6. Hacia una Ontolog´ıa Visual Marco te´orico Motivaci´on Motivaci´on
  7. 7. Hacia una Ontolog´ıa Visual Marco te´orico Inducci´on: Reconocedores visuales Reconocedores visuales
  8. 8. Hacia una Ontolog´ıa Visual Marco te´orico Inducci´on: Reconocedores visuales Reconocedores visuales
  9. 9. Hacia una Ontolog´ıa Visual Marco te´orico Inducci´on: Reconocedores visuales Reconocedores visuales
  10. 10. Hacia una Ontolog´ıa Visual Marco te´orico Deducci´on: L´ogica L´ogica
  11. 11. Hacia una Ontolog´ıa Visual Marco te´orico Deducci´on: L´ogica L´ogica Tran and Davis: Event Modeling and Recognition using MLN
  12. 12. Hacia una Ontolog´ıa Visual Pregunta de investigaci´on Pregunta de investigaci´on ¿Es posible asociar reglas de sentido com´un a reconocedores visuales, tal que se puedan realizar deducciones ´utiles a gran escala y en forma gen´erica?
  13. 13. Hacia una Ontolog´ıa Visual Soluci´on propuesta Construcci´on Soluci´on propuesta Ontolog´ıa visual = ConceptNet + WordNet + ImageNet
  14. 14. Hacia una Ontolog´ıa Visual Soluci´on propuesta Construcci´on Soluci´on propuesta Ontolog´ıa visual = ConceptNet + WordNet + ImageNet
  15. 15. Hacia una Ontolog´ıa Visual Soluci´on propuesta Construcci´on Soluci´on propuesta Ontolog´ıa visual = ConceptNet + WordNet + ImageNet
  16. 16. Hacia una Ontolog´ıa Visual Soluci´on propuesta Construcci´on Soluci´on propuesta Ontolog´ıa visual = ConceptNet + WordNet + ImageNet
  17. 17. Hacia una Ontolog´ıa Visual Soluci´on propuesta Construcci´on Soluci´on propuesta Ontolog´ıa visual = ConceptNet + WordNet + ImageNet Formato String1 − Tipo Relaci´on → String2
  18. 18. Hacia una Ontolog´ıa Visual Soluci´on propuesta Construcci´on Soluci´on propuesta Ontolog´ıa visual = ConceptNet + WordNet + ImageNet Formato String1 − Tipo Relaci´on → String2 Ejemplos desk − RelatedTo → office computer − AtLocation → office office − UsedFor → work coffee cup − AtLocation → office ... y 6 millones m´as
  19. 19. Hacia una Ontolog´ıa Visual Soluci´on propuesta Construcci´on Soluci´on propuesta Ontolog´ıa visual = ConceptNet + WordNet + ImageNet Relaciones AtLocation HasProperty MadeOf SimilarSize SimilarTo UsedFor CapableOf ...
  20. 20. Hacia una Ontolog´ıa Visual Soluci´on propuesta Construcci´on Soluci´on propuesta Ontolog´ıa visual = ConceptNet + WordNet + ImageNet Sin´onimos someone − AtLocation → museum person − AtLocation → opera
  21. 21. Hacia una Ontolog´ıa Visual Soluci´on propuesta Construcci´on Soluci´on propuesta Ontolog´ıa visual = ConceptNet + WordNet + ImageNet Sin´onimos someone − AtLocation → museum person − AtLocation → opera Polisemia plane − CapableOf → fly plane − IsA → shape fly − IsA → insect
  22. 22. Hacia una Ontolog´ıa Visual Soluci´on propuesta Construcci´on Soluci´on propuesta Ontolog´ıa visual = ConceptNet + WordNet + ImageNet
  23. 23. Hacia una Ontolog´ıa Visual Soluci´on propuesta Construcci´on Soluci´on propuesta Ontolog´ıa visual = ConceptNet + WordNet + ImageNet Claves Synset - Tipos - Relaciones
  24. 24. Hacia una Ontolog´ıa Visual Soluci´on propuesta Construcci´on Soluci´on propuesta Ontolog´ıa visual = ConceptNet + WordNet + ImageNet Claves Synset - Tipos - Relaciones Ejemplo: Person S: (n) person, individual, someone, somebody, mortal, soul (a human being) S: (n) person (a human body) S: (n) person (a grammatical category)
  25. 25. Hacia una Ontolog´ıa Visual Soluci´on propuesta Construcci´on Soluci´on propuesta Ontolog´ıa visual = ConceptNet + WordNet + ImageNet
  26. 26. Hacia una Ontolog´ıa Visual Soluci´on propuesta Construcci´on Soluci´on propuesta Ontolog´ıa visual = ConceptNet + WordNet + ImageNet ConceptNet WordNet
  27. 27. Hacia una Ontolog´ıa Visual Soluci´on propuesta Construcci´on Soluci´on propuesta Ontolog´ıa visual = ConceptNet + WordNet + ImageNet ConceptNet plane − CapableOf → fly WordNet plane → 9 Synsets fly → 20 Synsets
  28. 28. Hacia una Ontolog´ıa Visual Soluci´on propuesta Construcci´on Soluci´on propuesta Ontolog´ıa visual = ConceptNet + WordNet + ImageNet ConceptNet plane − CapableOf → fly WordNet plane → 9 Synsets fly → 20 Synsets S: (n) airplane, plane −CapableOf → S: (v) fly, wing.
  29. 29. Hacia una Ontolog´ıa Visual Soluci´on propuesta Construcci´on Soluci´on propuesta Ontolog´ıa visual = ConceptNet + WordNet + ImageNet Opciones: 1 ConceptNet + WN 2 Chen & Liu
  30. 30. Hacia una Ontolog´ıa Visual Soluci´on propuesta Construcci´on Soluci´on propuesta Ontolog´ıa visual = ConceptNet + WordNet + ImageNet Chen & Liu “plane − CapableOf → fly” Synsets(plane) = { n02691156 (avi´on), n13883265 (plano) }
  31. 31. Hacia una Ontolog´ıa Visual Soluci´on propuesta Construcci´on Soluci´on propuesta Ontolog´ıa visual = ConceptNet + WordNet + ImageNet
  32. 32. Hacia una Ontolog´ıa Visual Soluci´on propuesta Construcci´on Soluci´on propuesta Ontolog´ıa visual = ConceptNet + WordNet + ImageNet
  33. 33. Hacia una Ontolog´ıa Visual Soluci´on propuesta Construcci´on Soluci´on propuesta Ontolog´ıa visual = ConceptNet + WordNet + ImageNet S: (n) airplane, plane WSP Score plane -0.0079 airplane 0.0353 airline 0.0626 bomber 0.1439 wing 0.1973 Sea-plane 0.2073 aeroplane 0.3982 ... ... S: (n) Plane, sheet WSP Score plane -0.0079 form 0.1391 sheet 0.1884 shape 0.2156 picture plane 0.3945 orbital plane 0.6559 cartesian plane 0.6819 ... ...
  34. 34. Hacia una Ontolog´ıa Visual Soluci´on propuesta Construcci´on Soluci´on propuesta Ontolog´ıa visual = ConceptNet + WordNet + ImageNet NGD(x, y) = max {log f(x), log f(y)} − log f(x, y) log N − min {log f(x), log f(y)}
  35. 35. Hacia una Ontolog´ıa Visual Soluci´on propuesta Construcci´on Soluci´on propuesta Ontolog´ıa visual = ConceptNet + WordNet + ImageNet Ajustes: Distancias ConceptNet M´ultiples match person − CapableOf → play Restricciones Sust-Sust: /r/AtLocation, /r/PartOf, ... Sust-Verb: /r/CapableOf, /r/UsedFor, ... Sust-Adj: /r/HasProperty
  36. 36. Hacia una Ontolog´ıa Visual Soluci´on propuesta Construcci´on Soluci´on propuesta Ontolog´ıa visual = ConceptNet + WordNet + ImageNet
  37. 37. Hacia una Ontolog´ıa Visual Soluci´on propuesta Construcci´on Soluci´on propuesta Ontolog´ıa visual = ConceptNet + WordNet + ImageNet
  38. 38. Hacia una Ontolog´ıa Visual Soluci´on propuesta Experimentos Soluci´on propuesta Experimentos
  39. 39. Hacia una Ontolog´ıa Visual Soluci´on propuesta Experimentos Soluci´on propuesta Experimentos Oraci´on → Sustantivo + Verbo
  40. 40. Hacia una Ontolog´ıa Visual Soluci´on propuesta Experimentos Soluci´on propuesta Experimentos
  41. 41. Hacia una Ontolog´ıa Visual Soluci´on propuesta Experimentos Soluci´on propuesta Experimentos
  42. 42. Hacia una Ontolog´ıa Visual Soluci´on propuesta Experimentos Soluci´on propuesta Experimentos ESPGames 13.114 im´agenes rotuladas con 110 acciones Experimento Baseline: NGD
  43. 43. Hacia una Ontolog´ıa Visual Soluci´on propuesta Experimentos Soluci´on propuesta Experimentos 0 10 20 30 40 50 0 20 40 60 80 Top-p% Rendimiento% Reconocimiento de Acciones NGD
  44. 44. Hacia una Ontolog´ıa Visual Soluci´on propuesta Experimentos Soluci´on propuesta Experimentos 0 10 20 30 40 50 0 20 40 60 80 Top-p% Rendimiento% Reconocimiento de Acciones NGD ConceptNet + WN
  45. 45. Hacia una Ontolog´ıa Visual Soluci´on propuesta Experimentos Soluci´on propuesta Experimentos 0 10 20 30 40 50 0 20 40 60 80 Top-p% Rendimiento% Reconocimiento de Acciones NGD ConceptNet + WN Chen & Liu
  46. 46. Hacia una Ontolog´ıa Visual Soluci´on propuesta Experimentos Soluci´on propuesta Experimentos 0 10 20 30 40 50 0 20 40 60 80 Top-p% Rendimiento% Reconocimiento de Acciones NGD ConceptNet + WN Chen & Liu Visual-Ontology
  47. 47. Hacia una Ontolog´ıa Visual Soluci´on propuesta Experimentos Soluci´on propuesta Experimentos 0 10 20 30 40 50 0 20 40 60 80 Top-p% Rendimiento% Reconocimiento de Acciones NGD ConceptNet + WN Chen & Liu Visual-Ontology ConceptNet
  48. 48. Hacia una Ontolog´ıa Visual Limitaciones soluci´on Limitaciones soluci´on Mapeo ConceptNet a WordNet Bounding boxs im´agenes No informaci´on espacial Excepciones
  49. 49. Hacia una Ontolog´ıa Visual Estado de la investigaci´on Estado de la investigaci´on Estado actual En progreso Futuro
  50. 50. Hacia una Ontolog´ıa Visual Cierre Cierre
  51. 51. Hacia una Ontolog´ıa Visual Cierre Cierre pc: Hay una persona estudiando.
  52. 52. Hacia una Ontolog´ıa Visual Cierre Cierre pc: Hay una persona estudiando. pc: Que la persona sea un estudiante y la mesa un escritorio.
  53. 53. Hacia una Ontolog´ıa Visual Cierre Cierre pc: Hay una persona estudiando. pc: Que la persona sea un estudiante y la mesa un escritorio. pc: Hay una persona escribiendo
  54. 54. Hacia una Ontolog´ıa Visual Cierre Cierre pc: Hay una persona estudiando. pc: Que la persona sea un estudiante y la mesa un escritorio. pc: Hay una persona escribiendo pc: Que la mesa sea un escritorio, el l´apiz una pluma, y la persona un poeta.
  55. 55. Hacia una Ontolog´ıa Visual Cierre Preguntas

×