Recuperación de  información en  Internet: Evaluación  Prof.  Belarmina Benítez de Vendrell Departamento de Bibliotecologí...
Programa del curso Características, prestaciones y procedimientos de búsqueda utilizados en las más destacadas herramienta...
Word Wide Web
  Características de la información en la Web * Inmensa cantidad de información *Información hipermedia *Dispersión de la ...
Evaluación de la información en internet <ul><li>¿Por qué evaluar las páginas de la Web? </li></ul><ul><ul><li>La calidad ...
  Evaluación de la información en internet <ul><li>Evaluación (Brandt 1996): </li></ul><ul><ul><li>Objetivamente :  valide...
Evaluación de la información en internet: criterios <ul><li>* Cobertura </li></ul><ul><ul><ul><ul><ul><li>Extensi ó n </li...
  Evaluación de la información en internet: criterios <ul><li>* Contenido   </li></ul><ul><ul><ul><ul><ul><li>Fiabilidad d...
Servicios  en la World Wide Web <ul><li>Buscadores web 1993-1994 </li></ul><ul><ul><li>WWWWorm, WebCrawler </li></ul></ul>...
Servicios de Búsqueda:  Tipología <ul><li>Los directorios </li></ul><ul><li>Motores de búsqueda  o buscadores web </li></u...
Servicios de  búsqueda en la World Wide Web:  Directorios <ul><li>Dividen el espacio de información en diferentes categorí...
  Servicios de Búsqueda:  Tipología  Motores de búsqueda  o buscadores web <ul><li>Robot de búsqueda: automático   </li></...
Servicios de  búsqueda en la World Wide Web:  Los metabuscadores  y colecciones de buscadore s <ul><li>Dogpile,  </li></ul...
Servicios de  búsqueda en la World Wide  W eb : Metabuscadores <ul><li>Ventajas: </li></ul><ul><ul><li>Procesamiento paral...
Servicios de  búsqueda en la World Wide Web:  Los metabuscadores  <ul><li>Inconvenientes: </li></ul><ul><ul><li>No se apro...
Servicios de  búsqueda en la World Wide  W eb :  Colecciones de buscadore s <ul><ul><li>Interfaces que ofrecen, desde una ...
Servicios de  búsqueda en la World Wide Web:  Agentes “inteligentes” multibuscadores <ul><li>Herramientas de “segunda gene...
Evaluación de la RI:  problemas <ul><li>La  RI  se basa en “ Conceptos inefables ” (Belkin 81) </li></ul><ul><li>Casi todo...
Evaluación de la RI:  tendencias <ul><li>Tradicional o algorítmica </li></ul><ul><li>“ De usuario” o cognitiva </li></ul><...
Evaluación de la RI:  tendencias Tradicional o algorítmica <ul><li>Precedentes: </li></ul><ul><li>1953: Test ASTIA-Uniterm...
Evaluación de la RI:  tendencias   Tradicional o algorítmica <ul><ul><li>Cranfield I (1957-1962). Perfilar las herramienta...
Evaluación de la RI:  tendencias <ul><li>Modelo tradicional de RI: </li></ul><ul><li>el usuario reconoce una necesidad de ...
Evaluación de la RI : tendencias   Tradicional o algorítmica <ul><li>Críticas al modelo Cranfield: </li></ul><ul><ul><li>A...
Evaluación de la RI : tendencias   Tradicional o algorítmica <ul><ul><li>Diversos problemas: </li></ul></ul><ul><ul><ul><l...
<ul><li>Evaluación de la RI : tendencias   </li></ul><ul><li>“ De usuario” o cognitiva </li></ul>
 
Evaluación de la RI:  tendencias   “De usuario” o cognitiva <ul><li>Críticas a la aproximación cognitiva: </li></ul><ul><u...
Evaluación de la RI:  tendencias   “De usuario” o cognitiva <ul><li>Críticas a la aproximación cognitiva: </li></ul><ul><u...
Evaluación de la RI:  tendencias    Sincrética.   Revisión de estrategias <ul><li>Principios del procedimiento de evaluaci...
  Evaluación de la RI:  Revisión de estrategias <ul><li>El tipo de experimento: </li></ul><ul><li>Pruebas en sistemas acti...
Evaluación de la RI:  Revisión de estrategias <ul><li>La colección de evaluación frente a sistemas reales </li></ul><ul><l...
 
 
Evaluación de la RI:  Revisión de estrategias <ul><li>Los usuarios  </li></ul><ul><ul><ul><li>Usuarios reales </li></ul></...
Evaluación de la RI:  Revisión de estrategias <ul><li>Las preguntas ( query ) </li></ul><ul><ul><ul><li>Enunciado de búsqu...
Evaluación de la RI:  Revisión  de estrategias <ul><li>Las preguntas ( query ) </li></ul><ul><li>Medida de las necesidades...
Evaluación de la RI:  Revisión de estrategias. Medidas para la evaluación de la eficacia <ul><li>El “problema de la releva...
Evaluación de la RI:  Revisión de estrategias. Medidas para la evaluación de la eficacia <ul><li>Puntos de vista: </li></u...
Evaluación de la RI:  Revisión de estrategias. Medidas para la evaluación de la eficacia <ul><li>   La relevancia en  Jour...
Evaluación de la RI:  Revisión de estrategias. Medidas para la evaluación de la eficacia <ul><li>  La relevancia en  Annua...
Evaluación de la RI:  Revisión de estrategias. Medidas para la evaluación de la eficacia <ul><li>  La relevancia en Mizzar...
Evaluación de la RI:  Revisión de estrategias. Medidas para la evaluación de la eficacia <ul><li>Medidas de carácter afect...
Evaluación de la RI:  Revisión de estrategias. Medidas para la evaluación de la eficacia <ul><li>Exhaustividad </li></ul><...
Evaluación de la RI:  Revisión de estrategias. Medidas para la evaluación de la eficacia
Evaluación de la RI en Internet Bibliografía <ul><ul><ul><li>Estudios (no realizados por investigadores o profesionales de...
Evaluación de la RI en Internet:  Estudios relacionados <ul><li>Evaluaciones cualitativas </li></ul><ul><li>Evaluaciones c...
Evaluación de la RI en Internet <ul><ul><li>Obtención de las preguntas: </li></ul></ul><ul><ul><ul><ul><li>Investigadores ...
Evaluación de la RI en Internet Los usuarios y sus necesidades de información <ul><li>Características: </li></ul><ul><ul><...
Evaluación de la RI en Internet <ul><li>Evaluación de los resultados </li></ul><ul><li>Evaluación de los buscadores </li><...
Evaluación de la RI en Internet Evaluación de los resultados <ul><li>a)  Ecuación de búsqueda: sintaxis </li></ul><ul><li>...
Evaluación de la RI en Internet Evaluación de los resultados <ul><li>Aspecto fundamental </li></ul><ul><li>Reto principal ...
Evaluación de la RI en Internet Evaluación de los resultados <ul><li>Formular simultáneamente la misma pregunta en todos l...
Evaluación de la RI en Internet Evaluación de los resultados <ul><li>Asesores externos </li></ul><ul><li>Precisión de los ...
Evaluación de la RI en Internet Evaluación de los resultados <ul><li>Duplicados: </li></ul><ul><ul><li>Mismo URL (Uniform ...
Evaluación de la RI en Internet Evaluación de los resultados <ul><li>c) Los juicios de relevancia </li></ul><ul><li>Duplic...
Evaluación de la RI en Internet Evaluación de los resultados <ul><li>Inactivos: </li></ul><ul><ul><ul><li>Error 404: el se...
Evaluación de la RI en Internet Evaluación de los resultados <ul><li>Relevantes: </li></ul><ul><li>0. Una página web que n...
Evaluación de la RI en Internet Evaluación de los resultados <ul><li>c) Los juicios de relevancia </li></ul><ul><li>Releva...
Evaluación de la RI en Internet Evaluación de los resultados <ul><li>Imposible calcular la exhaustividad real en la Web po...
Evaluación de la RI en Internet Evaluación de los buscadores <ul><li>a) Motor de búsqueda </li></ul><ul><li>b) Base de dat...
Evaluación de la RI en Internet Evaluación de los buscadores <ul><li>En relación con el  motor de búsqueda </li></ul><ul><...
Evaluación de la RI en Internet Evaluación de los buscadores <ul><li>En relación con el  motor de búsqueda </li></ul><ul><...
Evaluación de la RI en Internet Evaluación de los buscadores <ul><li>Características imprescindibles </li></ul><ul><li>En ...
Evaluación de la RI en Internet Evaluación de los buscadores <ul><li>En relación con el  motor de búsqueda </li></ul><ul><...
Evaluación de la RI en Internet Evaluación de los buscadores <ul><li>En relación con la  base de datos </li></ul><ul><li>I...
Evaluación de la RI en Internet Evaluación de los buscadores <ul><li>En relación con la  base de datos </li></ul><ul><li>T...
Evaluación de la RI en Internet Evaluación de los buscadores <ul><li>En relación con la  interfaz </li></ul><ul><li>Calida...
Evaluación de la RI en Internet:  Un caso práctico Evaluación de los resultados <ul><li>Usuarios reales  elegidos al azar ...
Evaluación de la RI en Internet:  Un caso práctico Evaluación de los resultados <ul><ul><ul><li>Tratamientos de residuos h...
Evaluación de la RI en Internet.   Un caso práctico Evaluación de los resultados Sintaxis de búsqueda
Evaluación de la RI en Internet:   Un caso práctico Evaluación de los resultados <ul><li>Intervalo mínimo en la realizació...
 
Evaluación de la RI en Internet:   Un caso práctico Evaluación de los resultados Análisis de resultados: exhaustividad-pre...
Evaluación de la RI en Internet:   Un caso práctico Evaluación de los resultados
Evaluación de la RI en Internet.   Un caso práctico Evaluación de los buscadores Características y Prestaciones
Evaluación de la RI en Internet:  Evaluación de los buscadores Inactivos, duplicados y de relevancia 0 (de entre los 20 pr...
Evaluación de la RI en Internet:   Un caso práctico Evaluación de los resultados   Promedio de resultados relevantes (de e...
 
Evaluación de la RI en Internet <ul><li>El método permite analizar la calidad de los buscadores de la W3 y establecer comp...
Próxima SlideShare
Cargando en…5
×

Evaluacion RI

1.402 visualizaciones

Publicado el

Curso de posgrado. Evaluación de SRI. 2001

0 comentarios
2 recomendaciones
Estadísticas
Notas
  • Sé el primero en comentar

Sin descargas
Visualizaciones
Visualizaciones totales
1.402
En SlideShare
0
De insertados
0
Número de insertados
5
Acciones
Compartido
0
Descargas
25
Comentarios
0
Recomendaciones
2
Insertados 0
No insertados

No hay notas en la diapositiva.

Evaluacion RI

  1. 1. Recuperación de información en Internet: Evaluación Prof. Belarmina Benítez de Vendrell Departamento de Bibliotecología Facultad de Humanidades y Ciencias Sociales Universidad Nacional de Misiones 2001
  2. 2. Programa del curso Características, prestaciones y procedimientos de búsqueda utilizados en las más destacadas herramientas de búsqueda de Internet. Metodología de evaluación aplicada en el ámbito de la Recuperación de Información.
  3. 3. Word Wide Web
  4. 4. Características de la información en la Web * Inmensa cantidad de información *Información hipermedia *Dispersión de la información *Dificultad de encontrar lo que se busca *&quot;Información potencial&quot; versus &quot;información&quot; *Desigual calidad de la información *Etica y censura en la red *Propiedad intelectual *Privacidad
  5. 5. Evaluación de la información en internet <ul><li>¿Por qué evaluar las páginas de la Web? </li></ul><ul><ul><li>La calidad de la información no está garantizada </li></ul></ul><ul><ul><li>Cualquier persona puede publicar una página de la web sobre cualquier cosa. </li></ul></ul><ul><ul><li>Pocas páginas tienen crítica editorial </li></ul></ul><ul><ul><li>Los autores no están identificados </li></ul></ul><ul><ul><li>Las fechas de publicación o no existen o no son exactas </li></ul></ul><ul><ul><li>La información puede ser vieja </li></ul></ul><ul><ul><li>Los sitios aparecen y desaparecen </li></ul></ul><ul><ul><li>A veces se consigue información maliciosa o equivocada </li></ul></ul>
  6. 6. Evaluación de la información en internet <ul><li>Evaluación (Brandt 1996): </li></ul><ul><ul><li>Objetivamente : validez, fiabilidad y autenticidad de la informaci ó n </li></ul></ul><ul><ul><li>Subjetivamente: determinando si esa informaci ó n es pertinente para nuestras necesidades </li></ul></ul><ul><li>C riterios tradicionales ( A lexander , 1996 ) : </li></ul><ul><ul><li>P recisi ó n de la informaci ó n ofrecida </li></ul></ul><ul><ul><li>A utoridad de quien la presenta </li></ul></ul><ul><ul><li>O bjetividad y actualidad de los contenidos </li></ul></ul><ul><ul><li>C obertura informativa </li></ul></ul>
  7. 7. Evaluación de la información en internet: criterios <ul><li>* Cobertura </li></ul><ul><ul><ul><ul><ul><li>Extensi ó n </li></ul></ul></ul></ul></ul><ul><ul><ul><ul><ul><li>Profundidad </li></ul></ul></ul></ul></ul><ul><ul><ul><ul><ul><li>Periodo de tiempo cubierto </li></ul></ul></ul></ul></ul><ul><ul><ul><ul><ul><li>Documentos fuente </li></ul></ul></ul></ul></ul><ul><ul><ul><ul><ul><li>Lenguas </li></ul></ul></ul></ul></ul>
  8. 8. Evaluación de la información en internet: criterios <ul><li>* Contenido </li></ul><ul><ul><ul><ul><ul><li>Fiabilidad de la informaci ó n </li></ul></ul></ul></ul></ul><ul><ul><ul><ul><ul><li>Actualidad del contenido </li></ul></ul></ul></ul></ul><ul><ul><ul><ul><ul><li>Autoridad </li></ul></ul></ul></ul></ul><ul><ul><ul><ul><ul><li>Formato y apariencia </li></ul></ul></ul></ul></ul><ul><ul><ul><ul><ul><li>Destinatarios </li></ul></ul></ul></ul></ul><ul><ul><ul><ul><ul><li>Finalidad </li></ul></ul></ul></ul></ul><ul><ul><ul><ul><ul><li>Originalidad </li></ul></ul></ul></ul></ul><ul><li>* Facilidades </li></ul><ul><ul><ul><ul><ul><li>Facilidad de uso </li></ul></ul></ul></ul></ul><ul><ul><ul><ul><ul><li>B ú squeda </li></ul></ul></ul></ul></ul><ul><ul><ul><ul><ul><li>Accesibilidad </li></ul></ul></ul></ul></ul><ul><ul><ul><ul><ul><li>Costes </li></ul></ul></ul></ul></ul>
  9. 9. Servicios en la World Wide Web <ul><li>Buscadores web 1993-1994 </li></ul><ul><ul><li>WWWWorm, WebCrawler </li></ul></ul><ul><ul><li>Altavista, Excite, Infoseek, Lycos, Opentext </li></ul></ul><ul><li>Despegue definitivo: 1996 </li></ul><ul><ul><li>Reflejo en la prensa y publicaciones varias </li></ul></ul><ul><ul><li>Continuas mejoras </li></ul></ul><ul><ul><li>Amplia gama de herramientas de consulta </li></ul></ul>
  10. 10. Servicios de Búsqueda: Tipología <ul><li>Los directorios </li></ul><ul><li>Motores de búsqueda o buscadores web </li></ul><ul><li>Los metabuscadores y colecciones de buscadore s </li></ul><ul><li>Agentes “inteligentes” multibuscadores </li></ul>
  11. 11. Servicios de búsqueda en la World Wide Web: Directorios <ul><li>Dividen el espacio de información en diferentes categorías temáticas significativas para los usuarios (Chen 98) </li></ul><ul><li>Consulta: motor interno y navegación por categorías </li></ul><ul><li>Directorios generalistas y especializados </li></ul>
  12. 12. Servicios de Búsqueda: Tipología Motores de búsqueda o buscadores web <ul><li>Robot de búsqueda: automático </li></ul><ul><li>Programa de indización: texto completoBase de datos: dinámica y enorme </li></ul><ul><li>Interfaz: versátil y personalizable </li></ul>
  13. 13. Servicios de búsqueda en la World Wide Web: Los metabuscadores y colecciones de buscadore s <ul><li>Dogpile, </li></ul><ul><li>Metacrawler, </li></ul><ul><li>Profusion </li></ul>
  14. 14. Servicios de búsqueda en la World Wide W eb : Metabuscadores <ul><li>Ventajas: </li></ul><ul><ul><li>Procesamiento paralelo de la búsqueda en varios buscadores </li></ul></ul><ul><ul><li>Bases de datos complementarias: búsquedas exhaustivas </li></ul></ul><ul><ul><li>Opciones de ordenación, eliminación de duplicados, etc. </li></ul></ul>
  15. 15. Servicios de búsqueda en la World Wide Web: Los metabuscadores <ul><li>Inconvenientes: </li></ul><ul><ul><li>No se aprovechan todas las prestaciones de cada buscador </li></ul></ul><ul><ul><li>Los buscadores individuales actúan como portales </li></ul></ul><ul><ul><li>Pocas prestaciones de búsqueda avanzada </li></ul></ul><ul><ul><li>Ausencia de importantes buscadores web </li></ul></ul><ul><ul><li>Contribuyen a: </li></ul></ul><ul><ul><ul><li>Sobrecargar el servidor del metabuscador </li></ul></ul></ul><ul><ul><ul><li>Sobrecargar la red </li></ul></ul></ul><ul><ul><ul><li>Sobregargar los servidores de los buscadores </li></ul></ul></ul>
  16. 16. Servicios de búsqueda en la World Wide W eb : Colecciones de buscadore s <ul><ul><li>Interfaces que ofrecen, desde una única página web, acceso a diferentes servicios de búsqueda. Permiten plantear directamente las consultas y actúan como guía, exhaustiva o selectiva, de buscadores y directorios. </li></ul></ul><ul><ul><li>Configurable Unified Search Engine (CUSI) de Martijn Koster </li></ul></ul><ul><ul><li>All in one de Willian Cross </li></ul></ul><ul><ul><li>Buscopio (GOBIB) de Ricardo Fornas </li></ul></ul>
  17. 17. Servicios de búsqueda en la World Wide Web: Agentes “inteligentes” multibuscadores <ul><li>Herramientas de “segunda generación” </li></ul><ul><li>Aplicaciones cliente </li></ul><ul><li>Copernic, EZSearch, MataHari, iMine, WebSeeker, WebFerret, WebStorm </li></ul>
  18. 18. Evaluación de la RI: problemas <ul><li>La RI se basa en “ Conceptos inefables ” (Belkin 81) </li></ul><ul><li>Casi todos los problemas detectados en la evaluación de sistemas de recuperación se derivan de la falta de acuerdo sobre las características del proceso mismo de recuperación (Tague 92, 96b) </li></ul><ul><li>... su valor ( de un SRI ) depende de su capacidad para identificar rápida y correctamente la información útil, de su facilidad para rechazar ítemes extraños o irrelevantes y de la versatilidad de los métodos que emplea (Salton 83) </li></ul><ul><li>La evaluación de un SRI debe reflejar la capacidad del sistema para satisfacer al usuario (Rijsbergen 79) </li></ul>
  19. 19. Evaluación de la RI: tendencias <ul><li>Tradicional o algorítmica </li></ul><ul><li>“ De usuario” o cognitiva </li></ul><ul><li>Sincrética </li></ul>
  20. 20. Evaluación de la RI: tendencias Tradicional o algorítmica <ul><li>Precedentes: </li></ul><ul><li>1953: Test ASTIA-Uniterm en los Estados Unidos y test Uniterm de Cranfield en Reino Unido </li></ul><ul><li>1957: Proyecto Cranfield, NSF-ASLIB Cyril Cleverdon </li></ul>
  21. 21. Evaluación de la RI: tendencias Tradicional o algorítmica <ul><ul><li>Cranfield I (1957-1962). Perfilar las herramientas que se utilizarían en años posteriores para la evaluación: </li></ul></ul><ul><ul><ul><ul><li>Una colección de documentos de los que se obtuvieron las preguntas — documentos fuente — . </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Una serie de juicios de relevancia de los documentos recuperados expresada en tres niveles : muy útil, útil, nada útil . </li></ul></ul></ul></ul><ul><ul><ul><ul><li>el uso de las medidas de exhaustividad y precisión para analizar los resultados. </li></ul></ul></ul></ul><ul><ul><li>Cranfield II (1963-1966) consolidación de los «instrumentos de Cranfield» </li></ul></ul>
  22. 22. Evaluación de la RI: tendencias <ul><li>Modelo tradicional de RI: </li></ul><ul><li>el usuario reconoce una necesidad de información. </li></ul><ul><li>dirige a un SRI una consulta basada en esa necesidad. </li></ul><ul><li>el SRI compara las consultas con las representaciones de los documentos de su base de datos. </li></ul><ul><li>el SRI presenta al usuario el texto o textos que pueden satisfacer sus necesidades de información. </li></ul><ul><li>el usuario examina las representaciones de los textos presentadas y juzga su relevancia. </li></ul>Tradicional o algorítmica
  23. 23. Evaluación de la RI : tendencias Tradicional o algorítmica <ul><li>Críticas al modelo Cranfield: </li></ul><ul><ul><li>Ausencia de los usuarios </li></ul></ul><ul><ul><li>No se consideran las estructuras cognitivas del individuo </li></ul></ul><ul><ul><li>Reduccionismo </li></ul></ul><ul><ul><li>«Antimentalismo» </li></ul></ul><ul><ul><li>No se controlan muchos aspectos que son importantes en el proceso de recuperación </li></ul></ul><ul><ul><li>No se tiene en cuenta el gran número de estudios basados en el comportamiento de los usuarios en las búsquedas </li></ul></ul>
  24. 24. Evaluación de la RI : tendencias Tradicional o algorítmica <ul><ul><li>Diversos problemas: </li></ul></ul><ul><ul><ul><li>de validez y fiabilidad — provocados por la omisión del usuario , </li></ul></ul></ul><ul><ul><ul><li>de generalización — falta de ejemplos tomados al azar, uso de pequeñas colecciones de evaluación, conclusiones contradictorias, </li></ul></ul></ul><ul><ul><ul><li>de utilidad — resultados de los experimentos no aplicables a sistemas reales, </li></ul></ul></ul><ul><ul><ul><li>conceptuales — problemas de «solidez» que plantean los conceptos básicos en los que se apoya la evaluación de SRI . </li></ul></ul></ul>
  25. 25. <ul><li>Evaluación de la RI : tendencias </li></ul><ul><li>“ De usuario” o cognitiva </li></ul>
  26. 27. Evaluación de la RI: tendencias “De usuario” o cognitiva <ul><li>Críticas a la aproximación cognitiva: </li></ul><ul><ul><li>No todas las aproximaciones cognitivas son válidas en RI y las más populares han obviado algunos hechos fundamentales del pensamiento humano, como su dependencia de la interacción con otros sujetos del entorno de la persona estudiada, o el carácter interno del contexto.   </li></ul></ul>
  27. 28. Evaluación de la RI: tendencias “De usuario” o cognitiva <ul><li>Críticas a la aproximación cognitiva: </li></ul><ul><ul><li>Falta de rigor en sus planteamientos metodológicos y de un modelo de experimentación </li></ul></ul><ul><ul><li>Asumen que el estudio del pensamiento o del comportamiento de los usuarios puede ayudar a descubrir leyes, principios o regularidades ocultas aplicables al diseño de SRI.  construir principios. </li></ul></ul>
  28. 29. Evaluación de la RI: tendencias Sincrética. Revisión de estrategias <ul><li>Principios del procedimiento de evaluación : </li></ul><ul><ul><li>1) validez: el estudio debe determinar realmente lo que desea el investigador </li></ul></ul><ul><ul><li>2) rigor: los resultados del estudio deben ser replicables) </li></ul></ul><ul><ul><li>3) eficacia: el estudio debe ser válido y razonable en relación con los recursos consumidos </li></ul></ul>
  29. 30. Evaluación de la RI: Revisión de estrategias <ul><li>El tipo de experimento: </li></ul><ul><li>Pruebas en sistemas activos frente a condiciones de laboratorio </li></ul>
  30. 31. Evaluación de la RI: Revisión de estrategias <ul><li>La colección de evaluación frente a sistemas reales </li></ul><ul><li>Permite comparar los resultados de los estudios realizados </li></ul><ul><li>Problemas : construcción, extrapolación y tamaño </li></ul><ul><li>«Subbase de datos de prueba»  análisis de los contenidos y tipología de los servidores web </li></ul><ul><ul><ul><li>Estadísticamente representativa </li></ul></ul></ul><ul><ul><ul><li>La serie TREC (Text Retrieval Conference)  conjunto ( pooling ) </li></ul></ul></ul>
  31. 34. Evaluación de la RI: Revisión de estrategias <ul><li>Los usuarios </li></ul><ul><ul><ul><li>Usuarios reales </li></ul></ul></ul><ul><ul><ul><li>El usuario como parte fundamental del proceso de evaluación </li></ul></ul></ul>
  32. 35. Evaluación de la RI: Revisión de estrategias <ul><li>Las preguntas ( query ) </li></ul><ul><ul><ul><li>Enunciado de búsqueda del usuario o del intermediario ante un SRI </li></ul></ul></ul><ul><ul><ul><li>Las necesidades como las preferencias expresadas o loan request </li></ul></ul></ul>
  33. 36. Evaluación de la RI: Revisión de estrategias <ul><li>Las preguntas ( query ) </li></ul><ul><li>Medida de las necesidades reales de los usuarios: </li></ul><ul><ul><li>el tiempo o la frecuencia de uso de uno o mas tipos de sistemas de información </li></ul></ul><ul><ul><li>el grado de dificultad o satisfacción del usuario </li></ul></ul><ul><ul><li>las características de los sistemas que contribuyen al éxito de la transacción de información. </li></ul></ul><ul><li>Necesidad de información: </li></ul><ul><ul><li>inquietud del usuario por aclarar, verificar u obtener datos sobre un área temática concreta expresada en su pregunta. </li></ul></ul>
  34. 37. Evaluación de la RI: Revisión de estrategias. Medidas para la evaluación de la eficacia <ul><li>El “problema de la relevancia”: </li></ul><ul><ul><li>¿Es la medida de la relevancia lo realmente importante en una búsqueda? </li></ul></ul><ul><ul><li>Los juicios de relevancia realizados, ¿son rigurosos? </li></ul></ul><ul><li>  </li></ul>
  35. 38. Evaluación de la RI: Revisión de estrategias. Medidas para la evaluación de la eficacia <ul><li>Puntos de vista: </li></ul><ul><ul><li>Correspondencia entre una pregunta y un documento ( topical relevance ) </li></ul></ul><ul><ul><li>Utilidad de cada ítem para el usuario (pertinencia) </li></ul></ul><ul><li>Medir la relevancia: </li></ul><ul><ul><li>Escala a varios niveles </li></ul></ul><ul><ul><li>Cálculo probabilístico </li></ul></ul>
  36. 39. Evaluación de la RI: Revisión de estrategias. Medidas para la evaluación de la eficacia <ul><li>  La relevancia en Journal of the American Society for Information Science (JASIS) Froehlich (94): </li></ul><ul><ul><li>la incapacidad de definir la relevancia </li></ul></ul><ul><ul><li>la variedad de criterios de usuario que afectan a la relevancia </li></ul></ul><ul><ul><li>la naturaleza dinámica del comportamiento en la búsqueda de información </li></ul></ul><ul><ul><li>la necesidad de metodologías apropiadas para estudiar el comportamiento en la búsqueda de información </li></ul></ul><ul><ul><li>la necesidad de modelos cognitivos más completos para el diseño y evaluación de los SRI </li></ul></ul>
  37. 40. Evaluación de la RI: Revisión de estrategias. Medidas para la evaluación de la eficacia <ul><li>  La relevancia en Annual Review of Information Science and Technology (ARIST) Schamber (94) </li></ul><ul><ul><li>Comportamiento: ¿qué factores contribuyen a los juicios de relevancia? ¿qué procesos se vinculan a la evaluación de la relevancia? </li></ul></ul><ul><ul><li>Medida: ¿cuál es el papel de la relevancia en la evaluación de los SRI?, ¿cómo pueden medirse los juicios de relevancia? </li></ul></ul><ul><ul><li>Terminología: ¿debe hablarse de relevancia o de «diferentes tipos de relevancia»? </li></ul></ul>
  38. 41. Evaluación de la RI: Revisión de estrategias. Medidas para la evaluación de la eficacia <ul><li>  La relevancia en Mizzaro (97), 1958-1997 </li></ul><ul><ul><li>Fundamentos </li></ul></ul><ul><ul><li>Tipos de relevancia </li></ul></ul><ul><ul><li>Representación de los documentos </li></ul></ul><ul><ul><li>Criterios implicados en los juicios de relevancia </li></ul></ul><ul><ul><li>La relevancia como fenómeno dinámico </li></ul></ul><ul><ul><li>La expresión del juicio de relevancia </li></ul></ul><ul><ul><li>La subjetividad en la valoración de la misma </li></ul></ul><ul><ul><li>Periodo final  perspectiva cognitiva  user-based relevance </li></ul></ul>
  39. 42. Evaluación de la RI: Revisión de estrategias. Medidas para la evaluación de la eficacia <ul><li>Medidas de carácter afectivo: </li></ul><ul><ul><li>Los beneficios y frustraciones </li></ul></ul><ul><ul><li>la utilidad (Cooper 76) </li></ul></ul><ul><ul><li>el valor (Taylor) </li></ul></ul><ul><ul><li>la relación entre las dos últimas (Beghtol 89) </li></ul></ul><ul><ul><li>el impacto (Kantor y Saracevic) </li></ul></ul><ul><ul><li>Satisfacción   (Gatian 94) </li></ul></ul><ul><li>Criterios objetivos y cuantitativos: Exhaustividad-precisión </li></ul><ul><ul><li>Gran popularidad </li></ul></ul><ul><ul><li>Facilita la comparación entre sistemas </li></ul></ul><ul><ul><li>Críticas </li></ul></ul>
  40. 43. Evaluación de la RI: Revisión de estrategias. Medidas para la evaluación de la eficacia <ul><li>Exhaustividad </li></ul><ul><ul><li>Conocer el nº total de documentos relevantes. Bases de datos grandes  Estimaciones: </li></ul></ul><ul><ul><ul><li>Mediante técnicas de muestreo (Salton 83) </li></ul></ul></ul><ul><ul><ul><li>Utilizar dos bases de datos con temas similares (Lancaster 97) </li></ul></ul></ul><ul><li>Cálculos (Salton 83): </li></ul><ul><ul><li>E =  RELREC </li></ul></ul><ul><ul><ul><ul><li>RELREC + RELNREC </li></ul></ul></ul></ul><ul><ul><li>P=  RELREC </li></ul></ul><ul><ul><ul><ul><li>RELREC + RECNREL </li></ul></ul></ul></ul><ul><ul><ul><li>  </li></ul></ul></ul>
  41. 44. Evaluación de la RI: Revisión de estrategias. Medidas para la evaluación de la eficacia
  42. 45. Evaluación de la RI en Internet Bibliografía <ul><ul><ul><li>Estudios (no realizados por investigadores o profesionales de las CI) </li></ul></ul></ul><ul><ul><ul><li>Escala: muy pequeña </li></ul></ul></ul><ul><ul><ul><li>Carácter: </li></ul></ul></ul><ul><ul><ul><ul><ul><li>Mayoritariamente descriptivo </li></ul></ul></ul></ul></ul><ul><ul><ul><ul><ul><li>Cuantitativo </li></ul></ul></ul></ul></ul><ul><ul><ul><ul><li>Método deductivamente poco coherente </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Método inductivamente poco riguroso </li></ul></ul></ul></ul>
  43. 46. Evaluación de la RI en Internet: Estudios relacionados <ul><li>Evaluaciones cualitativas </li></ul><ul><li>Evaluaciones cuantitativas </li></ul><ul><li>Publicaciones: </li></ul><ul><ul><li>Tecnologías de la información: Internet World, Online, Database </li></ul></ul><ul><ul><li>Revistas de informática: PC World, PC Magazine, PC Computer, PC Week </li></ul></ul><ul><ul><li>Revistas especializadas en Documentación: JASIS, Information Processing and Management, Aslib Proceedings, ARIST, Electronic Library, Computers in Library... </li></ul></ul>
  44. 47. Evaluación de la RI en Internet <ul><ul><li>Obtención de las preguntas: </li></ul></ul><ul><ul><ul><ul><li>Investigadores </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Servicio de referencia de bibliotecas </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Estudiantes </li></ul></ul></ul></ul><ul><ul><ul><ul><li>“ Espiar” consultas de otros usuarios </li></ul></ul></ul></ul>Los usuarios y sus necesidades de información
  45. 48. Evaluación de la RI en Internet Los usuarios y sus necesidades de información <ul><li>Características: </li></ul><ul><ul><ul><li>Que haya recursos en la W3 </li></ul></ul></ul><ul><ul><ul><li>Que constituyan una combinación de preguntas «fáciles» —con un alto nivel de respuesta— y «difíciles» —con resultados más restringidos— </li></ul></ul></ul><ul><ul><ul><li>Que unas preguntas sean de temas académicos y/o especializados y otras de temas más comunes </li></ul></ul></ul><ul><ul><ul><li>Que se trate de preguntas heterogéneas, relacionadas con temas diversos </li></ul></ul></ul><ul><li>Número de preguntas </li></ul>
  46. 49. Evaluación de la RI en Internet <ul><li>Evaluación de los resultados </li></ul><ul><li>Evaluación de los buscadores </li></ul>Metodología experimental (Dra. María Dolores Olvera Lobos)
  47. 50. Evaluación de la RI en Internet Evaluación de los resultados <ul><li>a) Ecuación de búsqueda: sintaxis </li></ul><ul><li>b) Realización de las consultas </li></ul><ul><li>c) Valoración de la relevancia: asesores externos </li></ul><ul><li>d) Resultados: exhaustividad y precisión </li></ul>
  48. 51. Evaluación de la RI en Internet Evaluación de los resultados <ul><li>Aspecto fundamental </li></ul><ul><li>Reto principal al realizar una consulta: </li></ul><ul><ul><li>Conseguir que la pregunta recupere los documentos que se consideran realmente relevantes </li></ul></ul><ul><li>Elementos: </li></ul><ul><ul><li>términos, operadores lógicos, uso de paréntesis, truncamiento, formulación de la búsqueda en lenguaje natural. </li></ul></ul><ul><li>Línea de investigación: </li></ul><ul><ul><li>Selección y eficacia de los términos de búsqueda utilizados en la interacción con el sistema de recuperación </li></ul></ul>a) La sintaxis de búsqueda
  49. 52. Evaluación de la RI en Internet Evaluación de los resultados <ul><li>Formular simultáneamente la misma pregunta en todos los servicios evaluados: 20-30 minutos </li></ul><ul><li>Rápido análisis de los resultados </li></ul>b) Ejecución de las búsquedas
  50. 53. Evaluación de la RI en Internet Evaluación de los resultados <ul><li>Asesores externos </li></ul><ul><li>Precisión de los diez, veinte o veinticinco primeros </li></ul><ul><li>Juzgar la relevancia del texto completo </li></ul><ul><li>Escala de relevancia: </li></ul><ul><ul><ul><li>a) enlaces duplicados, inactivos e irrelevantes: 0 puntos </li></ul></ul></ul><ul><ul><ul><li>b) enlaces técnicamente relevantes: 1 punto </li></ul></ul></ul><ul><ul><ul><li>c) enlaces potencialmente útiles: 2 puntos </li></ul></ul></ul><ul><ul><ul><li>d) los enlaces probablemente más útiles: 3 puntos </li></ul></ul></ul>c) Los juicios de relevancia
  51. 54. Evaluación de la RI en Internet Evaluación de los resultados <ul><li>Duplicados: </li></ul><ul><ul><li>Mismo URL (Uniform Resource Locator) básico que una referencia anterior de la lista de resultados o si un nombre del directorio en el URL está en mayúsculas en un caso pero no en otro. </li></ul></ul><ul><ul><li>Se le considera en la categoría de duplicados, independiente-mente de sus otras cualidades (inactivo, irrelevante o válido) </li></ul></ul>c) Los juicios de relevancia
  52. 55. Evaluación de la RI en Internet Evaluación de los resultados <ul><li>c) Los juicios de relevancia </li></ul><ul><li>Duplicados: </li></ul><ul><ul><li>Los espejos ( mirror sites o alias), servidores idénticos con direcciones IP (Internet Protocol) o directorios diferentes, incluso cuando dos archivos son el mismo o versiones ligeramente diferentes, no se consideran como duplicados. </li></ul></ul>
  53. 56. Evaluación de la RI en Internet Evaluación de los resultados <ul><li>Inactivos: </li></ul><ul><ul><ul><li>Error 404: el servidor ha sido contactado pero no se consigue localizar ese fichero. </li></ul></ul></ul><ul><ul><ul><li>Error 603: el servidor no responde </li></ul></ul></ul><ul><ul><ul><li>Mensajes que indican que el acceso a la página está prohibido o que se necesita clave de acceso. </li></ul></ul></ul><ul><ul><ul><li>Mensajes que anuncian que la página deseada ha sido eliminada o trasladada a otro servidor. </li></ul></ul></ul><ul><li>  </li></ul>c) Los juicios de relevancia
  54. 57. Evaluación de la RI en Internet Evaluación de los resultados <ul><li>Relevantes: </li></ul><ul><li>0. Una página web que no satisface la pregunta ni recoge los términos de la ecuación de búsqueda. </li></ul><ul><li>1. Una página técnicamente adecuada pero no útil: </li></ul><ul><ul><li>El documento recoge, en el código HTML (HyperText Markup Language), las diferentes partes de la pregunta pero no en el contexto adecuado </li></ul></ul><ul><ul><li>Mencionan el tema en el contexto adecuado pero sólo contienen un mínimo de información realmente útil. </li></ul></ul>c) Los juicios de relevancia
  55. 58. Evaluación de la RI en Internet Evaluación de los resultados <ul><li>c) Los juicios de relevancia </li></ul><ul><li>Relevantes: </li></ul><ul><li>2. Páginas que pueden tener alguna utilidad, aunque no necesariamente, para quien plantee la búsqueda: </li></ul><ul><ul><li>No abordan el tema con profundidad o se centran en algún aspecto específico del mismo. </li></ul></ul><ul><ul><li>Páginas con al menos un enlace a otra página a la que se asignan 3 puntos, aunque la primera no contenga otras informaciones relevantes. </li></ul></ul><ul><li>3.Páginas web que, probablemente, serían útiles para quien plantee la consulta: </li></ul><ul><ul><li>Tratan el tema extensamente </li></ul></ul><ul><ul><li>Contener enlaces a otros documentos que tratan ese tema </li></ul></ul><ul><ul><li>Ofrecen una bibliografía de páginas web o «webibliografía». </li></ul></ul>
  56. 59. Evaluación de la RI en Internet Evaluación de los resultados <ul><li>Imposible calcular la exhaustividad real en la Web por su tamaño y naturaleza dinámica </li></ul><ul><li>Técnicas de muestreo: subconjunto de documentos </li></ul><ul><li>Pooling procesando una pregunta concreta mediante: </li></ul><ul><ul><li>varias búsquedas y métodos de recuperación diferentes </li></ul></ul><ul><ul><li>un metabuscador </li></ul></ul><ul><li>Relevancia de los documentos recuperados: evaluación por cortes según el “umbral de futilidad” (Blair 80) </li></ul>d) Análisis de los resultados
  57. 60. Evaluación de la RI en Internet Evaluación de los buscadores <ul><li>a) Motor de búsqueda </li></ul><ul><li>b) Base de datos </li></ul><ul><li>c) Interfaz de usuario </li></ul><ul><li>d) Otros servicios </li></ul>
  58. 61. Evaluación de la RI en Internet Evaluación de los buscadores <ul><li>En relación con el motor de búsqueda </li></ul><ul><li>Sin palabras vacías </li></ul><ul><li>Búsqueda de expresiones complejas (H 2 O, C++) </li></ul><ul><li>Discrimina mayúsculas-minúsculas y signos diacríticos </li></ul><ul><li>Truncamiento </li></ul><ul><li>Búsqueda aproximada o por conceptos </li></ul><ul><li>Uso de paréntesis para ecuaciones complejas </li></ul>Características deseables
  59. 62. Evaluación de la RI en Internet Evaluación de los buscadores <ul><li>En relación con el motor de búsqueda </li></ul><ul><li>Operadores de proximidad y otros ( can, must, must not, should, should not ) </li></ul><ul><li>Operador por defecto and </li></ul><ul><li>Restringir la búsqueda a partir de los resultados </li></ul><ul><li>Características imprescindibles </li></ul><ul><li>Operadores: (and, or y not) y delimitadores + - . </li></ul><ul><li>Frases de búsquedas </li></ul>
  60. 63. Evaluación de la RI en Internet Evaluación de los buscadores <ul><li>Características imprescindibles </li></ul><ul><li>En relación con el motor de búsqueda </li></ul><ul><li>Búsqueda por etiquetas HTML de los documentos web (título, imagen) o de otras cualidades formales (tipo de fichero) o de ubicación (dominio, servidor, etc.) </li></ul><ul><li>Búsqueda en lenguaje natural. </li></ul><ul><li>Existencia de un directorio temático </li></ul><ul><li>Ayuda para reformular las búsquedas </li></ul><ul><li>Resultados ordenados por relevancia </li></ul><ul><li>Mostrar el valor relevancia. </li></ul><ul><li>Búsqueda por cadenas de caracteres: numéricas (007) y alfanuméricas (4B)   </li></ul>
  61. 64. Evaluación de la RI en Internet Evaluación de los buscadores <ul><li>En relación con el motor de búsqueda </li></ul><ul><li>Búsqueda mediante ejemplo </li></ul><ul><li>Uso de un “tesauro” </li></ul><ul><li>Otras características: delimitar por lengua, fecha, etc. </li></ul><ul><li>Otras búsquedas: ficheros de sonido, imágenes, vídeo </li></ul><ul><li>Indicación nº total referencias recuperadas </li></ul><ul><li>Frecuencia de cada término de búsqueda </li></ul><ul><li>Limitar el nº total de referencias recuperadas </li></ul><ul><li>Establecer nº referencias por pantalla </li></ul><ul><li>Referencias recuperadas numeradas </li></ul><ul><li>Diferentes formatos de presentación </li></ul>Características deseables
  62. 65. Evaluación de la RI en Internet Evaluación de los buscadores <ul><li>En relación con la base de datos </li></ul><ul><li>Indización de texto </li></ul><ul><li>Rapidez en la incorporación de URLs enviadas </li></ul><ul><li>En relación con la interfaz </li></ul><ul><li>Pantallas de ayuda ejemplos de búsqueda, busqueda avanzada </li></ul><ul><li>En relación con otros servicios </li></ul><ul><li>Usenet, correo electrónico, noticias, otros </li></ul>Características imprescindibles
  63. 66. Evaluación de la RI en Internet Evaluación de los buscadores <ul><li>En relación con la base de datos </li></ul><ul><li>Tamaño superior a 150 millones de páginas web </li></ul><ul><li>Frecuencia de actualización </li></ul><ul><li>Construcción automática y manual </li></ul><ul><li>Indización mediante metaetiquetas </li></ul><ul><li>Respetar protocolo de Exclusión de Robots: /robots.txt o noindex </li></ul><ul><li>Recursos seleccionados y evaluados </li></ul>Características deseables
  64. 67. Evaluación de la RI en Internet Evaluación de los buscadores <ul><li>En relación con la interfaz </li></ul><ul><li>Calidad de los gráficos </li></ul><ul><li>Documentación sobre el servicio </li></ul><ul><li>Menús desplegables </li></ul><ul><li>Guardar configuración de búsqueda </li></ul><ul><li>Interfaz personalizable </li></ul><ul><li>Servidores duplicados (mirrors) </li></ul><ul><li>Versiones nacionales </li></ul>Características deseables
  65. 68. Evaluación de la RI en Internet: Un caso práctico Evaluación de los resultados <ul><li>Usuarios reales elegidos al azar relacionados con el ámbito académico </li></ul><ul><li>Necesidades de información sobre temas muy diversos </li></ul>Los usuarios y sus necesidades de información
  66. 69. Evaluación de la RI en Internet: Un caso práctico Evaluación de los resultados <ul><ul><ul><li>Tratamientos de residuos hospitalarios en el mundo, menos en Argentina </li></ul></ul></ul><ul><ul><ul><li>Lengua Aymará </li></ul></ul></ul><ul><ul><ul><li>Generadores de energía eléctrica </li></ul></ul></ul><ul><ul><ul><li>Reciclado de desechos de madera </li></ul></ul></ul><ul><ul><ul><li>Asado criollo </li></ul></ul></ul><ul><ul><ul><li>Musicoterapia para autistas </li></ul></ul></ul><ul><ul><ul><li>Musicoterapia en Brasil </li></ul></ul></ul><ul><ul><ul><li>Genoma humano </li></ul></ul></ul><ul><ul><ul><li>Nicholas Cage </li></ul></ul></ul><ul><ul><ul><li>Reality show </li></ul></ul></ul>Las preguntas
  67. 70. Evaluación de la RI en Internet. Un caso práctico Evaluación de los resultados Sintaxis de búsqueda
  68. 71. Evaluación de la RI en Internet: Un caso práctico Evaluación de los resultados <ul><li>Intervalo mínimo en la realización de las búsquedas y análisis de resultados </li></ul><ul><ul><li>3 a 5 minutos: u na misma pregunta en distintos buscadores </li></ul></ul><ul><ul><li>1 a 7 días: acceso al documento completo y valoración de relevancia </li></ul></ul><ul><li>10 preguntas x 2 buscadores = 20 consultas </li></ul><ul><li>20 consultas x 10 resultados = 200 referencias analizadas </li></ul>Realización de las consultas
  69. 73. Evaluación de la RI en Internet: Un caso práctico Evaluación de los resultados Análisis de resultados: exhaustividad-precisión
  70. 74. Evaluación de la RI en Internet: Un caso práctico Evaluación de los resultados
  71. 75. Evaluación de la RI en Internet. Un caso práctico Evaluación de los buscadores Características y Prestaciones
  72. 76. Evaluación de la RI en Internet: Evaluación de los buscadores Inactivos, duplicados y de relevancia 0 (de entre los 20 primeros resultados) para las 20 preguntas
  73. 77. Evaluación de la RI en Internet: Un caso práctico Evaluación de los resultados Promedio de resultados relevantes (de entre los 10 primeros) por pruebas
  74. 79. Evaluación de la RI en Internet <ul><li>El método permite analizar la calidad de los buscadores de la W3 y establecer comparaciones. </li></ul><ul><li>Se demuestra la viabilidad de adaptar técnicas ya existentes de evaluación de la RI a los servicios de búsqueda en Internet. </li></ul><ul><li>El estudio permite establecer: </li></ul><ul><ul><li>Prestaciones y propiedades de un buscador «estándar» </li></ul></ul><ul><ul><li>Tendencias </li></ul></ul><ul><ul><li>Características de presencia creciente </li></ul></ul>Conclusiones generales

×