El documento describe el problema de que las herramientas de búsqueda web producen resultados incompletos y des-estructurados, mientras que la investigación requiere un corpus exhaustivo de todos los documentos y los resultados estructurados en una base de datos. Plantea el focused crawling como una posible solución, el cual utiliza una URL semilla, keywords relevantes, definición de frontera, clasificación basada en relevancia, extracción de nuevas URLs, recuperación y almacenaje de datos e indización. Finalmente, solicita sugerencias y propuestas sobre sol

1. I MiniBarCamp Caracas 2009
¿Web Crawling?
Buscando opciones para rastrear info en la web
(Mi propio google search)
Iria Puyosa
Iria Puyosa

4. Problema
Herramientas de búsqueda web producen:
- Resultados incompletos
- Datos des-estructurados

5. Problema
Investigación requiere:
- Corpus exhaustivo (todos los documentos
que se han producido)
- Estructuración de los resultados en una base
de datos que responda a queries específicas

6. ¿Solución?
¿Focused crawling?
- URL semilla
- Relevantes keywords
(Vectores de términos)
- Definición de la frontera
- Clasificación basada en relevancia
- Extracción de nuevas URLs
- Recuperación y almacenaje de datos
- Indización

7. ¿Soluciones?
¿Sugerencias?
¿Propuestas?

8. Estructuración
de base de datos indizados
- Definición de atributos
- Datasets Entrenamiento / Validación
- Clasificación
- Generación de algoritmo para clustering
- Modelos