Este documento resume los conceptos clave de los buscadores web, incluyendo cómo funcionan a través de rastreo, indexación y búsqueda; los parámetros para medir su calidad como precisión y cobertura; los desafíos del spam; el potencial de la lingüística para mejorarlos; y los números masivos involucrados como los 25 mil millones de páginas en la web. También discute temas como el SEO, los modelos de negocio basados en publicidad, y cuestiona la concentración del mercado y el poder de los poc

1. Buscadores Web Por J. Miguel Lucas Rodríguez Miguellucas.com 10 Julio 2006 Curso de Tecnologías Lingüísticas Fundación Duques de Soria

2. Índice (I) Qué es un Buscador Web. Cómo funciona. Parámetros de calidad. Spam en buscadores. Lingüística y buscadores. Retos y futuro. Números de un buscador web. Modelos de negocio.

3. Índice (yII) SEO y buscadores web. La web y los buscadores. Buscadores y el español. Para el debate...

4. Qué es un Buscador Web Es un sistema informático concebido para la localización inmediata de información en la web.

5. Cómo funciona un Buscador Web Todo gira alrededor del índice: una estructura de datos que almacena referencias sobre la presencia de la información en la web. Los principales procesos que lleva a cabo un buscador web son: Rastreo. Indexación. Búsqueda. Los rastreos e indexaciones actualizan el índice y las búsquedas lo consultan para responder a los usuarios.

6. Calidad en Buscadores web Como sistema de recuperación de información la calidad en los resultados de puede medir en términos de precisión y cobertura. Limitaciones: La relevancia es personal. La web no se ha medido. Aparte de la recuperación, la calidad también depende del índice: Volumen, frescura y relevancia. Prácticas no éticas: Spam.

7. Spam en Buscadores Web Por el volumen de tráfico que manejan, existe un claro interés por ocupar las primeras posiciones en las páginas de resultados en los buscadores. Para que un algoritmo de cálculo de relevancia sea aplicable, debe ser no spammeable. El spam se traduce en un encarecimiento del coste unitario de la búsqueda. Tipos de spam : De contenido Link spam

8. Lingüística y Buscadores (I) Una de las principales limitaciones de la tecnología de búsqueda actual es que es literal. Las ambigüedades lingüísticas no se resuelven. Del matching literal al matching semántico : Conocimiento superior. Reduce el gap en la interfaz hombre-máquina. Enriquecimiento de la presentación. De ayuda al spam. ¿Por qué no se usan?

9. Lingüística y Buscadores (yII) Problemas para su aplicación: Volumen de información. Heterogeneidad de la información. Proyección sobre la interfaz. El coste computacional de las técnicas. Infocious es una implementación.

10. Futuro de los Buscadores Web Se trata de una tecnología con poco más de 10 años. Gran futuro por delante. Futuro: Personalización. Búsqueda semántica. Web 2.0 y redes sociales. Integración con el escritorio. Multimedia.

11. Números de un Buscador Web (I) 25.000 millones de páginas estáticas en la web. 10KB/pag (comprimido) [cache + índice]. 250 máquinas rastreadoras, a 100 páginas por segundo... 1.000.000 seg (11,6 días). Nº Págs 25.000 mill Volumen 500TB Rastreo 25.000 pág/s Búsquedas 3.000 bús/s

12. Números de un Buscador Web (yII) Cluster de pequeñas computadoras sin redundancia. Sistema operativo basado en Linux . Módulos de balanceo y tolerancia a fallos. Impresionante potencia computacional de bajo coste. 500€/PC, 300W/PC, Coste hw a 3 años Coste eléc. a 3 años y 0,1€ KWh Cluster 100.000 PC’s Coste hw. 50M€ Coste eléc. 80M€ Coste Adm. - Coste sw. -

13. Modelo de Negocio (I) Un buscador web hace frente a importantes costes. Sin embargo ofrecen el servicio de modo gratuito. Pago por posicionamiento: Las primeras posiciones en las SERP’s obtienen mucho más tráfico (62% hace clic en la primera posición). El pago no necesariamente se corresponde con una alta relevancia. Fue el primer modelo, creado por GoTo.com (Overture).

14. Modelo de Negocio (yII) Publicidad contextual: Las SERP’s son un escaparate muy concurrido. La publicidad depende de la búsqueda: es relevante y útil al usuario. La publicidad está diferenciada de los resultados: no compromete la relevancia. Problema: click fraud Troyanos de generación automática de clics. Empresas en países de mano de obra barata.

15. SEO y Buscadores Web Los sites en la web viven de su tráfico. Y éste llega a ellos fundamentalmente desde los buscadores. A menudo los sites están construidos con barreras que dificultan e imposibilitan el trabajo de los buscadores. Search Engine Optimization (SEO). Crear servicios y contenidos para humanos teniendo en cuenta a los buscadores. Search Engine Friendly .

16. La Web y los Buscadores (I) Internet es el segundo medio por tiempo de consumo en los países desarrollados (por detrás de la TV). Refleja lo que sucede en la sociedad.

17. La Web y los Buscadores (II) Los buscadores son los puntos de partida en la web [Informacional (40%), Navigacional (25%), Transaccional (35%)]. Los buscadores son los responsables de poner en contacto contenidos y servicios con su audiencia. De la efectividad de tal proceso depende el desarrollo mismo de la web. El desarrollo y crecimiento de la web ha ido de la mano del desarrollo de los buscadores.

18. La Web y los Buscadores (yIII) Los buscadores son una sonda de extraordinario valor para saber: Qué demanda el internauta. Cómo lo demanda. Cuándo lo demanda. Desde dónde. Los buscadores... Canalizan el tráfico de la web. Conocen las necesidades de dicho tráfico.

19. Buscadores Web y el español (I) La web, como medio de masas refleja lo que sucede en la sociedad.

20. Buscadores web y el español (II) ¿Cuál es la presencia de contenidos en español en los buscadores? Experimentos. Inglés vs Español en Google: La palabra más frecuente. La palabra a . Las 5 más frecuentes. La búsqueda * * . La búsqueda –afalsdejenfinu .

21. Buscadores web y el español (yIII) Validez orientativa: órdenes de magnitud. Basado en las estimaciones de números de resultados. Los datos se refieren únicamente al índice de Google.

22. Para el debate... (I) ¿Por qué hay tal diferencia en la densidad de resultados español / inglés ? ¿Web en inglés más desarrollada y antigua? ¿Mayor madurez tecnológica? ¿Inglés idioma universal? ¿Tratamiento diferenciado por idiomas por diferente mercado publicitario? Si la web ha crecido de la mano de los buscadores ¿habría que crear buscadores para desarrollar la web en español?

23. Para el debate... (yII) ¿Qué efectos tiene la concentración de las búsquedas web en 3 o 4 proveedores tan sólo? Con los intereses económicos patentes, ¿hasta qué punto se puede creer en la objetividad de la información proporcionada por los buscadores web? ¿Cuál es el poder real que tienen los buscadores web y cuáles son las “manos” que los gobiernan? ¿Deberían existir iniciativas estatales de desarrollo de buscadores web como parte de los planes de desarrollo de la sociedad de la información?

24. ¡Muchas Gracias! J. Miguel Lucas Rodríguez http://miguellucas.com [email_address]