Este documento habla sobre la introducción al web scraping. Explica brevemente la historia de la web y las APIs. Luego describe el web scraping como una técnica para extraer información de sitios web y menciona algunas herramientas y librerías como Requests, Beautiful Soup y Scrapy que pueden usarse para este propósito. Finalmente, promete mostrar un ejemplo de web scraping.

1. A falta de APIs buenas
son TORTAS
!
XV BetaBeers Zaragoza!
@dani_latorre!
!
11/04/2014

2. Ego slide
• Fundador de Biera Solutions!
• Desarrollador freelance!
• Ex-socio de Jobsket!
• Open Data (DNDzgz, elDisparate.de...)

3. Introducción al
Web Scraping

5. La web
• Compartir y divulgar investigaciones!
• Tim Berners-Lee y Robert Cailliau!
• HTML, HTTP, URL!
• Internet

7. APIs

8. Comunicación entre
máquinas
• Web semántica!
• Microformatos!
• SOAP!
• REST!
• ...

9. Pero no siempre es
posible...

10. Web Scraping
• “... es una técnica utilizada mediante
programas de software para extraer
información de sitios web.”!
• Ingeniería inversa!
• Controvertido

11. ¿Qué necesitas?
• Entender HTTP y URL!
• Conocer HTML!
• Un navegador web (con buenas
herramientas para devs)

12. Y más...
• Selectores CSS!
• XPath!
• Manejar sesiones/coockies!
• Expresiones Regulares

13. PACIENCIA

15. ¿Qué lenguaje uso?
• Python!
• Ruby!
• Java!
• Javascript!
• …!
• “Cualquiera”

16. ¿Librerías?
• Gestión de peticiones (GET Y POST)!
• Parseo del HTML!
• Ambas

17. Por ejemplo
• Requests, OpenURI/Net::HTTP,
Mechanize, Phantom, HTMLUnit,
Casper, Geb, Nokogiri, BeutifulSoup,
Cheerio, Scrapy, Selenium…

18. Veamos un ejemplo