El documento describe cómo utilizar la técnica de web scraping para extraer información valiosa pero de formato poco amigable del sitio web del Diario Oficial de la Federación mexicana y almacenarla en un formato más fácil de leer, así como notificar a los usuarios sobre temas de interés. Se mencionan herramientas como Scrapy y Scraper Wiki que pueden usarse para web scraping y se proporciona un código de ejemplo para extraer datos del DOF usando Scrapy y guardarlos en un archivo JSON.

1. Web Scraping
Codeando México

2. Problema
El diario oficial de la federación tiene
información muy valiosa del país.
Pero está en un formato horrible.
http://www.dof.gob.mx/index.php

3. Solución
Si pudiéramos obtener la información,
almacenarla y presentarla en un formato
amigable para el lector en forma de una
suscripción para recibir notificaciones a ciertos
temas de interés.

4. Web Scraping
Es una técnica utilizada para la extracción de
información de sitios web utilizando un
programa de computadora que actúa de forma
similar a un explorador web.

5. Herramientas para web scraping
● Scrapy, scraping and web crawling
framework para Python: https://github.
com/scrapy/scrapy/
● Scraper wiki, es un servicio de workers
automáticos que se quedan “scrapeando”:
https://scraperwiki.com/

6. Demo Scrapy
Código del demo en:
https://github.com/CodeandoMexico/web-scraping
Guardar información en un archivo json:
$ scrapy crawl dof -o notes.json -t json

7. Gracias
Braulio Chávez
braulio@codeandomexico.org
@HackerOfDreams