El documento aborda el uso de Y! Pipes, una herramienta de programación visual que permite a los usuarios crear mash-ups de datos a partir de diversas fuentes en la web 2.0. Se discuten los flujos de datos, módulos y operaciones que se pueden implementar, así como ejemplos prácticos sobre cómo construir pipes para obtener información específica. También se mencionan los beneficios de manipular y reconfigurar datos generados por los usuarios y aplicaciones.

1. CLOUD COMPUTING.
DESARROLLO DE APLICACIONESY
MINERÍA WEB
Programa de extensión universitariaUniversidad de Oviedo
Miguel Fernández Fernández
miguel@ThirdWay.es

2. http://pipes.yahoo.com/pipes/

3. ¿El problema más representativo
de la Web 2.0?
Datos desperdigados por la WWW
Necesidad de separar el
grano de la paja
Posibilidad de mezclar
diferentes fuentes de info.
con nuevos propósitos
Mash-ups

4. ¿De qué datos estamos hablando?
Generados por los
usuarios
Clasificados por los
usuarios
Intercambiados por
las aplicaciones

5. ¿Y qué podemos hacer con ellos?

6. ¿Qué esY! Pipes?
Editor visual de workflows
Recibe, transforma y produce datos
Keep it simple, stupid...

7. ¿Qué esY! Pipes?
Editor visual de workflows
Recibe, transforma y produce datos
Keep it simple, stupid...
…a hosted service that lets you remix feeds and create new data mashups in a
visual programming environment
OfficialY! Pipes blog

8. ¿Nada nuevo bajo el sol?
Pattern-Oriented Software ArchitectureVolume 1:A System of Patterns - Frank Buschmann et. al
Use the Pipes and Filters architectural style to
divide a larger processing task into a sequence
of smaller, independent processing steps
(Filters) that are connected by channels (Pipes).
Pipes and Filters

9. Y! Pipes en la práctica

10. El entorno

12. Canvas

13. Canvas
Módulos
(Filters)

14. Canvas
Módulos
(Filters)
Buscador

15. Canvas
Módulos
(Filters)
Buscador
Debugger

16. Anatomía de un módulo

17. Anatomía de un módulo
Entrada

18. Anatomía de un módulo
Entrada
Salida

19. Anatomía de un módulo
Entrada
Salida Parámetros

20. Comunicación entre módulos

21. Comunicación entre módulos
Paso de
parámetros

22. Comunicación entre módulos
Paso de
parámetros
Conexión

23. Módulos disponibles

24. http://pipes.yahoo.com/pipes/docs?doc=sources
Source modules Items (xML)Datos en
la Web
Feed Auto-Discovery
Fetch CSV
Fetch Data
Fetch Site Feed
Feth Feed
Módulo Propósito
Metainformación feeds enlazados (link rel tags)
Obtención y Parseado de CSV
Obtención de XML o JSON (genérico)
Obtención de RSS (0.92, 1.0, 2.0),Atom...
Obtención del primer feed enlazado (link rel tag)
Flickr Obtención de imágenes (geolocalizadas) de flickr
Fetch Page Module Obtención de HTML (screen scraping)
YQL Datos de servicios deYahoo! (Locals,Answers...)

25. User Inputs
Proporcionados por el usuario
Fechas Numeros Texto URLs Geo Private
Inyectados al Pipe como parámetros GET (URL)
Valores por defecto y para depuración
Parametrizan otros módulos

26. Utility Modules:
URL, String, Date, Location & Number
Fechas
Numeros
Texto
URL
Localización
Composición de URLs (path y parámetros)
Composición de texto
Matching y sustitución con Regexp
Traducción
Tokenizado
Composición de fechas
Formateado
Composición de datos de localización
Operaciones aritméticas simples

27. Operators

28. Count
¿Cuantos elementos produce un pipe?

29. Create RSS
Permite crear un RSS a partir de un Pipe cuya salida no lo es

30. Filter
Acepta o rechaza elementos que cumplen ciertos criterios

31. Location Extractor
Obtiene coordenadas geográficas relacionadas con un
elemento

32. Regular expression
Aplica expresiones regulares a atributos de los elementos
emitidos por un pipe

33. Rename
Renombra los elementos de un pipe

34. Reverse
Ordena de forma inversa los elementos de un pipe

35. Sort
Ordena los elementos de un pipe en función de uno o varios
criterios

36. Sub-element
Filtra un conjunto de sub-elementos de un pipe, desechando
el resto

37. Tail
Elimina los n-primeros elementos de un pipe

38. Truncate
Filtra los n-primeros elementos de un pipe, desechando el
resto (Inversa deTail)

39. Union
Combina los elementos de varios pipe

40. Unique
Elimina los elementos repetidos

41. Web Service
Permite enviar vía POST el resultado de un pipe en formato
JSON - Sirve de mecanismo de extensión

42. Favorites & My Pipes
Pipes de otros usuarios
que hayamos marcado
como favoritos
(Clonación)
Otros pipes que
podemos reutilizar

43. Construcción de pipes

44. 1. ¿Que conciertos hay en una
ciudad? 10’

47. Resultados

48. 2. ¿De qué habla un usuario de
twitter? 20’

49. Hashtags de un usuario de twitter

50. Extractor de hashtags

51. Resultado

52. Y! Pipe Badges
Envuelven los resultados de un pipe en un elemento
consumible desde HTML
Mapa
(Si hay geodata)
Lista
(Con thumbnails, y
descripción si los hay)
Imagen
(En forma de
slideshow *si las hay)
<div class="myClass">
<script src="http://l.yimg.com/a/i/us/pps/mapbadge_1.3.js">
{
"pipe_id" : "ad5a5c0dd54b93a81b7f2c4919a64d26",
"pipe_params" : {"city": "oviedo","distance":"10"},
"height" : "350px"
}
</script>
</div>
http://pipes.yahoo.com/pipes/badgedocs

53. Estas transparencias se han elaborado tomando información
de estas otras, cuyo autor es David J. Brenes:
http://www.slideshare.net/brenes/fundamentos-pipes

54. Gracias

55. CLOUD COMPUTING.
DESARROLLO DE APLICACIONESY
MINERÍA WEB
Programa de extensión universitariaUniversidad de Oviedo
Miguel Fernández Fernández
miguel@ThirdWay.es