Carlos Abalde TPF’10 - Taller de Programación Funcional (PROLE’10) 7 de septiembre de 2010 - Valencia

1. Social Erlang
Carlos Abalde
TPF’10 - Taller de Programación Funcional (PROLE’10)
7 de septiembre de 2010 - Valencia

2. Contenido
• Tuenti,Yo, el Universo, y Todo lo Demás
• Backend IM Casero
• Tuenti Chat
• Un Vistazo a Facebook
• Conclusiones

3. Tuenti,Yo, el Universo...

4. Tuenti, yo, el Universo...
• VoDKA: Video on Demand Kernel...
• ARMISTICE: Advanced Risk Management...
• Social FP,
• Scala (Twitter), Haskel (Facebook)...
• Social Erlang,
• Facebook, gitHub, last.fm... Tuenti

5. Fuente: Tuenti

6. Fuente: Tuenti

7. Fuente: Tuenti

8. Fuente: Tuenti

9. Fuente: Telefónica

10. Fuente: El Economista

11. Fuente: Google Zeitgeist

12. Fuente: Google Zeitgeist

13. Company profile at LinkedIn:
Tuenti is the most trafficked
website in Spain, and the
country's leading private social
platform.
Based in Madrid, Tuenti has rapidly
grown in three years with millions
of active daily users and was one
of the most searched terms in
2008 and 2009 in Google's
annual zeitgeist.
Fuente: Google Zeitgeist

14. Company profile at LinkedIn:
Tuenti is the most trafficked
website in Spain, and the
country's leading private social
platform.
Based in Madrid, Tuenti has rapidly
grown in three years with millions
of active daily users and was one
of the most searched terms in
2008 and 2009 in Google's
annual zeitgeist.
Fuente: Google Zeitgeist

15. Fuente: Tuenti

16. Fuente: Tuenti

17. Fuente: Chris Pesto

18. Tuenti en números
• Más de 8M usuarios
• 25.000M páginas vistas / mes (2Gbps)
• 3M fotografías subidas / día
• 2.500M imágenes servidas / día (6 Gbps) - Imágenes vía
CDN. En pico
• 100M mensajes chat / día
más de 6 Gbps,
70K hits/seg.
• 72 minutos usuario / día
• 1 CPD con más de 1.000 servidores

19. Es-ca-la-bi-li-dad
• Javascript + PHP
• Cache (CDNs, memcached)
• BD (MySQL, Hadoop)
• Monitorización & optimización
• Sistemas

20. Tuenti Chat
• HackMeUp
• Contexto,
• Cuanto antes
• Bajo coste
• Integrado (p.e. listas de amigos)
• 1M de usuarios chateando a la vez
• Estable, escalable, etc.

21. Fuente: Tuenti

22. Backend IM Casero
Fuente: Dale Mahalko

23. Prueba de concepto
• Long polling (Comet / AJAX server push)
• Maximizar #clientes por servidor
• Medida coste económico
• Basado en MochiWeb (Erlang)
• http://github.com/mochi/mochiweb
• Coste mensajes vs. coste notificaciones

24. Referencias
Richard Jones (last.fm)
“A Million-user Comet Application
with Mochiweb. Parts 1, 2 & 3”
http://www.metabrew.com

25. Gestor de conexiones
• Implementación MochiWeb básica
• Broadcast cada 10 segundos
• < 50 líneas de código Erlang
• 10K clientes
• ~ 45 KB/cliente / ~ 1% CPU

26. ⊕ router de mensajes
• Mensajería uno a uno
• Nodos frontend HTTP & router
• +K true +P 134217727
• < 140 líneas código Erlang
• 10K clientes & 1.000 mensajes/seg
• ~ 25 KB/cliente / ~ 1% CPU

27. ⊕ router de mensajes
[erlang:garbage_collect(P) || P <- erlang:processes()].
Fuente: Richard Jones

28. ⊕ hibernación procesos
• Hibernación de clientes idle
• erlang:hibernate(Module, Function, Args).
• < 140 líneas código Erlang
• 10K clientes & 1.000 mensajes/seg
• ~ 8 KB/cliente / ~ 1% CPU

29. ⊕ hibernación procesos
Fuente: Richard Jones

30. ⊕ pub/sub & libevent
• Publicación/subscripción de eventos
• BD de contactos (mnesia)
• Cambios de estado
• Nuevo gestor de conexiones
• C-Node Erlang usando libevent
• MochiWeb eliminado

31. ⊕ pub/sub & libevent
• < 230 líneas Erlang + < 160 líneas C
• 1M clientes & 16.666 mensajes/seg
• ~ 2 KB/cliente / ~ 5% CPU

32. Conclusiones

33. Conclusiones
☺ Erlang es una opción viable
☺ ¡No serán necesarios meses desarrolando!
☺ ¡¡No es necesario un nuevo CPD!!

34. Tuenti Chat
Fuente: Tuenti

35. Contexto
• Escalable, estable, bla bla bla... :)
• 1M usuarios conectados y charlando
• ~1 diseñador + ~1 FE + ~1 BE + ~0,5 SE
• Urgente (i.e. Facebok ya tiene el suyo)
• 1/2 meses análisis/benchmarking +
1/2 meses implementación/despliegue

36. Integración
• Backend existente (listas de amigos,
bloqueos, borrados, autenticación...)
• Frontends existentes (web) y futuros
(iPhone, Android, JME, BlackBerry...)
• Clientes desktop
• Federación con otros servicios
• Sin persistencia de datos

37. Solución casera
✓ Eficiente, a medida & muy cool
✗ Costoso en tiempo
✗ Propenso a errores
✗ Implementación de clientes
✗ Mantenimiento

38. XMPP
• Extensible Messaging & Presence Protocol
• Estándar abierto & flexible
• Overhead backend
• Orientado a conexión
• HTTP Polling: XEP-0025
• HTTP Binding: XEP-0124 (long polling)

39. ejabberd
• ProcessOne
• Erlang + Open Source + Maduro + Activo
• Alternativas,
• Openfire (Java)
• Tigase (Java)
• jabberd2 (C)
• ...

40. Fuente: Process One

41. Benchmarking
• Parámetros,
• Tamaño del roster
• Frecuencia de las reconexiones
• Volumen de mensajes
• Picos de tráfico
• ¿Cómo?
• Tsung, Jabsimul, ad-hoc (Erlang, C)...

42. Optimización (I)
• Particionamiento en dos niveles,
1. Ubicación geográfica
2. Id de usuario (mod vs. rangos)
• Partición dominios XMPP en varias VMs
+ Disponibilidad
+ Mantenibilidad
• Migraciones transparentes entre VMs

43. Optimización (II)
• Recolecciones de basura e hibernaciones
de procesos explícitas
• Compactación de Jabberd ids
•xmpp{d+}.tuenti.com
• Parseado XML frontend XEP-0124
• Cross-domain

44. Optimizacion (y III)
• Controles extra,
• Politicas de contención de paquetes de
presencia (broadcasts)
• ACLs bloqueo/desbloqueo

45. Adaptación
• Filtrado de funcionalidades
• API interna
• Autenticación ad-hoc C2S
• Nuevos paquetes S2S
• Broadcast de comandos de control
• Rate limiting

46. Despliegue (I)
• Infraestructura sistemas,
• Configuración de red compleja
• Balanceadores
• Métricas client y server side

47. Despliegue (y II)
• Dark launch (1 semana)
• Reconexiones, mensajes & cambios de
estado ocultos
• Iteraciones & monitorización
• Cuellos de botella en procesos S2S
• Presence probes
• Apertura progresiva durante 24h

48. Fuente: John Martz

49. Un Vistazo a Facebook
Fuente: Facebook

50. - MochiWeb es usada
para la gestión del
número masivo de
conexiones long polling
en los channel ser vers.
Fuente: Carlos Abalde @ Facebook

51. - MochiWeb es usada
para la gestión del
número masivo de
conexiones long polling
en los channel ser vers.
Fuente: Carlos Abalde @ Facebook

52. - MochiWeb es usada
para la gestión del
número masivo de
conexiones long polling
en los channel ser vers.
Fuente: Carlos Abalde @ Facebook

53. Referencias
“Facebook Engineering’s Notes”
http://www.facebook.com
Chris Piro y Eugene Letuchy
“Functional Programming at Facebook”
Commercial Users of Functional Programming
4 de septiembre de 2009

54. Fuente: Chris Piro & Eugene Letuchy

55. Fuente: Chris Piro & Eugene Letuchy

56. Fuente: Chris Piro & Eugene Letuchy

57. Fuente: Chris Piro & Eugene Letuchy

58. Tipos de interacción
↦ Envío de mensajes
• AJAX estándar ~ Tuenti
↤ Recepción de mensajes
• Long polling vía AJAX ~ Tuenti
⟳ Actualizaciones del roster
• Polling periódico vía AJAX

59. Componentes (I)
• Servidores de canales (Erlang)
• MochiWeb
• Enrutamiento de mensajes
• Una cola/proceso por usuario
• Particionamiento por user id
• Un cluster por partición

60. Componentes (II)
• Servidores de presencia (C++)
• Agregación de usuarios & estados
• Servidores de logging (C++)
• Recarga de estado entre clicks
• Facebook vs. Tuenti (100% AJAX)

61. Componentes (y III)
• Frontales XMPP (Erlang)
• ejabberd
• Introducido en una segunda fase
• Thrift
• Framework RPC eficiente
• Integración de componentes

62. Conclusiones
Fuente: Open Source Erlang

63. Erlang (I)
✓ Escala masiva & paralelismo baratos
✓ Implementacion natural
• 1 usuario - 1 proceso
✓ Distribución natural
✓Ágil (i.e. centrado en el problema)
✓ Aislamiento de bugs

64. Fuente: Twitter

65. Fuente: Twitter

66. Erlang (y III)
✗ Punto único de fallo
• Resolución de bugs
• Reconfiguraciones
• Situaciones de emergencia
✗ Utilidades de despliegue separadas
✗ Infraestructura diferente

67. http://jobs.tuenti.com

68. TPF ! gracias