Este documento resume los conceptos de sistemas distribuidos en Chamilo, incluyendo alta disponibilidad mediante fail-over entre servidores, balanceo de carga a través de balanceadores de carga software, distribución flexible de nodos con sincronización asíncrona, replicación de bases de datos para mejorar el rendimiento y disponibilidad, y distribución de espacio en disco entre máquinas para permitir escalabilidad. El autor también discute soluciones de software libre para implementar estos conceptos.

2. Chamilo y sistemas distribuidos
Yannick Warnier
Líder, Proyecto Chamilo
- 2014 -
Twitter: @ywarnier
Hashtag: #chamiloinfra

3. Comunidad
Plataforma
educativa
Asociación
Empleo
+500 personas
alrededor del mundo
Socios
Software (libre)
Empresas / universidades
5 directores en 4 países
Proyectos de I+D
8,300,000 usuarios – 16,000 portales(*)
Adaptable / Sin costo de licencia
Desde el 2010
(*) https://version.chamilo.org/stats/, 09/2014

4. Campus libre de Chamilo
340,000 usuarios

5. 2 características
Simple de uso
Liviano
Twitter: @ywarnier
Hashtag: #chamiloinfra

6. Dictar o seguir cursos

7. Esquema Chamilo

8. Sistemas distribuidos
● Definición simple
● Sistemas que, por su uso planificado, requieren
tener funcionalidades repartidas entre distintas
máquinas físicas
– Físicas: aunque esté en la nube, si todo está en la
misma máquina física, la distribución no es ideal

9. Sistemas distribuidos
● Lo que NO veremos en esta presentación
● Computación distribuida (supercomputación)
● Redes virtualizadas
● Mega-virtualización (Amazon, etc)

10. Sistemas distribuidos
● Lo que SÍ veremos
● Alta disponibilidad (Fail-Over) (10')
● Balanceo de carga (15')
● Distribución “suelta” de nodos
(sincronizaciones asíncronas) (10')
● Distribución de bases de datos (5')
● Distribución de espacio en disco (5')

11. Alta disponibilidad (fail over)
● Fundamento
● Si falla cualquier componente, sigue el servicio
● Ningún elemento es un punto único de falla
● Como grupo de personas en una organización,
entre las cuales existe más de una persona
(siempre) que puede hacer una tarea determinada,
cubriendo todas las tareas posibles…
– Infraestructura duplicada? → puede ser un anillo

12. Alta disponibilidad (fail over)
● Primer paso
● Tengo 1 servidor
● Que pasa si se quema el disco?
– Necesito un remplazo (de disco)
Twitter: @ywarnier
Hashtag: #chamiloinfra

13. Alta disponibilidad (fail over)
● Primer paso
● Tengo 1 servidor con 2 discos
● Que pasa si se quema la RAM?
– Necesito un remplazo (de RAM)
● Se puede tener redundancia de RAM?
– Sí, pero no es barato…

14. Alta disponibilidad (fail over)
● Primer paso
● Tengo 2 servidores
● Que pasa si se quema la RAM, el CPU, el disco?
– Tengo otro servidor :-)
– Necesito una configuración especial
● Redundancia, o “fail over”
● Tiempo de sustitución: segundos

15. Alta disponibilidad (fail over)
● Primer paso
● Tengo 2 servidores
● Que pasa si se quema la RAM, el CPU, el disco?
– Tengo otro servidor :-)
● Segundo paso
● Que pasa si se quema el switch que apunta a mis
servidores?
– Gnnnnn….

16. Alta disponibilidad (fail over)
● Primer paso
● Tengo 2 servidores
● Que pasa si se quema la RAM, el CPU, el disco?
– Tengo otro servidor :-)
● Segundo paso
● Tengo 2 switches
● Que pasa si se quema un switch?
– Tengo otro
– Necesito material especial (tiempo de sustitución)

17. Alta disponibilidad (fail over)
● Tercer paso
● Tengo 2 servidores y 2 switches
● Que pasa si se me va la conexión internet?
– Necesito otra
– Necesito dispositivos/servicios especiales

18. Alta disponibilidad (fail over)
● Tercer paso
● Tengo 2 servidores y 2 switches
● Tengo redundancia internet
● Cuarto paso
● Que pasa si se me va la luz?
– Necesito redundancia eléctrica
– Tiempo de sustitución de fuentes?
● Normal → UPS → grupo electrógeno (gasolina)
– Que duración necesito? (24h? 48h?)
● Caso tormenta Nueva York 2013

19. Balanceo de carga (load balancer)
● Primer paso
● Tengo 2 servidores en Fail-Over (y todo lo demás)
● Que pasa si hay sobrecarga de usuarios?
– Típico: Los alumnos revisan antes de su examen
Uso típico
1er día exámenes

20. Balanceo de carga (load balancer)
● Primer paso
● Tengo 2 servidores en Fail-Over (y todo lo demás)
● Que pasa si hay sobrecarga?
– (1) Usar los 2 servidores a la vez (o más)
– (2) Separar las funciones entre distintos servidores
– (3) Añadir capas para reducir la carga en recursos clave

21. Balanceo de carga (load balancer)
● Usar los 2 servidores a la vez (o más)?
● Balanceadores de carga
– Hardware (costosos y poco configurables)
– Software
● Varnish
● Nginx
● …
Twitter: @ywarnier
Hashtag: #chamiloinfra

22. Balanceo de carga (load balancer)
● Separar las funciones
● Servidor web (procesamiento)
– Apache/Nginx/Cherokee/Lighttpd/...
● Base de datos
– MySQL/MariaDB/PostgreSQL/MongoDB/CouchDB/…
● Reverse proxy

23. Balanceo de carga (load balancer)
● Añadir capas para reducir la carga en otras
● Servidor de “assets” (recursos estáticos)
– Varnish/Nginx/Apache/… en modo “caché” (reverse proxy)
● Caché de sesiones
● Caché de queries
● Caché “opcode” (operation code, machine language)
● Caché de variables (“userland”)
● ...hacia la especialización de cada componente

24. Balanceo de carga (load balancer)
● Extra
● Duplicación de servidores web => espacio compartido
● “Storage” (NAS, SAN, etc)
● Criterios en la nube:
– Espacio total
– Frecuencia de consultas
– Frecuencia de modificaciones

25. Balanceo de carga (load balancer)
● Un cluster de balanceo y fail-over “mínimo” ?

26. Balanceo de carga (load balancer)
● Que servicios?
corosync
Load
Balancer
corosync
OCFS2

27. Balanceo de carga (load balancer)
● Y Chamilo ?
Nginx + Config Chamilo
Nginx
Responsabilidad: Datacenter
Archivos Chamilo
BdD Chamilo

28. Distribución “suelta”
● Cuando los requerimientos incluyen mala
conectividad: Servidores locales
● Buena conectividad
● Imposibilidad de control centralizado

29. Distribución “suelta”
● A nivel aplicativo, desarrollar sincronización

30. Distribución de bases de datos
● Replicación “estándar”
● 1 master
● 1 slave
● Replica todo lo que se hace en el master

31. Distribución de bases de datos
● Replicación extendida
● 1 master
● + slaves
● Replicación en cadena

32. Distribución de bases de datos
● Soluciones de software libre
● MariaDB (ex MySQL), pero solo v10
● Percona
● PostgreSQL
● MongoDB
● CouchDB
Twitter: @ywarnier
Hashtag: #chamiloinfra

33. Distribución de bases de datos
● Replicación fail-over
● 2 masters (master-master)
● 0 slave
● Se replican el uno el otro
● No se aconseja usarlos en simultáneo
● Si falla uno, el otro retoma
● Cuando se levanta el primero, se sincroniza
● Requiere sistema de cluster como corosync
● Para que la aplicación sepa donde conectarse

34. Distribución de espacio en disco
● Problemáticas
● Repartición de carga requiere espacio común
● Sincronización de escrituras simultáneas es un lío
● Necesidad de mucho espacio
● SAN = $$$$$$
● Necesidades
● Alta disponibilidad
● Redimensionamiento en caliente
● Usar desde cualquier máquina

35. Distribución de espacio en disco
● Soluciones
● Distribución del disco entre máquinas
– Necesidad de un “orquestador”
● Distribución del disco “como servicio (web)”
– Necesidad de modificaciones en la aplicación
● Software libre:
● Ceph, Lustre, OCFS2, GlusterFS, FreeNAS, etc

36. Contacto
Yannick Warnier
Presidente - Asociación Chamilo
CTO –
Correo: president@chamilo.org
Twitter: @ywarnier
Hashtag: #chamiloinfra

37. Thanks
● DigitalOcean for visual resources
● https://www.digitalocean.com/community/tutorials/
5-common-server-setups-for-your-web-application