Linux en súperservidores

ProfesorGavit0@gmail.com lgabrielrojas@ucundinamarca.edu.co https://ProfesorGavit0.blogspot.com
Programación de arquitecturas
de altas prestaciones con Linux
El máximo poder del software
Mg. Ing. Gabriel Rojas
Datos de contacto
ProfesorGavit0@gmail.com
lgabrielrojas@ucundinamarca.edu.co
https://ProfesorGavit0.blogspot.com
Universidad de Cundinamarca
Facultad de ingeniería
Ingeniería de sistemas
Sede: Chía – 2017
www.unicundi.edu.co
This file is free to use under Creative Commons Attribution license
El presente documento presenta una vista general al uso de plataformas de software libre como base para el desarrollo y ejecución de
aplicaciones que requieren un alto nivel de procesamiento.
Cualquier persona puede usar este documento de forma completamete libre aunque se agradece mencionar al autor.

Los requerimientos científicos y comerciales crecen rápidamente, por poner un ejemplo, en un año el LHC genera
unos 15 millones de gigabytes: si se almacenaran apilados en discos de uso doméstico alcanzarían los 20
kilómetros de altura. Para dar solución a esto, se crean plataformas computacionales de altas prestaciones (súper
servidores), sin embargo esto no es suficiente, pues sin importar cuan potente sea una computador, siempre habrá
un desarrollador que sea capaz de consumir todos los recursos, por eso también surgieron técnicas de
programación para hacer mejor uso de dichas las plataformas.
Mayoritariamente, la implementación de las técnicas de programación de arquitecturas de altas prestaciones se ha
construido sobre sistemas Linux y otros componentes de software libre. El presente documento busca dar
respuesta a la pregunta: ¿Por qué las supercomputadoras usan Linux?.
Resumen

¿Dónde empezó todo?
Seymour Cray
70’s
Top500.org
1993
Lawrence Livermore National
Laboratory
2002
Aparecen las “súper computadoras”
en sentido estricto. 1 millón de
palabras de 64 bits y un ciclo de
12,5 nanosegundos.
Primera lista de súper
computadores.
1er: 1,024 núcleos y 59.7 Gflops/)
Linux se hace presente en el top
5 de súper computadores. 2304
Núcleos de Pentium 4 Xeon
2.4GHz
[2]

¿Qué es el TOP500.org?
Es una iniciativa de varias instituciones por
“ranquear” los computadores con mayor
capacidad de computo en el mundo. Esto
permite ver que tan rápido se aumenta la
velocidad a demás de que los centros de
investigación puedan “presumir”.
[3] Datos a Junio de 2017

¿Cómo se logra ese poder de cómputo?
National Supercomputing Center in Wuxi

Paralelización de sistemas
Es una forma de cómputo en la que
muchas instrucciones se ejecutan
simultáneamente.
Ha adquirido especial relevancia debido a
las limitaciones físicas que impiden el
aumento de la frecuencia.
[7]
Clúster Beowulf.
Divide y vencerás.
Es mejor muchos no tan
potentes que uno solo
muy potente.
Gracias Gamers.

¿Arquitecturas “Clúster” para alto rendimiento?
Conjunto de nodos conectados entre sí,
que operan bajo un software que actúa
como un sistema único.
Un sistema administrados se encarga de
distribuir las tareas en los diferentes nodos
a partir de diferentes criterios como:
disponibilidad, carga actual, etc.
[7]
Homogéneo: Todos los
nodos tienen las mismas
características de
hardware y software.
Heterogéneo: Los nodos
tienen características
diferentes entre sí. Una
mayor diversidad
permite mayor libertad a
la hora de construí un
clúster, pero puede
reducir el rendimiento

Algunos ejemplos de clústers implementados
[8]
Berkeley NOW (1997): 105
estaciones de trabajo Sun
Ultra 170, el rendimiento
teórico era de 10 GFlops.
Google (2003): 1,5 millones
de computadores.
Sunway TaihuLight (2016):
10,649,600 de núcleos y
1,310,720 GB de Ram,
rendimiento teórico de
125,436 TFlops.
Beowulf (1994): 16
computadores personales
con procesadores Intel DX4
de 200 MHz, el rendimiento
teórico era de 3,2 GFlops.
PlayStation 3 clúster (2010):
1760 PS3 alcanzando 500
TFlops.

¿Para qué tanto poder de cómputo?

¿Para qué servidores tan potentes?
I.A. y A.G.
Predicción del clima
Simuladores del universo
Sector financiero
Prueba de medicamentos
Modelado de vehículos
Creación de contenidos
multimedia
Juegos
Ley de Moore: Cada 2 años se duplica el
poder de calculo

Entendiendo el universo
En 2012 el LHC anuncia la posible observación
del bosón de Higgs.
Entre tanta expectación, pocos repararon en el
trabajo que respalda a tal hallazgo.
Se produce información bruta a un orden de 1
Petabyte/s. Aunque luego de procesarla se estima
en una media de “solo” 100 Terabytes/día.
[9]
Desde 2002 el LHC disponga
de su propia Red Mundial de
Computación.
Funciona con su versión
particular del sistema
operativo, el ‘Scientific
Linux’.

Haciendo el mundo más “Inteligente”
[10],[11]
Algunos investigadores estiman que se necesita 8
petabytes (8.000.000.000.000.000) de memoria y 1
exaflops (1.000.000.000.000.000.000).
El campeón mundial de Go, Lee Sedol, durante una de sus partidas contra AlphaGo

¿Usan Linux los súper computadores?

Más del 70% del Top500.org usa
Linux.
Linux ha reinado en el alto poder de calculo en la ultima
década.
¿Qué relación tienen los sistemas de altas prestaciones
con Linux?
[3]

1. La naturaleza modular de Linux.
2. Adaptabilidad del kernel.
3. Escalabilidad.
4. Naturaleza Código abierto.
5. Soporte de la comunidad.
6. Costos.
7. Cambios en caliente con cero reinicios.
¿Por qué las supercomputadoras usan Linux?
[4]

La naturaleza modular
El sistema completo está hecho de forma
de bloques de tal manera que se puedan
crear distribuciones especificas para cada
fin deseado. Cada bloque agregará las
funcionalidades requeridas.

Adaptabilidad del kernel
El núcleo del sistema operativo fue
diseñado y escrito de tal manera que pueda
se ejecutado desde pequeños
computadores hasta súper computadoras.
Incluso con pocas adaptaciones para
móviles.

Escalabilidad
Tiene la capacidad de adaptarse a cambios
como aumento de carga o inclusión de
nuevas funcionalidades fácilmente.
También a adaptarse fácilmente a cambios
tecnológicos.

Naturaleza Código abierto
Las fuentes de Linux son completamente
abiertos y está disponible para que cualquiera
pueda ver como está construido y, de
requerirlo, hacer las adaptaciones pertinentes.
Esto además, permite la detección y
corrección de fallos o agujeros de seguridad
pues es revisado por muchas personas.

Soporte de la comunidad
La comunidad de Linux se extiende a todo
el mundo en cualquier idioma, tanto para
hacer correcciones del sistema como para
responder inquietudes sobre el uso.
Ningún otro sistema tiene un soporte tan
inmenso.

Costos
Normalmente gratuito (aunque existen
distribuciones licenciadas).

Cambios en caliente con cero reinicios
Una de las mejores cualidades,
especialmente útil para sistemas de alta
disponibilidad, es el poder hacer cambios
de configuraciones de servicios, de red o
de módulos, incluso la instalación de
módulos y hardware sin tener que reiniciar
el sistema.

¿Sólo basta con Linux para aprovechar
el alto poder de calculo?

¿Qué es la PAAP?
Uso de estrategias para la realizar
algoritmos que saquen un mayor provecho
de los recursos físicos de procesamiento.
El enfoque principal es el paralelismo.
[1]
350 billones de intentos
por segundo. Cualquier
clave de Windows en
menos de 5.5 horas.

Software clúster para linux - openMosix
Sistema de clúster para Linux que permite
a varias máquinas actuar como un único
sistema multiprocesador. Esto permite que
no sea necesario que reprogramar las
aplicaciones para que aprovechen el
clúster.
[12]

Librerías para la paralelización - MPICH
Es una librería que implementa el estándar
de paso de mensajes MPI. Permite la
comunicación entre varios nodos a través
de una red.
Es una librería gratuita y además también
está disponible para otros sistemas
operativos.
[13]

Renderizar de forma distribuída - LuxRender
LuxRender es un programa de
renderización de código abierto que utiliza
un sistema de física «correcta» para la
creación de imágenes generadas por
computadora.
[14]

• Linux pos su versatilidad y apertura permite que cualquier persona lo adapte a sus
necesidades.
• Con pocas adaptaciones se puede asegurar un desempeño optimo para plataformas de
alto rendimiento.
• La filosofía de software libre y código abierto ha llevado a que muchos investigadores
lo usen como base de trabajos aumentando así las posibilidades de lo que se puede
hacer.
• Linux es más que solo un sistema operativo, es una plataforma y una filosofía.
Conclusiones

1. https://fossbytes.com/this-computer-cluster-cracks-every-windows-password-in-5-5-hours-or-less/
2. https://es.wikipedia.org/wiki/Supercomputadora
3. https://www.top500.org/
4. http://www.nexolinux.com/porque-las-supercomputadoras-usan-linux/
5. http://www.lne.es/asturama/2013/12/07/datos-vertigo-cern/1511547.html
6. Arquitectura Clúster de Alto Rendimiento Utilizando Herramientas de Software Libre. Leonardo
Chuquiguanca, Edyson Malla, Freddy Ajila y Rene Guamán-Quinché. LATIN AMERICAN
JOURNAL OF COMPUTING -LAJC, VOL II, NO.1, MAY 2015 P.37-44
7. https://es.wikipedia.org/wiki/Computación_paralela
8. https://en.wikipedia.org/wiki/PlayStation_3_cluster
Referencias

9. http://www.eldiario.es/hojaderouter/tecnologia/hardware/tecnologia-datos-servidores-CERN-
Web_0_292570858.html
10. https://www.elconfidencial.com/tecnologia/2016-06-20/inteligencia-artificial-google-deep-learning-
redes-neuronales_1218797/
11. http://sinapsis-aom.blogspot.com.co/2011/05/el-cerebro-tiene-una-capacidad-de.html
12. http://www.mosix.cs.huji.ac.il/index.html
13. https://es.wikipedia.org/wiki/MPICH
14. http://www.luxrender.net/en_GB/index
Referencias

Preguntas?
ProfesoGavit0@gmail.com
01000111 01100001 01110110 01101001 01110100 00110000
“El software libre es como el sexo, es mejor cuando es gratis”
- Linus Torval

Linux en súperservidores

Recomendados

Recomendados

Más contenido relacionado

Similar a Linux en súperservidores

Similar a Linux en súperservidores (20)

Último

Último (20)

Linux en súperservidores