Plática impartida en la UAM Cuajimalpa por la VI Semana de Computación y Matemáticas Aplicadas.

1. De GPUs a SPUs:
Cómo Diseñar un
Coprocesador Estadístico Paralelo
Dr. José Enrique Alvarez Estrada
jeae@ucaribe.edu.mx
SCMA 2013

2. GPU
¿Por qué no
una SPU?

3. def Max( A, N ):
m = MININT
for i in range(1, N):
if A[i] > m:
m = A[i]
return m
def Min( A, N ):
m = MAXINT
for i in range(1, N):
if A[i] < m:
m = A[i]
return m

4. def Max( A, N ):
m = MININT
for i in range(1, N):
if A[i] > m:
m = A[i]
return m
def Min( A, N ):
m = MAXINT
for i in range(1, N):
if A[i] < m:
m = A[i]
return m
Alta
Complejidad
Temporal

5. def Max( A, N ):
m = MININT
for i in range(1, N):
if A[i] > m:
m = A[i]
return m
def Min( A, N ):
m = MAXINT
for i in range(1, N):
if A[i] < m:
m = A[i]
return m
¡Vale la pena
Paralelizarlo!

6. Modelo O.O. de una Computadora

7. Modelo O.O. de una Computadora
Elementos de
Procesamiento

8. Modelo O.O. de una Computadora
Módulos de
Memoria

9. Modelo O.O. de una Computadora
Mecanismo de
Interconexión

10. Según Flynn, una computadora
paralela se clasifica dependiendo de
la multiplicidad de las
asociaciones en el diagrama

11. Modelo O.O. de una Computadora
Una sola CPU...

12. Modelo O.O. de una Computadora
Una sola CPU...
...Una sola Memoria

13. Modelo O.O. de una Computadora
Una sola CPU...
...Una sola Memoria
SISD = Simple Instruction, Simple Data
máquina clásica Von Neumann

14. CPU MEMORIA
SISD = Simple Instruction, Simple Data
máquina clásica Von Neumann

15. Modelo O.O. de una Computadora
...Una sola
Unidad de
Control

16. Modelo O.O. de una Computadora
...Múltiples
ALUs
...Una sola
Unidad de
Control

17. Modelo O.O. de una Computadora
...Múltiples
ALUs
...Una sola
Unidad de
Control
...Múltiples Memorias

18. Modelo O.O. de una Computadora
SIMD = Simple Instruction, Multiple Data
Arreglo de Procesadores
...Múltiples
ALUs
...Una sola
Unidad de
Control
...Múltiples Memorias

19. ALU MEMORIA
ALU MEMORIA
ALU MEMORIA
CU
...
SIMD = Simple Instruction, Multiple Data
Arreglo de Procesadores

20. Modelo O.O. de una Computadora
...Una sola
Unidad de
Control

21. Modelo O.O. de una Computadora
...Múltiples
ALUs
...Una sola
Unidad de
Control

22. Modelo O.O. de una Computadora
...Múltiples
ALUs
...Una sola Memoria
...Una sola
Unidad de
Control

23. Modelo O.O. de una Computadora
...Múltiples
ALUs
...Una sola Memoria
...Una sola
Unidad de
ControlSIMD = Simple Instruction, Multiple Data
Procesador Vectorial

24. ALU
MEMORIAALU
ALU
CU
...
SIMD = Simple Instruction, Multiple Data
Procesador Vectorial

25. Modelo O.O. de una Computadora
Múltiples Filas de
Procesamiento...

26. Modelo O.O. de una Computadora
...Una sola Memoria
Múltiples Filas de
Procesamiento...

27. Modelo O.O. de una Computadora
MISD = Multiple Instruction, Simple Data
Filas de Procesamiento
...Una sola Memoria
Múltiples Filas de
Procesamiento...

28. ????
MISD = Multiple Instruction, Simple Data
Filas de Procesamiento

29. Modelo O.O. de una Computadora
Múltiples CPUs...

30. Modelo O.O. de una Computadora
...Múltiples Memorias
Múltiples CPUs...

31. Modelo O.O. de una Computadora
MIMD = Multiple Instruction, Multiple Data
...Múltiples Memorias
Múltiples CPUs...

32. Modelo O.O. de una Computadora
MIMD = Multiple Instruction, Multiple Data
Multiprocesador
...Múltiples Memorias
Múltiples CPUs...
Bus
interno

33. CPU
MEMORIA
CPU
CPU
CPU
MAU
MIMD = Multiple Instruction, Multiple Data
Multiprocesador

34. Modelo O.O. de una Computadora
MIMD = Multiple Instruction, Multiple Data
Multicomputadora
...Múltiples Memorias
Múltiples CPUs...
Red
Local

35. CPU MEMORIA
CPU
CPU
CPU
RED
MEMORIA
MEMORIA
MEMORIA
MIMD = Multiple Instruction, Multiple Data
Multicomputadora

36. Clasificación de Flynn Extendida

37. Parallel Random Access Machine
1)Un número N de procesadores idénticos
P[1], P[2], ... P[N]
2)Una memoria común con M posiciones.
M >= N.
Los N procesadores comparten esta memoria común.
3)Una unidad de acceso a memoria (MAU)
Permite a los procesadores obtener acceso a la
memoria.

38. CPU
MEMORIA
CPU
CPU
CPU
MAU

39. Modos de Acceso a Memoria
● Exclusive Read (ER)
– Sólo un procesador puede leer de cualquier celda de
memoria en un momento dado
● Exclusive Write (EW)
– Sólo un procesador puede escribir en cualquier celda
de memoria en un momento dado
● Concurrent Read (CR)
– Múltiples procesadores pueden leer de la misma celda
de memoria simultáneamente
● Concurrent Write (CW)
– Múltiples procesadores pueden escribir a la misma
celda de memoria simultáneamente

40. Clases de PRAM
● ER-EW
– El acceso a cualquier celda de memoria es exclusivo
– Es el modelo PRAM más restrictivo
● ER-CW
– Escritura concurrente de múltiples procesadores a la misma ceda
– Los accesos para lectura permanecen exclusivos
● CR-EW
– Accesos concurrentes para lectura
– Los accesos para escritura son exclusivos
● CR-CW
– Permite los accesos concurrentes
– Tanto para lectura como para escritura

41. Conflictos de Escritura en CW
● Deben resolverse usando una política bien definida:
– CON PRIORIDAD
● Sólo se le permite escribir al procesador que tenga mayor prioridad
● El algoritmo determina cómo se asignan dichas prioridades
– COMÚN
● Sólo se permite escribir si todos lo intentan con el mismo valor
– FALLO COMÚN: Si los valores no son iguales, se mantiene sin cambios la
celda
– COLISIÓN COMÚN: Se almacena una etiqueta de “fallo” en caso de que la
instrucción no sea exitosa
– A PRUEBA DE FALLOS COMÚN: no se tolera el fallo y la ejecución del
algoritmo se detiene

42. Conflictos de Escritura en CW
– ARBITRARIA
● Cualquier procesador puede tener éxito sin afectar a la
corrección del algoritmo
● El algoritmo debe especificar exactamente cómo elegir
el procesador que tendrá éxito
– ALEATORIA
● El procesador que escribirá se elige aleatoriamente
– COMBINATORIA
● Todos los valores se combinan en un único valor,
mediante:
– Funciones aritméticas: SUM, MUL, etc.
– Funciones lógicas: AND, OR, XOR, NAND, NOR, XNOR
– Funciones de selección: MAX, MIN, AVG, STD, VAR, ...

43. Si diseñamos adecuadamente la MAU,
se convertirá en un
coprocesador estadístico
(SPU)

44. 2
4
7
8
1
3
5
6
1
2
3
4
5
6
7
8
Circuito Mezclador
1
2
5
7
3
4
6
8
2
5
4
6

45. 4
8
7
2
1
5
6
3
Circuito Ordenador
4
2
1
3
8
7
5
6
2
1
4
3
5
6
8
7
1
2
3
4
5
6
7
8

46. MEMORIA
U1
U2
U3
U4
P1
P2
P3
1
2
3
4
1
2
3
1
2
3
1
2
3
1
2
3
1
2
3
4
1
2
3
4
N procesadores M celdas
MAU Primitiva

47. MEMORIA
U1
U2
U3
UM
P1
P2
PN
N procesadores M celdas
MAU Eficiente
CIRCUITO
ORDENADOR
CIRCUITO
MEZCLADOR

48. MEMORIA
U1
U2
U3
UM
P1
P2
PN
N procesadores M celdas
MAU Eficiente
CIRCUITO
ORDENADOR
CIRCUITO
MEZCLADOR
Recibe 2 listas
ordenadas

49. MEMORIA
U1
U2
U3
UM
P1
P2
PN
N procesadores M celdas
MAU Eficiente
CIRCUITO
ORDENADOR
CIRCUITO
MEZCLADOR
No entrega nada.
Los intercambios
ocurren adentro
de él

50. Cómo funciona (1)
● Tras la ejecución de cada instrucción READ o
WRITE, cada procesador Pi produce un
registro (INSTRUCTION, ai, di, i), donde:
– INSTRUCTION es un campo con el nombre de la
instrucción (ER, EW, CR, PRIORITY CW, SUM
CW, etc. etc. etc.)
– Ai es la dirección de la celda Ui a la que Pi solicita
acceso
– Di es el valor a leerse o escribirse en Ui
– i es un índice único

51. Cómo funciona (2)
● Al mismo tiempo, cada celda de memoria Uj
produce un registro (INSTRUCTION,j, hj),
donde:
– INSTRUCTION es un campo vacío que se llenará
después si se requiere
– j es la dirección única de Uj
– hj lleva el contenido de Uj

52. Cómo funciona (y 3)
● El campo INSTRUCTION del registro de
memoria recibe su valor del campo
INSTRUCTION del procesador
● Si es WRITE, di := hj
● Si es READ, hj := di
● Se ejecutan las operaciones combinatorias
(AND, SUM, etc. etc. ctc.)

53. Ahora sólo falta...
● Diseñar la tarjeta de circuito impreso
● Dotar a la tarjeta de interrupciones (IRQ)
● Dotar a la tarjeta de acceso
directo a memoria (DMA)
● Incluir una interfaz de conexión al bus PCI
● Diseñar las bibliotecas de programación para
acceder a ella

54. GRACIAS POR SU ATENCIÓN
¿PREGUNTAS?
Dr. José Enrique Alvarez Estrada
jeae@ucaribe.edu.mx
http://www.facebook.com/LeonardoDaVinciMX
Twitter: @davicimx