Los benchmarks son programas que permiten evaluar el rendimiento de un sistema, componente o proceso en comparación con otros sistemas similares. Son herramientas esenciales para medir y comparar el rendimiento de hardware, software y sistemas en diferentes áreas. El objetivo es dar a conocer las principales herramientas de benchmark que disponemos hoy en día para medir el rendimiento. Entre los puntos a tratar podemos destacar: -Introducción a Benchmarks: Definición y propósito de los benchmarks en la medición del rendimiento -Tipos de Benchmarks: Benchmarks sintéticos vs. Benchmarks del mundo real.Benchmarks específicos para CPU, memoria, almacenamiento, y gráficos -Selección de Benchmarks: Consideraciones al elegir benchmarks según el tipo de aplicación y los objetivos de evaluación

1. Herramientas de benchmarks para evaluar el
rendimiento en máquinas y aplicaciones
José Manuel Ortega
jose.manuelortega@owasp.org

2. ∘ Introducción a los Benchmarks: Definición y propósito
de los benchmarks en la medición del rendimiento
∘ Tipos de Benchmarks: Benchmarks sintéticos vs.
Benchmarks del mundo real.Benchmarks específicos
para CPU, memoria, almacenamiento, y gráficos
∘ Selección de Benchmarks: Consideraciones al elegir
benchmarks según el tipo de aplicación y los objetivos
de evaluación

3. Introducción a los Benchmarks

4. Introducción a los Benchmarks
Los benchmark tienen las siguientes funcionalidades:
● Comprobar si las especificaciones de los componentes
están dentro del margen para el desarrollo de una
arquitectura.
● Maximizar el rendimiento con un presupuesto dado.
● Minimizar costes manteniendo un nivel maximo de
rendimiento.

5. Tipos de Benchmarks
● Sintéticos: Especialmente diseñados para medir
el rendimiento de un componente individual de un
ordenador, normalmente llevando el componente
escogido a su máxima capacidad.
○ Ejemplos: Dhrystone, Whetstone.
● Aplicaciones: Herramientas basadas en
aplicaciones reales, simulan una carga de trabajo
para medir el comportamiento global del equipo.
○ Ejemplos: SPEC.

6. Tipos de Benchmarks
● Test de Bajo nivel: Miden directamente el rendimiento de
los componentes. Ejemplo: el reloj de la CPU, los tiempos
de la DRAM y de la caché SRAM, tiempo de acceso medio
al disco duro, tiempos de latencia.
● Test de Alto nivel: Enfocados a medir el rendimiento de la
combinación componente/controlador/SO de un aspecto
específico del sistema, como por ejemplo el rendimiento de
E/S con ficheros. Ejemplo: Velocidad de compresión

7. Selección de Benchmarks
● https://github.com/nfinit/ansibench
● https://www.netlib.org/benchmark
○ LINPACK
○ Whetstone
○ Dhrystone
○ NBench
○ CoreMark

8. Selección de Benchmarks
● LINPACK
○ Mide el rendimiento del sistema en términos de
operaciones en coma flotante por segundo (FLOPS)
○ https://www.top500.org

9. Selección de Benchmarks
● LINPACK
○ https://www.netlib.org/benchmark/linpackc.new

10. Selección de Benchmarks
● Whetstone
○ Mide el rendimiento del sistema en términos de
operaciones en coma flotante por segundo (FLOPS)
● Dhrystone
○ Mide el rendimiento del sistema en términos de
operaciones con enteros del procesador.
○ https://en.wikipedia.org/wiki/VAX-11

11. Selección de Benchmarks

12. Selección de Benchmarks
● NBench
○ Mide las capacidades de la CPU, la FPU y el
subsistema de memoria
○ Algortimos de ordenacion numérica, de cadenas,
operaciones en coma flotante, resolución de sistemas
de ecuaciones.
○ Capacidades de cifrado utilizando el algoritmo IDEA en
grupos de 16 bits.
○ Evaluar la capacidad de ejecutar una red neuronal
sencilla del tipo backpropagation

13. Selección de Benchmarks
● CoreMark
○ https://github.com/eembc/coremark
○ Uso en microcontroladores y microprocesadores.
○ Procesamiento de listas, la manipulación de
matrices, las máquinas de estado y los controles
de redundancia cíclica CRC.

14. Selección de Benchmarks
● CoreMark

15. Selección de Benchmarks
● CoreMark https://www.eembc.org/coremark/scores.php

16. Selección de Benchmarks
● SPEC (Standart Performance Evaluation Corporation)
● El término "SPEC" se refiere a "Standard Performance Evaluation
Corporation", una organización que desarrolla estándares de
referencia para evaluar el rendimiento de sistemas informáticos.
● Los benchmarks SPEC son una serie de pruebas estandarizadas
diseñadas para evaluar y comparar el rendimiento de hardware y
software en una variedad de sistemas y configuraciones.

17. Selección de Benchmarks
● SPEC (Standart Performance Evaluation Corporation)
● Conjunto de benchmarks CINT2000 12 programas para
cálculos intensivos con números enteros en lenguajes C,
C++: perlbench, bzip2, gcc, mcf, gobmk, hmmer, sjeng,
libquantum, h264ref, omnetpp, astar, xalancbmk
● Conjunto de benchmarks CFP2006 17 programas para
cálculos intensivo con números de punto flotante en lenguajes
C, C++ y Fortran: bwaves, gamess, milc, zeusmp, gromacs,
cactusADM, leslie3d, namd, dealII, soplex, povray, calculix,
GemsFDTD, tonto, lbm, wrf, sphinx3.

18. Selección de Benchmarks
● CINT2000 contiene 11 aplicaciones escritas en C y una en
C++ (252.eon) que son usadas como benchmarks.
○ 164.gzip: Utilidad de compresión de datos.
○ 175.vpr: Direccionamiento y ubicación de circuitos FPGA.
○ 176.gcc: Compilador C.
○ 181.mcf: Costo mínimo de flujo de red.
○ 186.crafty: Programa de ajedrez.
○ 197.parser: Procesamiento de lenguaje natural.
○ 252.eon: Efectos producidos por distintas fuentes de luz.
○ 253.perlbmk: Perl.
○ 254.gap: Teoría de grupo computacional.
○ 255.vortex: Base de datos orientada a objetos.
○ 256.bzip2: Utilidad de compresión de datos.

19. Selección de Benchmarks
● CFP2000 contiene 14 aplicaciones (seis en Fortran77, cuatro en
FORTRAN90 y cuatro en C) que son usadas como benchmarks:
○ 168.wupwise: Cromodinámica de cuantos.
○ 171.swim: Modelado de aguas poco profundas.
○ 172.mgrid: Multi-grilla en campos potenciales 3D.
○ 173.applu: Ecuaciones diferenciales parciales parabólicas/elípticas.
○ 177.mesa: Biblioteca de gráficos 3D.
○ 178.galgel: Dinámica de fluidos: análisis de inestabilidad oscilatoria.
○ 179.art: Simulación de red neuronal: teoría de la resonancia adaptativa.
○ 183.equake: Simulación de elementos finitos: modelado de terremotos.
○ 187.facerec: Reconocimientos de imágenes: reconocimiento de rostros.
○ 188.ammp: Química computacional.
○ 189.lucas: Teoría de los números: prueba de primalidad.
○ 191.fma3d: Simulación de elementos finitos en choque.
○ 200.sixtrack: Modelo de acelerador de partículas.
○ 301.apsi: Problemas de temperatura, viento y distribución de contaminantes.

20. Selección de Benchmarks http://www.spec.org/cpu2017/results

21. Selección de Benchmarks http://www.spec.org/cpu2017/results

22. Herramientas de benchmarks para evaluar el
rendimiento en máquinas y aplicaciones
José Manuel Ortega
jose.manuelortega@owasp.org