Glosario en Evaluación de Desempeño de Sistemas Computacionales
1. Glosario de t´erminos de Metodolog´ıa para la
Evaluaci´on de Desempe˜no Computacional
Gamez Kelwin
Noviembre, 2012
1. Planificaci´on de Capacidad
El t´ermino de capacidad se refiere a la producci´on m´axima de un sistema en un per´ıodo de tiempo
determinado. En funci´on ello la planificaci´on tiene que ver con cu´anta capacidad a largo plazo se necesita,
cu´ando se necesita m´as capacidad, d´onde deben estar emplazadas las instalaciones y c´omo deben estar
organizadas las instalaciones . Cabe destacar que la capacidad proyectada o de dise˜no es la capacidad m´axima
conseguida bajo condiciones ideales y la capacidad efectiva o de operaci´on es la que espera alcanzar una
empresa seg´un sus limitaciones operativas [1].
Tareas de la planificaci´on de capacidad:
Definici´on de objetivos, requerimientos y niveles de servicio
Caracterizaci´on de la carga de trabajo y desempe˜no actual
Predicci´on de la carga de trabajo futura y anticipaci´on de crisis
An´alisis de alternativas y tecnolog´ıa emergente; calendario
De esta manera, se puede observar que sigue el siguiente esquema de ejecuci´on:
Demanda prevista.
Calcular la capacidad media.
Calcular la capacidad necesaria.
Desarrollar planes alternativos.
evaluar los planes de capacidad.
Elegir el mayor plan de capacidad.
Es el proceso de predecir los niveles de carga en los que el sistema se saturar´a y la determinaci´on
de la soluci´on m´as eficaz en coste que permita retrasar la saturaci´on del sistema lo m´as posible.
1
2. 2. Caracterizaci´on de la Carga de Trabajo
Previo a la caracterizaci´on se debe saber qu´e es la carga de trabajo tambi´en llamada workload, ´esta
es el conjunto de todas las peticiones que el sistema recibe de su entorno durante un periodo dado.
El an´alisis de la carga desempe˜na un papel fundamental en todos los estudios en los que hay que
determinar ´ındices de rendimiento. Los cuales est´an directamente relacionados con la carga y no pueden
expresarse independientemente de la carga.
Ahora bien, la caracterizaci´on de la carga de trabajo tiene como prop´osito entender las caracter´ısticas
de la carga de trabajo que se proporcionan a un sistema y tambi´en determina una descripci´on sintetizada
(denominada modelo de carga de trabajo) de la carga global. En t´erminos resumidos, consiste en analizar los
tipos de procesos y usuarios que hacen uso del sistema y determinar la manera en que consumen los recursos
[2],[6].
3. Throughput
Cantidad de trabajo ´util ejecutado por unidad de tiempo en un entorno de carga determinado. Tasa
(peticiones por unidad de tiempo) a la que el sistema sirve las peticiones [8].Por ejemplo:
I/O’s /seg.
P´aginas descargadas/seg.
Tareas/seg.
Transacciones por segundo (tps).
4. Niveles de Servicio
Es conocido como Acuerdos de Niveles de Servicio (SLA), los cuales requieren de tecnolog´ıas de
informaci´on para trabajar con los usuarios finales y as´ı definir la lista de servicios y los respectivos atributos
calificativos, as´ı como los tiempos de respuesta, disponibilidad, confiabilidad, tiempo de reparaci´on y los
costos. Toda esta informaci´on es espec´ıfica para cada organizaci´on y son determinando por la parte gerencial
y los usuarios [4].
´Esta es una herramienta ´util para administrar los servicios de tecnolog´ıas de informaci´on en varias
formas:
1.- Planificaci´on: Se determinan lo que necesitan los niveles de servicio para poder subsistir.
2.- Aseguramiento: Mediante el monitoreo de los niveles de servicio para asegurar que ´estos cumplan
con los requerimientos especificados y mediante la identificaci´on de los problemas cuando un nivel de
servicio no los cumple.
5. Rendimiento o desempe˜no de sistemas computacionales
Es la capacidad de producci´on de un determinado sistema. Debido al alto costo y complejidad de
´estos, existe una necesidad de t´ecnicas y herramientas para determinar las soluciones de equipamiento (soft-
ware y hardware) m´as adecuadas de acuerdo a un cierto presupuesto. Las cuales la capacidad de producci´on
hacia si punto optimal en la medida de lo posible [1].
2
3. Seg´un [13] para poder evaluar el desempe˜no de un sistema de computaci´on y as´ı poder compararlo
respecto a otro necesitamos definir y medir su rendimiento. Para poder cuantificar el rendimiento, necesita-
mos determinar los factores que influyen en el desempe˜no del equipo de c´omputo y as´ı definir una expresi´on
que caracterice este rendimiento. Se denomina medida al valor obtenido mediante un instrumento de medi-
ci´on confiable. Una medida “proporciona una indicaci´on cuantitativa de extensi´on, cantidad, dimensiones,
capacidad y tama˜no de algunos atributos de un proceso o producto”. El desempe˜no de un computador puede
tener diferentes medidas de elecci´on para diferentes usuarios. Por lo tanto su percepci´on de rendimiento pue-
de cambiar dependiendo de la situaci´on. Pero en general se puede definir el t´ermino de Rendimiento como
una medida de que tan “bien” un sistema, o los componentes que lo constituyen, lleva a cabo las tareas
asignadas.
6. Actualizaci´on de plataformas computacionales
Consiste en mejorar la situaci´on actual de un sistema, sea de hardware o software, de cambio m´etodos
de producci´on o inclusive de cambios en los procesos.
Pero el problema consiste en detectar cu´ando y por qu´e es necesario una actualizaci´on: para ello se
recurre al monitoreo de la producci´on en el tiempo, evaluando con ello el crecimiento o decrecimiento que
pudiese tener; muchas veces se realizan actualizaciones porque se prev´e un incremento en la demanda; otras
veces el proceso de migraci´on de tecnolog´ıas de informaci´on (IT) se da por cambios en las leyes, o inclusive
nuevos requerimientos de usuario [1].
7. Modelos matem´aticos y sus tipos
Un modelo matem´atico es una representaci´on idealizada de un problema, expresada en t´erminos de
s´ımbolos y expresiones matem´aticos. Al construir un modelo se intenta traducir la definici´on del problema
como relaciones matem´aticas.
Se pueden clasificar en dos tipos: los modelos matem´aticos deterministas y los estoc´asticos [14].
Deterministas : Est´an formados por ecuaciones que ante un determinado juego de valores de los par´ametros
iniciales, reproducen siempre la misma soluci´on. Son los modelos m´as comunes, tales como el del campo
el´ectrico o el de la ca´ıda libre que ya se mencion´o, o el del movimiento planetario. Las ecuaciones
diferenciales representan modelos de este tipo.
Estoc´asticos : Son aquellos que se componen por el procesamiento de gran cantidad de datos aleatorios que
responden a alg´un tipo de distribuci´on, no reproduciendo los mismos resultados a partir de id´enticos
par´ametros iniciales. Se utilizan estos modelos cuando los sistemas se componen de gran cantidad de
elementos cuyo comportamiento solo puede ser previsible en t´erminos estad´ısticos. Hay procedimientos
de simulaci´on que pese a la enorme velocidad de las computadoras requieren de varios d´ıas o semanas
para su ejecuci´on, dada la gran cantidad de datos que hay que procesar.
A continuaci´on se mencionan algunos modelos matem´aticos en el ´area de evaluaci´on de desempe˜no
computacionales: Modelos de carga de trabajo, Customer Graph Behavior Model (CBMG), el modelo de
visita del usuario personalizador (CVM), modelos de rendimiento, modelos de Markov,entre otros [5],[4].
8. Reglas de dedo o heur´ıstica
De acuerdo con ANSI/IEEE Std 100–1984, la heur´ıstica trata de m´etodos o algoritmos exploratorios
durante la resoluci´on de problemas, gracias a los cuales las soluciones se descubren evaluando progresos
3
4. intermedios, que son productos de la experiencia.
Tiene por objeto proporcionar directrices generales para la estimaci´on de la propiedad, la creaci´on de
espacio, y otras necesidades requisito previo a la planificaci´on actual. No es un sustituto para la planificaci´on
real y el dise˜no. Una regla de oro es ´util s´olo en la toma de aproximaciones y no deben ser utilizados
dogm´aticamente. Entender las variables que afectan los valores es esencial en la aplicaci´on a determinadas
situaciones
9. Benchmark
Es un problema o est´andar dise˜nado para evaluar el rendimiento de un sistema de computadora, sea
software y/o hardware [10].
En general, un benchmark es un programa o conjunto de programas representativos bien definidos
que se ejecuta en diferentes sistemas y redes para evaluar o comparar rendimientos.
10. Demanda de servicio
Se refiere a la cuant´ıa global de bienes y servicios realizados o previstos por una colectividad [7].
Estos par´ametros especifican el tiempo total en promedio proporcionado por un servicio de acuerdo a
un recurso especifico de los requerimiento de un clase dada. La demanda de servicio generalmente no dependen
de la carga de trabajo del sistema. En algunas situaciones, inclusive, puede haber cierta dependencia[4].
11. Clases de carga de trabajo
Las clases de carga de trabajo pueden ser caracterizadas como: transacciones, por lotes e interactivas
[4]. La carga de trabajo por lotes es modelada como una clase cerrada en la cual la carga de trabajo intensa
es representada por el n´umero de clientes de aquella clase que se encuentra en la cola [4].
12. Predicci´on de capacidad
La predicci´on ha de considerar la evoluci´on de la carga de trabajo y los niveles de servicios de
deseados. Ello quiere decir, que no hay que los problemas sucedan, hay que anticiparse a ellos manteniendo
la calidad del servicio y mejorando el rendimiento cuando sea necesario [8].
13. Overhead
Se produce sobrecarga o overhead cuando los recursos son usados por parte del sistema operativo,
es decir, tiempo de c´alculo indirecto. ´Este tiene dos componentes: un componente constante y uno variable.
El primero corresponde a aquellas actividades ejecutas por el sistema operativo, que no dependen del nivel
e carga del sistema. El componente variable de overhead corresponde a aquellas actividades que son depen-
dientes del nivel de carga del sistema. Por ejemplo, cuando el n´umero de tareas se incrementa, el trabajo
requerido por las rutinas de gesti´on de memoria se incrementa de igual manera [4].
4
5. 14. Respaldo/Recuperaci´on
En el ´area de tecnolog´ıa de informaci´on (IT) este el t´ermino respaldo se refiere al proceso de rea-
lizaci´on de copias de seguridad del sistema para que cuando ocurra alg´un fallo o ca´ıda del sistema pueda
realizarse la debida recuperaci´on.
15. Colas del sistema
Es un conjunto de procesos que se encuentran ordenados y la espera para ser procesados. M´as
formalmente, es un conjunto de elemento interconectados. Una cola incluye la linea de espera y los recursos
que provee el servicio a los clientes. Una cola puede ser abierta, mezclada o inclusive cerrada, dependiendo
de las clases de cliente [4].
16. Tiempo de respuesta
El tiempo que toma un sistema para dar respuesta a un requerimiento se denomina tiempo de
respuesta [4].
17. Monitoreo/monitor
Es usado para medir sistemas computacionales bajo una cierta carga [11]:
Monitores de Software : programas que detectan los estados de un sistema; o conjuntos de instrucciones
(sondas de software) que son capaces de detectar eventos.
Monitores de Hardware : dispositivos electr´onicos conectados en puntos espec´ıficos del sistema, en donde
detectan las se˜nales (niveles de voltaje o pulsos) que caracterizan el fen´omeno en observaci´on.
18. Tiempo de servicio
Es el tiempo que el servidor tarda en atender el requerimiento del proceso [11].
19. Estrategias proactivas y reactivas
Las estrategias proactivas son aquellas en la que la organizaci´on toma la iniciativa de desarrollar
nuevos productos, es decir,inicia desde su interior el movimiento de investigaci´on y desarrollo con un monito-
reo constante para identificar oportunidades, en tanto las estrategias reactivas porque la raz´on y el est´ımulo
para desarrollar nuevos productos provienen del exterior de la empresa,es decir, dependen de lo que hagan
otros competidores [12].
20. Pol´ıticas y mecanismos
Un principio muy importante es la separaci´on entre pol´ıtica y mecanismo. Los mecanismos determi-
nan como realizar algo. Las pol´ıticas deciden que se har´a [15].
5
6. 21. Entonaci´on
Las alternativas para la planificaci´on de la capacidad suelen consistir en la adquisici´on de m´as
recursos de computaci´on, mientras que las alternativas para la gesti´on de la capacidad consiste en ajustar los
patrones de uso, la reordenaci´on de la configuraci´on y cambiar los par´ametros del sistema para maximizar el
rendimiento. El proceso de ajuste de par´ametros del sistema para optimizar el rendimiento tambi´en se llama
el ajuste de rendimiento o entonaci´on [16].
22. Migraci´on
Es el proceso consistente en hacer que los datos y las aplicaciones existentes funcionen en una
computadora, software o sistema operativo distinto.
23. Relaci´on costo/rendimiento
Es la relaci´on del equilibrio entre un buen desempe˜no computacional al menor costo posible [17].
24. Simulaci´on
Se designa as´ı a la experimentaci´on con un modelo para extraer conclusiones o realizar predicciones.
Las simulaciones computacionales nos permiten “experimentar” con situaciones no accesibles a los sentidos
o imposibles de crear en el laboratorio [14].
25. Disponibilidad
Se entiende como la capacidad del sistema para entregar los servicios cuando son requeridos, lo cual
no implica que ´este cumpla con las especificaciones, elemento referido a la fiabilidad.
26. Tr´afico de red
Es un t´ermino muy amplio y por lo general se refiere al uso de la red global en un momento dado.
Sin embargo, puede referirse a transacciones espec´ıficas, mensajes, registros o usuarios en cualquier tipo de
datos o red de telefon´ıa transmitidos a trav´es de una red [19].
27. Cuellos de botella
Es un estrechamiento que reduce el flujo a trav´es de un canal, los cuales se dan bajo diversas causas
no s´olo por la carga de trabajo [20].
6
7. 28. Tiempo de retorno
Es la suma Tespera + Tservicio. Desde el punto de vista de un proceso en particular, el criterio
importante es cuanto le lleva completar el trabajo. El intervalo desde el momento de inicio hasta su final,
es el tiempo de retorno. El Tiempo de Retorno es Mayor o Igual al Tiempo de Respuesta. El La respuesta
fuese solo 1 Bit, entonces, ambos tiempos serian iguales [18].
29. Confiabilidad
La confiabilidad de un sistema se tiene cuando se puede verificar que cumplen estos cuatro elementos
fundamentales: disponibilidad, fiabilidad, seguridad y protecci´on.
30. Latencia
Tambi´en conocido como retardo, es el tiempo que tarda un paquete entre dos puntos determinados,
debido a los diferentes tipos de retardo que pueden presentarse.
31. Escalabilidad
Se considera que un sistema es escalable si hay una ¸clara” forma de actualizar el sistema para manejar
un incremento en el tr´afico mientras se mantiene un desempe˜no adecuado. En directo nos referimos a que
ning´un sistema o cambios en el software de arquitectura deber´ıan estar obligados a actualizar el sistema [21].
32. Modelos de costo
Surge como una forma de orientar con mayor alcance la pol´ıtica regulatoria para establecer los
costos m´as adecuados seg´un el principio de casualidad de costos. Es decir que se trata de establecer una
metodolog´ıa sistem´atica espec´ıfica con una serie de criterios b´asicos, procedimientos de imputaci´on y c´alculo
para la determinaci´on de costos, apelando incluso a valores t´ecnicos est´andar (coeficientes) actualizados para
esa determinaci´on de costos te´oricos de un operador eficiente en un mercado dado (un pa´ıs, un ´area local,
etc.) [22].
33. Cluster Computing
Un cluster es un tipo de sistema de procesamiento paralelo compuesto por un conjunto de compu-
tadoras interconectadas v´ıa alg´un tipo de red, las cuales cooperan configurando un recurso que se ve como
“´unico e integrado”, m´as all´a de la distribuci´on f´ısica de sus componentes. Cada procesador puede tener
diferente hardware y sistema operativo [23].
34. Grid Computing
Es un “entorno de procesamiento virtual”, donde el usuario tiene la visi´on de un sistema de proce-
samiento “´unico” y en realidad trabaja con recursos dispersos geogr´aficamente [24].
7
8. 35. E-Commerce
Proviene de los t´erminos en ingles Electronic Commerce o comercio electr´onico. Este concepto en-
globa todas las actividades desarrolladas por medios electr´onicos que involucran directamente al consumidor,
como ventas, proceso de ´ordenes de compra, administraci´on de las relaciones con los clientes y desarrollo de
programas de lealtad comercial [25].
36. E-Bussines
El e-bussines incorpora el uso estrat´egico de las TIC (incluyendo, pero no limit´andose, a internet)
para interaccionar con clientes, proyectos, y socios a trav´es de la comunicaci´on m´ultiple y los canales de dis-
tribuci´on. Con la capacidad de capturar, as´ı como de utilizar la informaci´on procedente de canales m´ultiples,
el e-bussines ayuda a las empresas a maximizar cada interacci´on y a mejorar continuamente la calidad del
trato con el cliente [26].
37. Din´amicas de grupo
Se refiere a las interacciones entre personas que hablan entre s´ı en un ambiente grupal. Las din´amicas
de grupo pueden estudiarse en ambientes empresariales, de voluntarios, acad´emicos y sociales. Siempre que
hay tres o m´as personas hablando juntas o interactuando, hay din´amicas de grupo [27].
38. ITIL v3
Las siglas de ITIL se corresponden a “Information Technology Infrastructure Library”, que pod´ıamos
traducir como la biblioteca de la infraestructura de las tecnolog´ıas de la informaci´on. Fue desarrollado a finales
de los a˜nos 80 por el Reino Unido dentro del departamento llamado OGC (Office of Government Commerce),
antiguamente conocida como CCTTA (Central Computer and Telecommunications Agency).
Es un framework que describe las mejores pr´acticas en el ´area de gesti´on de servicios de tecnolog´ıa
de informaci´on (IT). Este framework tiene como funci´on la gobernaci´on de la IT, y enfocado en las medidas
de continuidad y mejora de de los servicios de IT [28].
39. Calidad del Servicio
La “calidad de servicio” es definida por la Uni´on Internacional de Telecomunicaciones (UIT) como
el efecto global de la calidad de funcionamiento de un servicio que determina el grado de satisfacci´on de un
usuario de dicho servicio.
8
9. Bibliograf´ıa
[1] Universidad Sim´on Bol´ıvar (2004). Planificaci´on de Capacidad (2004). Recuperado el 6 de noviem-
bre de 2012 de http://prof.usb.ve/nbaquero/Capacidad.pdf.
[2] Universidad de Valladolid, Dpto. Inform´atica (2010). Carga de trabajo. Recuperado el 6 de noviem-
bre de 2012 de http://www.infor.uva.es/ miguelv/eesi/mat/04.1-Carga-1.pdf
[3] Universidad de Valladolid, Dpto. Inform´atica (2010). Caracterizaci´on de la carga. Recuperado el 6
de noviembre de 2012 de http://www.infor.uva.es/ miguelv/eesi/mat/04.2-Carga-2.pdf
[4] Menasc´e, D.; Almeida, V. (2004). Perfomance by Design: Computer Capacity Planning by example.
New Yersy, EEUU: Prentice Hall Proffesional Technical Reference.
[5] Sen, R. (2010). Operations Research: Algorithms and Applications. New Delhi, India: PHI Learning.
[6] Pentakalos , O.; Menasc´e, A. & Yesha, Y. (1996). Automated Clustering-Based Workload
Characterization. Recuperado el 6 de noviembre de 2012 de http://cs.gmu.edu/ menasce-
/papers/NASAMassStorage1996.pdf
[7] Real Academia Espa˜nola (s.f.). Recuperado el 6 de noviembre de 2012 de
http://www.rae.es/rae.html
[8] Universidad de Valladolid, Dpto. Inform´atica (2010). Introducci´on a la evaluaci´on de rendimien-
to. Recuperado el 6 de noviembre de 2012 de http://www.infor.uva.es/ miguelv/eesi/mat/01.2-
Introduc.pdf
[9] Computer Measurement Group Conference,Reno, NV, Dec. 2002
[10] Oxford Dictionaries. (s.f.). Recuperado el 6 de noviembre de 2012 de
http://oxforddictionaries.com/?region=us
[11] Casas, I. (1997). Modelaci´on de Sistemas Computacionales. Recuperado el 7 de noviembre de 2012
de http://www2.ing.puc.cl/ msc/apuntes/cap5/cap5.htm
[12] Lerma, A. (2004). Gu´ıa para el desarrollo de productos: Una visi´on global (3ra Edici´on). M´exico:
Thonsom Learning.
[13] Laboratorio Docente de Computaci´on, Universidad Sim´on Bol´ıvar (s.f.). Introducci´on al Paralelis-
mo.Recuperado en mayo de 2012 http://ldc.usb.ve/ adiserio/ci4841/clases/Metricas.pdf.
[14] Kofman, H. A. (2000). Modelos y simulaciones computacionales en la ense˜nanza de la f´ısica. Recu-
perado el 07 de mayo de 2012 disponible en http://www.fiq.unl.edu.ar/galileo/download/document-
os/modelos.pdf.
[15] Silberschatz A.; Peterson J.; Galvin P. (1991). Sistemas Operativos Conceptos Fundamentales (3era
edici´on). Madrid: McGraw Hill.
[16] Jain, R. (1991). Art of Computer Systems Performance Analysis Techniques for Experimental De-
sign Measurements Simulation and Modeling. Wiley Computer Publishing, John Wiley & Sons,
Inc.
[17] Rinc´on C´orcoles L. & Rodr´ıguez-Arag´on L. J. (s.f.). Medidas de rendimiento en los
computadores. Recuperado el 7 de noviembre de 2012 de http://www.uclm.es/profesorado-
/licesio/Docencia/ETC/15 MedidasRendimiento itis.pdf.
[18] Universidad del CEMA (2008). Simulaci´on de Sistemas Unidad 5: Planificaci´on. Recuperado
el 07 de noviembre de 2012 de http://www.ucema.edu.ar/u/rst/Simulacion de Sistemas/Teoria/-
Unidad 5 Planificacion doc.pdf
9
10. [19] Tanenbaum, A. (1997). Redes de computadoras. M´exico: Prentice-Hall.
[20] IBM (2004). Beyond performance testing part 7: Identifying the critical failure or bottleneck.
Recuperado el 07 de noviembre de 2012 de http://www.ibm.com/developerworks/rational/-
library/4259.html.
[21] Menasc´e, D. A. & Almeida, V. (2000). CHALLENGES IN SCALING E-BUSINESS SITES. Recu-
perado el 07 de noviembre de 2012 de http://www.cs.gmu.edu/ menasce/papers/cmg00.pdf.
[22] Klein, G. (2007). Estudio sobre la aplicaci´on de Modelos de Costo en Am´erica Latina y
El Caribe. Recuperado el 07 de noviembre de 2012 de http://www.itu.int/ITU-D/finance/-
costmodels/Klein %20study-SP.PDF.
[23] Frogner, K. Mandt, T. & Wethal, S. E. (2004). Cluster and grid computing: Accounting and banking
systems. Recuperdo el 07 de noviembre de 2012 de http://www.mista.nu/files/cgc2004.pdf.
[24] Foster, I.; Kesselman, C.; Kaufmann, M. (November 18, 2003). “The Grid 2: Blueprint for a New
Computing Infrastructure”. The Morgan Kaufmann Series in Computer Architecture and Design
(2da edition).
[25] Gait´an, J. J. & Pruvost, A. G. (2001). El comercio electr´onico al alcance de su empresa. Argentina.
[26] Siebel, T. M. (2001). Principios Del E-Business. Buenos Aires: Ediciones Granica S.A.
[27] Nazzaro, A & Strazzabosco, J. (2003). Din´amicas de grupo y Formaci´on de equipos. Re-
cuperado el 07 de noviembre de 2012 de http://www.wfh.org/3/docs/Publications/Hemo-
Org Resources/HOD4 Group Dynamics SP.pdf
[28] Cartlidge, A.; Hanna, A.; Rudd, C.; Macfarlane, I.; Windebank, J. & Rance, S. (2007). An Intro-
ductory Overview of ITIL V3. USA: The UK Chapter of the itSMF.
10