Afinamiento y entendimiento Garbage Collector JVM IBM

© 2007 IBM Corporation
®
Pág 1
Sesión 1: Entendiendo la JVM
Juan Camilo Parra Martínez
AVP Websphere

IBM Software Group | WebSphere software
¿Que es y como funciona la JVM?
La JVM es una de las piezas
fundamentales de la plataforma
Java.
Básicamente se sitúa en un nivel
superior al hardware del sistema
sobre el que se pretende ejecutar
la aplicación, y este actúa como
un puente que entiende tanto el
bytecode como el sistema sobre el
que se pretende ejecutar.

Arquitectura JVM
3

¿Qué es el Garbage Colector (GC)?
4
Un recolector de basura (del
inglés garbage collector) es un
mecanismo implícito de gestión de
memoria implementado en
algunos lenguajes de
programación de tipo interpretado o
semi-interpretado.
•Reservar espacios de memoria para
su uso.
•Liberar espacios de memoria
previamente reservados.
•Compactar espacios de memoria
libres y consecutivos entre sí.
•Llevar cuenta de qué espacios
están libres y cuáles no.

Ejemplo practico GC
5

Que es el Heap Size
 El heap es el espacio de memoria en tiempo de ejecución que
se usa para almacenar las instancias de clases, objetos y arrays.
Se crea en el inicio de la máquina virtual (JVM) y es gestionado
por el Garbage Collector.
 Se puede modificar el tamaño del heap mediante comandos de
la JVM, y el GC realiza modificaciones en tiempo de ejecución
de forma automática.
6

Heap Dump
 Un Heap Dump es un snapshot o “fotografía” del estado del
heap en un momento concreto. Es generado por la JVM y
muestra un volcado (dump) de todos los objetos “vivos” en el
heap (los usados por la aplicación java) en ese momento.
 Un heap dump puede generarse de varias formas:
 De forma automática: la JVM genera un heap dump
automáticamente cuando el heap se agota.
(OutOfMemoryError)
 De forma explícita
7

Entendiendo el manejo de memoria y memoria fisica
8

Fases del GC
 Marking
 Sweep
 Compacting
 Reference objects
 Final reference processing
 JNI weak reference
 Heap expansion (30%)
 Heap shrinkage (60%)
9

Entendiendo un poco el GC
 Es el responsable de ubicar o liberar Objetos Java, Arreglos de
objetos, Clases Java y Librerías.
 Ubica los objetos usando secciones continuas de Heap de Java
 Se asegura que el objeto se mantiene durante su vida útil o uso,
esta determinación se basa en referencias del objeto.
 Marca objetos que no se encuentran mas referenciados
 Se asegura que cualquier método de finalización es llamado
antes de que el objeto sea marcado.
10

Por que se debe mantener afinado GC?
En la ejecución de todos los
procesos o aplicaciones se
pausa hasta que el GC
termina su labor.
Conocido como “Stop The
World” (STW)
11

¿Que pasa a la JVM cuando la se comienza a paginar?
12

Objetivo Responsiveness vs Throughput
13

Responsiveness
Se refiere a la rapidez con que una aplicación o sistema responde.
Por ejemplo:
 La rapidez con una interfaz de usuario de escritorio responde a
un evento
 Qué tan rápido un sitio web devuelve una página
 Qué tan rápido se devuelve una consulta de base de datos
Para estas aplicaciones, grandes tiempos de pausa no son
aceptables. La atención se centra en dar respuesta en períodos
cortos de tiempo.
14

Throughput
Se centra en maximizar la cantidad de trabajo de una aplicación en
un período específico de tiempo. Por ejemplo:
 El número de transacciones completadas en un tiempo dado.
 El número de puestos de trabajo que un programa por lotes se
puede completar en una hora.
 El número de consultas de bases de datos que se pueden
completar en una hora.
 Tiempos altos de pausa son aceptables para estas aplicaciones.
Dado que las aplicaciones de alto rendimiento se centran en los
puntos de referencia en períodos más largos de tiempo, el
tiempo de respuesta rápida no es una consideración.
15

Mejorar el Performance de una aplicación JAVA
16
Mejorar la aplicación, depende
exclusivamente del código.
El afinamiento de la JVM, no va a
solucionar problemas, que competen
netamente a código!!

Mejorar el Performance JVM
17
Todo afinamiento del GC trae,
consigo mejoras en los
tiempos de respuesta, pero
esto no evita el profiling y
mejora de las aplicaciones.

Performance del recolector de basura
La definición de un problema de performance suele ser centrada en el
usuario (El usuario requiere)
• Tiempos de pausa del GC muy cortos
• Maximo Throughput
• Un Balance entre estas dos
1. Debemos asegurarnos que hemos seleccionado la política del
Garbage Collector según el tipo de performance que espera el usuario
final
• Para ello debemos conocer cada uno de los mecanismos de GC
2. Asegurarnos que el Heap Size esta bien configurado, por defecto y por
exceso son malas configuraciones
3. Revisar por problemas específicos de performance.
18

Saquemos Conclusiones.
 ¿Qué pasa si el heap inicial es muy alto?
 ¿Qué pasa si el heap máximo es muy bajo?
 ¿Qué pasa si el heap inicial es muy bajo?
 ¿Qué pasa si el Garbage Collector tiene tiempos de pausa muy
largos?
 ¿Qué pasa si el Garbage Collector tiene tiempos de pausa cortos
pero muy seguidos?
 ¿Para que se configura el Heap inicial y el máximo en el mismo
valor?
 ¿Cuál seria el comportamiento esperado de una JVM de 32bits
con 3GB de Memoria Máxima y 256mb de memoria inicial?
19

¿Preguntas?
20

®
Pág 21
Sesión 2: Optimizar la JVM
AVP

Tipos de Garbage Collector (Solo IBM_J9)
22
Policy Option Description
Optimize for
throughput
-Xgcpolicy:optthruput
(optional)
The default policy. It is typically used for applications
where raw throughput is more important than short GC
pauses. The application is stopped each time that garbage
is collected.
Optimize for pause time -Xgcpolicy:optavgpause Trades high throughput for shorter GC pauses by
performing some of the garbage collection concurrently.
The application is paused for shorter periods.
Generational
concurrent
-Xgcpolicy:gencon Handles short-lived objects differently than objects that
are long-lived. Applications that have many short-lived
objects can see shorter pause times with this policy while
still producing good throughput.
Subpooling -Xgcpolicy:subpool Uses an algorithm similar to the default policy's but
employs an allocation strategy that is more suitable for
multiprocessor machines. We recommend this policy for
SMP machines with 16 or more processors. This policy is
only available on IBM pSeries® and zSeries® platforms.
Applications that need to scale on large machines can
benefit from this policy.

Pistas
23
Switch to Reasons
optavgpause • My application cannot tolerate the
length of the GC pauses. A degradation
in performance is acceptable as long
as the GC pause time is reduced.
• I am running on a 64-bit platform and
use a very large heap -- more than 3 or
4GB.
• My application is a GUI application
and I'm concerned about the user
response times.
gencon • My application allocates many short-
lived objects.
• The heap space is fragmented.
• My application is transaction-based
(that is, objects in the transaction
don't survive beyond the transaction
commit).
subpool • I have scalability problems on large
multiprocessor machine.

Parallel GC (optthruput)
 Es un algoritmo de Marcado y Barrido en paralelo, que evita la
compactación, esta diseñado para aumentar el performance en
SMP.
 Se encuentra optimizado para “Throughput”, con lo cual es la
mejor política para aplicaciones tipo “batch”
 En este algoritmo se encuentra un hilo principal encargado de
generar el conjunto de objetos, y una serie de hilos helper que se
encargan del resto del trabajo, el numero de hilos es igual al
numero de unidades de procesamiento (Por defecto en IBM J9)
 Se puede disminuir usando -Xgcthreads
24

25

Concurrent GC (optavgpause)
 Reduce y hace mas consistente, el tiempo de pausa gastado por
el GC.
 Lo logra realizando el proceso de marcado y barrido de manera
concurrente, mientras se ejecuta la aplicación o esta esta
inactiva, esto hace que la aplicación no se detenga durante
todas las fases, sino solo durante una pequeña fracción de
tiempo.
 Se reduce el tiempo de pausa entre un 90 y 95% comparado con
optthruput.
 El Throughput se reduce aproximadamente en un 5% comparado
con optthruput.
26

27
Hidden Object Issue

Generacional Concurrente (gencon)
 Es un concepto similar al usado por Sun y HP, se realizan copias
paralelas y recolecciones globales concurrentes por defecto.
 Se basa en la muerte muy frecuente de objetos jóvenes,
entonces enfoca su atención a limpiar los objetos que son
creados reciente.
 Para ello divide el heap en dos áreas, “Nursery” y “Tenured”
 Los objetos nuevos se alojan en Nursery, y los viejos en
Tenured.
 Las recolecciones se enfocan en el área de Nursery.
 Los objetos que sobreviven a cierto numero de recolecciones en
el Nursery, son enviados al Tenured.
28

 El área de Nursery también se divide en dos, Allocate y Survivor,
en el primero los objetos nuevos son ubicados, Survivor es un
paso intermedio donde se copian los objetos de forma temporal
cuando ocurre un ciclo de GC de Nursery.
 La cantidad de ciclos de recolección del Nursery antes de llevar
un objeto al Tenured es determinada de forma automática por la
JVM, pero este numero nunca excederá las 14 recolecciones.
 Los objetos son ubicados en el espacio de Tenured y Survivor de
forma tal que se evita al máximo la fragmentación.
29

30

Monitoreando la actividad del GC
 Use el Verbose del GC para rastrear el comportamiento de la
maquina virtual.
 Para eso active el log usando los parámetros
– -Xverbose:gc
– -Xverbosegclog:[DirPath][FileName],[NumberOfFiles],[NumberOfCyclesPerFile]
 Puede graficar el verbose usando la herramienta GC and
Memory Visualizer (GCMV) de ISA.
 Costo de performance: Se estima que activar el GC causa una
sobre carga del 2% sobre los tiempos de pausa, así si el tiempo
de pausa usual de una maquina virtual es de 5 segundos, este
se convertirá en 5.1segundos.
31

JRockit
 The following dynamic modes are available:
 throughput, which optimizes the garbage collector for maximum application
throughput. This is the default mode.
 pausetime, which optimizes the garbage collector for short and even pause
times.
 deterministic, which optimizes the garbage collector for very short and
deterministic pause times. This mode is only available as a part of Oracle JRockit
Real Time.
 The major static strategies are:
 singlepar, which is a single-generational parallel garbage collector (same
as parallel)
 genpar, which is a two-generational parallel garbage collector
 singlecon, which is a single-generational mostly concurrent garbage collector
 gencon, which is a two-generational mostly concurrent garbage collector
 http://docs.oracle.com/cd/E13150_01/jrockit_jvm/jrockit/geninfo/diagnos/memman
.html
32

HotSpot de Sun
 If the application has a small data set (up to approximately 100MB), then
– select the serial collector with -XX:+UseSerialGC.
 If the application will be run on a single processor and there are no pause time requirements,
then
– let the VM select the collector, or
– select the serial collector with -XX:+UseSerialGC.
 If (a) peak application performance is the first priority and (b) there are no pause time
requirements or pauses of one second or longer are acceptable, then
– let the VM select the collector, or
– select the parallel collector with -XX:+UseParallelGC and (optionally) enable parallel
compaction with -XX:+UseParallelOldGC.
 If response time is more important than overall throughput and garbage collection pauses
must be kept shorter than approximately one second, then
– select the concurrent collector with -XX:+UseConcMarkSweepGC. If only one or two
processors are available, consider using incremental mode.
 http://www.oracle.com/technetwork/java/javase/gc-tuning-6-
140523.html
33

Donde puedo encontrar los demás parámetros que
puedo ajustar en la JVM de IBM
 http://publib.boulder.ibm.com/infocenter/realtime/v1r0/index.jsp?t
opic=%2Fcom.ibm.rt.doc.10%2Frealtime%2Frt_xoptions_gc_sta
ndard.html
34

Configurando Memoria JVM
 Máximos posibles
 El Heap Size “Correcto”
 Heap size fixed vs variable
 Heap Size para algoritmos generacionales (gencon)
35

Máximo Heap Size Posible
 Las JVM de 32 bits tienen un máximo que varia dependiendo de
la plataforma sistema operativo, implementación de la misma
JVM, etc.
 Esta restricción suele ser baja (alrededor de 2GB)
 Se debe tener mucho cuidado con el Native Heap
 Los procesos de 64 bits, suelen tener un limite mucho mayor, tan
grande que puede ser ignorado, (alrededor de 16 TeraBytes)
36

37
El Native Heap, puede ser medido usando,
Svmon(AIX), PerfMon (Windows) , RFm(zOs)

Implicaciones de usar 64bits
 Menor Performance
 Mas datos a manipular
 Temas de Cache actúan con un bajo rendimiento
 Se requiere mas memoria
 Se solucionan utilizando métodos de compresión de memoria.
38

El Heap Size “Correcto”
39
MaxUsed / MaxHeap = 0.7
1.43 * MaxUsed = MaxHeap

Heap Fixed vs Variable
 ¿Deberia ser el heap inicial igual al heap maximo?
> -Xms = -Xmx
 Como siempre para cada aplicación hay que considerar las
ventajas y desventajas dependiendo de lo que se quiera
conseguir.
 Analicemos y consideremos las características de cada uno.
40

Heap Size para algoritmos generacionales
41

Preguntas
42

®
Pág 43
Sesión 3: Practica
AVP

Probar
 Gencon
 Optavgpause
 Y optthruput
 ¿Como se comporta cada test con los diferentes algoritmos de GC?
 Para el test 5, el instructor dará un escenario, configure la jvm de
manera que se minimicen los tiempos de pausa.
44

Preguntas?
45

Referencias
 http://www-
01.ibm.com/support/docview.wss?uid=swg27013824&aid=1
 https://www.ibm.com/developerworks/library/j-ibmjava2/
 http://www.cubrid.org/blog/dev-platform/the-principles-of-java-
application-performance-tuning/
 http://www.cubrid.org/blog/dev-platform/how-to-tune-java-
garbage-collection/
 http://www-
46

Referencias
 http://www.oracle.com/webfolder/technetwork/tutorials/obe/java/g
c01/index.html
 http://www.cs.virginia.edu/kim/publicity/pldi09tutorials/memory-
efficient-java-tutorial.pdf
47

Referencias
 http://www.redbooks.ibm.com/redbooks/pdfs/sg247353.pdf
 http://www-
 http://www.redbooks.ibm.com/redbooks/pdfs/sg247353.pdf
 http://www.slideshare.net/cnbailey/tuning-ibms-generational-gc-
14062096
48

Afinamiento y entendimiento Garbage Collector JVM IBM

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Destacado

Destacado (20)

Similar a Afinamiento y entendimiento Garbage Collector JVM IBM

Similar a Afinamiento y entendimiento Garbage Collector JVM IBM (20)

Más de Juan Camilo Parra

Más de Juan Camilo Parra (13)

Último

Último (20)

Afinamiento y entendimiento Garbage Collector JVM IBM