UYOUG 2012 - Oracle RAC 11gR2 - New features

Oracle RAC 11gR2 – New features
Ing. Nelson Calero, OCP
nelson.calero@gmail.com

UYOUG Workshop
Miércoles 9 de Mayo 2012
Montevideo, Uruguay
1/44

Agenda

1 - Revisión rápida de nuevas
funcionalidades en Oracle RAC
11gR2 (11.2.0.x)
2 - Cambios en los procesos del cluster
3 - Cambios en ASM
4 - SCAN Listener
5 – más cambios
2/44

Oracle RAC
Public LAN
Private LAN
Interconnect

Instances of
Shared cache the clustered
database

SAN Network

Users
SAN Disks

3/44

New Features en 11.2.0.1

Nuevas funcionalidades
– ASM Dynamic Volume Manager (ADVM)
– ASM Cluster File system (ACFS)
– Oracle Restart
– Grid Plug and Play
– Single Client Access Name (SCAN)
– Server pools
– Grid Naming Service (GNS)
– Cluster Time Synchronization Service (CTSS)
Nuevas opciones
– Oracle RAC One Node
– Clusterware para single instance
4/44

Agenda

funcionalidades en Oracle RAC 11gR2
(11.2.0.x)
3 - Cambios en ASM
4 - SCAN Listener
5 – más cambios

5/44

Clusterware Stack

La arquitectura de procesos y el inicio cambió:

10g) tres daemons (lanzados mediante inittab)
– CSSD, CRSD (root) y EVMD

11.2) dos stacks (lanzados por OHASD mediante inittab)
– Oracle High Availability Service Daemon (OHASD)
• Gestiona procesos low level
– Cluster Ready Services Daemon (CRSD)
• Gestiona recursos high level (database)

6/44

Clusterware – dependencia de procesos
“Oracle Database 11gR2 High Availability”, Oracle Press

7/44

Clusterware Stack

1) Nuevos procesos de Cluster Ready Services Stack
• Cluster Time Synchronization Service (CTSS): gestión del tiempo
– Evita cambios bruscos del reloj cuando se usa NTP (modo
observer)
– Sincroniza relojs (modo activo) usando cambios chicos (clock
slewing)
– Detecta la presencia del proceso NTPD automáticamente y
cambia su rol
• Oracle Agent (oraagent): ejecuta scripts callout cuando ocurren
eventos FAN (era el antiguo proceso RACG - racgmain/racgmon)
• Oracle Root Agent (orarootagent): colabora con CRSD en el
manejo de recursos creados por root (red y Grid VIP).
8/44

Clusterware Stack

2) Oracle High Availability Services Stack

Procesos que incorporan Cluster Health Monitor (CHM)

• Cluster Logger Service (ologgerd): almacena datos recibidos
desde todos los nodos en un repositorio propio (base
BerkeleyDB).
– Corre en dos nodos del cluster (master/réplica para HA)

• System Monitor Service (osysmond): toma métricas del nodo
local (uso de CPU, memoria, disco, procesos, etc.) y lo informa
al ologgerd master
– Corre en todos los nodos del cluster.
9/44

Clusterware Stack


• Grid Plug and Play (GPNPD): Mantiene el profile Grid Plug and
Play, un archivo XML local con los datos que necesita un
nodo que se quiera sumar al cluster.
– coordina actualizaciones al profile entre los nodes
– Asegura que todos los nodos tienen el profile actualizado.

• Grid Interprocess Communication (GIPC): permite uso de
Interconnect redundante. Nuevo protocolo para
comunicaciones del cluster (antes se usaba TNS). Soporta
UDP, TCP, IPC y Grid IPC.

10/44

Clusterware Stack


• Oracle Grid Naming Service (GNS): Resolución de
nombres para aquellos definidos por el cluster a
pedidos de servidores DNS externos.

• Multicast Domain Name Service (mDNS): usado
por Grid Plug and Play para ubicar profiles en el
cluster, y por GNS para resolución de nombres.

11/44

Configuración de red

• Grid Naming Service (GNS): resuelve todas las direcciones IP
del cluster: publicas, virtuales (VIP) y SCAN.
– Vinculado al DNS corporativo
– Necesita servicio DHCP en la red pública
– Tiene su propia VIP
– Almacena nombres/IP en OCR
– Opcional. Si no se habilita, las IPs deben configurarse
manualmente

12/44

Clusterware Stack

Todos estos procesos se gestionan con el comando crsctl

• Para deshabilitar el inicio de OHASD:
crsctl disable crs
• Para habilitarlo:
crsctl enable crs
• Para iniciar CRS que está detenido (ejecutar con root):
crsctl start crs
• Para iniciar CRS en todos los servidores, cuando HAS está
corriendo
crsctl start cluster -all
13/44

Agenda

(11.2.0.x)
3 - Cambios en ASM
4 - SCAN Listener
5 – más cambios
14/44

Cambios en ASM

• ASM y Clusterware ahora es Grid Infrastructure
– Mismo ORACLE_HOME, productos separados

• Separación de roles ASM/DBA
– rol SYSASM (nuevo en 11.1)
• V$PWFILE_USERS: nueva columna SYSASM
– Password file se actualiza en todas las instancias ASM
– SYSOPER tiene algunos privilegios ASM, menos
CREATE/ALTER/DELETE Disk groups

15/44


• OCR
– Soporta hasta 5 copias
– Se puede almacenar en ASM (y Voting Disk)
• La cantidad de copias depende de la redundancia del diskgroup
– Oracle Local Registry (OLR) :
• metadata del nodo local, no compartido
• gestionado por OHASD

• OUI
– no soporta block o raw devices, solo ASM o FS compartido
– Cluster Verification Utility (CVU) integrado
– se generan fixup scripts
16/44


• Patches sin downtime : out-of-place upgrades

• ASM Rolling upgrades (después de upgrade en clusterware)
– ALTER SYSTEM START ROLLING MIGRATION TO
'11.1.0.7.0';
– Upgrade ASM
– ALTER SYSTEM STOP ROLLING MIGRATION;

17/44

Mayores límites en ASM

• 10000 discos
• Hasta 63 disk groups
• 1 millón de archivos por cada disk group
• 2 TB por disco ASM (4 petabytes en Exadata)
• 20 petabytes de storage (40 exabytes en Exadata)
• Archivo de tamaño máximo 23 petabytes en
redundancia normal y 1Mb AU
– 140 petabytes con redundancia externa
– 15 petabytes con redundancia alta

18/44

Disk groups

• Intelligent Data Placement
– Uso de regiones específicas del disco para obtener
mejor performance (externa/interna)
– Hot/cold, mirrorhot/mirrorcold
– Utiles cuando los datos tienen diferentes patrones de
acceso
– Solo con JBOD
– Monitoreado con V$ASM_FILE: columnas
primary_region, mirror_region, hot_reads,hot_writes,
cold_reads, cold_writes
19/44

ASM fast mirror resync

• Parámetro de inicialización: tiempo de espera antes de
descartar un diskgroup (DG) que falló.
• Si el DG vuelve a funcionar antes del tiempo
(DISK_REPAIR_TIME), los bloques cambiados se
resincronizan y se reusa.
• Pasado ese tiempo, el DG se descarta y se rebalancea
para mantener la redundancia
• Permite recuperaciones rápidas de fallas temporales

20/44

ASM Dynamic Volumes

• Publica una interfaz de disco a ASM, permitiendo
acceso a archivos que no son de bases de datos
• Creado dentro de ASM DG
• Volume es un tipo de archivo ASM
• ADVM publica volumenes en /dev/asm/volname-id al SO
• Gestionados con ASMCMD, SQL, EM, ASMCA
SQL> ALTER DISKGROUP data ADD VOLUME volume1 SIZE 10G;
SQL> ALTER DISKGROUP data ENABLE VOLUME volume1;

http://docs.oracle.com/cd/E11882_01/server.112/e18951/asm_util007.htm

21/44

ASM Dynamic Volumes

ASMCMD > volcreate -G data_dg -s 20G --width 1024K vol1

ASMCMD > volinfo -G data_dg vol1
Diskgroup Name: DATA_DG
Volume Name: VOL1
Volume Device: /dev/asm/vol1-123
State: ENABLED
Size (MB): 20480
Resize Unit (MB): 64
Redundancy: MIRROR
Stripe Columns: 4
Stripe Width (K): 1024
Usage:
Mountpath:
22/44

ACFS

• Originalmente disponbile en linux (11.2). Windows, AIX y Solaris en
11.2.0.2
• Clustered file system usando volúmenes ASM
• No soporta redo logs, control files, spfile, OCR, Voting disk, GI HOME
• 11.2.0.3 soporta RMAN backupsets, archive logs y Data Pump dumps.
• Configurado como recurso en CRS si se usa para un home de BD
• ACFS mount registry: cluster mounts. Registro de dependencias con
CRS.
• Gestionado con acfsutil / EM

http://docs.oracle.com/cd/E11882_01/server.112/e18951/asmfs_util.htm
http://docs.oracle.com/cd/E11882_01/server.112/e18951/asmfs_em.htm
23/44

ACFS - funcionalidades

• Snapshots: foto a un punto del tiempo de un ACFS
– Copy on write: inicialmente no usa espacio
– Creado en el directorio .ACFS/snaps
– Puede ser de solo lectura (read-only) o de escritura (read-write)
• Tagging: agrupar archivos a través de directorios o filesystems
• Seguridad: usando realms.
• Encriptación: Claves de encriptación por archivo y volumen.
• Replicacion: de archivos a otro host (standby). Solo soporta un
standby, hasta ocho nodos montando el filesystem. No se puede
usar con encriptación o seguridad.

24/44

ASM ACL
• Para sistemas *nix
• Permite separación de tareas y protección a cambios no intencionales a archivos
• Necesita grupos separados en el SO: OSASM/OSDBA para ASM, OSDBA para DB
• Se habilita con atributos del DiskGroup:
– access_control.enabled=true
– access_control.umask=NNN (default 066)
• Permisos a nivel de archivo dentro de ASM:
– 0: ninguno, 4: lectura, 6: rw
• Umask quita permisos a partir de full para owner, group y others:
– 0: nada, 2: quita escritura, 6: quita rw
• Ejemplo: umask 026 = 640 permiso
• Gestionado con ASMCMD, SQL, EM
• V$ASM_USER, V$ASM_USERGROUP

http://docs.oracle.com/cd/E11882_01/server.112/e18951/asm_util006.htm
25/44

Agenda

(11.2.0.x)
3 - Cambios en ASM
4 - SCAN Listener
5 – más cambios
26/44

SCAN Listeners

Single Client Access Name (SCAN): nombre que resuelve a una dirección IP
en la interfaz de red pública, permitiendo que clientes se conecten a la base
sin conocer el nodo donde está corriendo
• Nombre por defecto es el mismo que el cluster, máximo 15 caracteres.
• Simplifica la configuración del string de conexión en aplicaciones
• Si se usa GNS, no es necesario conocer su VIP
• Asigna tres direcciones IP para HA
– Un cluster con tres nodos tiene una SCAN IP cada uno
– Cluster de dos nodos tiene dos SCAN IPs en un nodo, y uno en el otro
• En cada SCAN IP se inicia un SCAN Listener, en el puerto 1521
– HA de SCAN VIP mueve también el SCAN listener

27/44

SCAN Listeners
DNS
scan=
SCAN VIP1 Local RAC1
SCAN VIP2 3 SCAN Listener instance
SCAN VIP3 Listener1
Local RAC2
2
Listener instance

listener_rac4 SCAN Local RAC3
Listener2 Listener instance

4 Local RAC4
Connect Listener instance
user:@scan:1521/crm SCAN
Listener3 Local RAC5
1
Listener instance
28/44

Agenda

(11.2.0.x)
3 - Cambios en ASM
4 - SCAN Listener
5 – más cambios
29/44

Server Pools

• Agrupación lógica de servidores en el cluster para gestionar
el uso de recursos
• Parámetros: min/max servers, importance
• Un servidor puede ser parte de múltiples pools
• Hay server pools Top level y subpools
• Por defecto creados los server pools free y generic
• Gestionado con el comando srvctl

30/44

Node eviction mejorado

• Soporte de Intelligent Platform Management Interface (IPMI)
para reinicio remoto de nodos
– Necesita hardware adicional

• Antes de 11.2.0.2, fencing = reinicio de nodo
• Desde 11.2.0.2, se intenta reiniciar el cluster, en este orden
– Mata procesos que realizan I/O (dbwr, logwr)
– Detiene el cluster
– OHASD reinicia el cluster
– Si alguno de los pasos anteriores falla, el node se reinicia
31/44

Más cambios

• Nuevo framework para programar callouts: Agents

• Action script maneja nuevos eventos sobre recursos: clean/abort
(además de start/stop/check)

• Comandos para gestionar recursos:
– crsctl add/start/status/relocate
– Antes de 11.2: crs_profile, crs_register, crs_start, crs_stat,
crs_relocate, crs_unregister

32/44

Más cambios

• No se necesita respaldar Voting Disk
– Se respalda automáticamente en OCR
– Tampoco se puede formatear con dd

• Paralelismo mejorado
– Grado de paraelismo automático (DOP)
– Paralel slaves respetan la definición de servicios
• No se necesita configurar PARALLEL_INSTANCE_GROUP

• No hay crs_stat
– crsctl -stat res -t
33/44

Más cambios
[oracle@rac112n2 ~]$ crsctl stat res -t
--------------------------------------------------------
----
NAME TARGET STATE SERVER
STATE_DETAILS
--------------------------------------------------- ----------------------------------------------
Local Resources Cluster Resources
--------------------------------------------------- ----------------------------------------------
ora.DATA.dg ora.LISTENER_SCAN1.lsnr
ONLINE ONLINE rac112n1 1 ONLINE ONLINE rac112n1
ONLINE ONLINE rac112n2 ora.LISTENER_SCAN2.lsnr
ora.LISTENER.lsnr
1 ONLINE ONLINE rac112n2
ONLINE ONLINE rac112n1
ONLINE ONLINE rac112n2
ora.LISTENER_SCAN3.lsnr
ora.OCRVOTE.dg 1 ONLINE ONLINE rac112n2
ONLINE ONLINE rac112n1 ora.oc4j
ONLINE ONLINE rac112n2 1 OFFLINE OFFLINE
ora.asm ora.racdb.db
ONLINE ONLINE rac112n1 Started 1 ONLINE ONLINE rac112n1 Open
ONLINE ONLINE rac112n2 Started 2 ONLINE ONLINE rac112n2 Open
ora.eons ora.racdb.crm.svc
ora.gsd
ora.rac112n1.vip
OFFLINE OFFLINE rac112n1
1 ONLINE ONLINE rac112n1
OFFLINE OFFLINE rac112n2
ora.net1.network ora.rac112n2.vip
ONLINE ONLINE rac112n2 ora.scan1.vip
ora.ons 1 ONLINE ONLINE rac112n1
ONLINE ONLINE rac112n1 ora.scan2.vip
34/44
ora.registry.acfs ora.scan3.vip

SRVCTL

• Muchos parámetros nuevos/obsoletos
http://docs.oracle.com/cd/E11882_01/rac.112/e16795/srvctladmin.htm

• Management policy (opción -y de database/service):
– AUTOMATIC (default): Cuando se reinicia el nodo/bd, se respeta
su último estado (started/stopped)
– MANUAL: no iniciar automáticamente cuando se reinicie el
nodo/bd. El monitoreo continúa y si se detecta una falla entonces
se inicia
– NORESTART: (desde 11.2.0.3 para BD) no iniciar aunque se
detecten fallas

35/44

Nuevos procesos de BD
– ACFS - ASM Cluster File System CSS Process
– ACMS - Atomic Control File to Memory Service Process
– CSnn - I/O Calibration Process
– GTXn - Global Transaction Process
– LMHB - Global Cache/Enqueue Service Heartbeat Monitor
– MARK - Mark AU for Resynchronization Coordinator Process
– PING - Interconnect Latency Measurement Process
– RCBG - Result Cache Background Process
– RMSn - Oracle RAC Management Process
– RSMN - Remote Slave Monitor Process
– TEMn - ASM disk Test Error Emulation Process
– VBGn - Volume Background Process
http://docs.oracle.com/cd/E11882_01/server.112/e24448/bgprocesses.htm
36/44


• Patchsets son una instalación completa
– no necesita aplicar versión base (11.2.0.1)
– solo permite out-of-place upgrades (nuevo home)
• ACFS y ADVM soportan SUSE Enterprise Linux 10 sp3 en 64
bits.
• ACFS soporta replicación asincrónica, encriptación, tagging, y
seguridad con realms.
• Utilitario Cluster Health Monitor incluído en Clusterware
(nuevo proceso …)
• Nuevo grupo ASMOPER
• Servicios tienen atributo EDITION
37/44


• Oracle ACFS soporta RMAN :
– backups (archivos BACKUPSET)
– archive logs (archivos ARCHIVELOG)
– data Pump dumpsets (archivos DUMPSET)
NOTA : Estos archivos no soportan ACFS snapshots

• Oracle ACFS y ADVM 11.2.0.3 soportan SUSE Enterprise
Linux 11 Service Pack 1 en 64 bits y Oracle Linux (UEK)

38/44

SO certificados

• HP-UX (Itanium / PA-RISC 64-bit), AIX en POWER 64-bit, Linux
x86/x86-64, Solaris en SPARC/X86-64, Windows x64

• Cuidado con el último número de la versión: clusterware 11.2.0.3
no está certificado todavía en Windows.

• Manuales de instalación tienen los detalles sobre requisitos de
SO, paquetes y configuración.
• Información actualizada sobre certificación en MOS:
http://support.oracle.com
• Además en OTN - RAC Technologies Certification matrix
http://www.oracle.com/technetwork/database/clustering/tech-generic-linux-new-086754.html
39/44

¿Preguntas?

nelson.calero@gmail.com

43/44

Referencias
• [ID 810394.1] RAC Assurance Support Team: RAC and Oracle Clusterware Starter
Kit and Best Practices (Generic)
• [ID 1053147.1] 11gR2 Clusterware and Grid Home - What You Need to Know
• Oracle Database 11g Release 2 (11.2.0.1) New Features
http://docs.oracle.com/cd/E11882_01/server.112/e22487/chapter1.htm
http://docs.oracle.com/cd/E11882_01/server.112/e22487/chapter1_2.htm
http://docs.oracle.com/cd/E11882_01/server.112/e22487/chapter1_11203.htm
• What's New in Oracle Grid Infrastructure Installation and Configuration?
http://docs.oracle.com/cd/E11882_01/install.112/e17212/whatsnew.htm
• [ID 1189783.1] Important Changes to Oracle Database Patch Sets Starting With
11.2.0.2
• Cluster Health Monitor (CHM) FAQ [ID 1328466.1]
• RACcheck - RAC Configuration Audit Tool [ID 1268927.1]
• http://www.oracleracsig.org

44/44

UYOUG 2012 - Oracle RAC 11gR2 - New features

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Destacado

Destacado (20)

Similar a UYOUG 2012 - Oracle RAC 11gR2 - New features

Similar a UYOUG 2012 - Oracle RAC 11gR2 - New features (20)

Más de Nelson Calero

Más de Nelson Calero (20)

Último

Último (20)

UYOUG 2012 - Oracle RAC 11gR2 - New features