1. Bogotá, Colombia Ver 1.0 06-11
GARS
INFORME DE INCIDENTE
Llamada de Servicio No Informe No 1
Zona de Evento Bogotá Fecha y Hora de Evento 06/11/201207:55
Evento Reportado por Mesa de ayuda de Fecha y Hora de Solución 06/11/201211:00
INTEK
Tipo de Evento
LentitudAplicativo SIR
Descripción de Evento
Se recibe reporte de la mesa de ayuda informando que se presenta lentitud en el servicio de SIR y se está
presentando reporte a nivel nacional del inconveniente.
Servicios Afectados
Cliente Servicio
Superintendencia de Notariado y Registro Hosting Dedicado SIR
Avances
DESCRIPCIÓN DE DOCUMENTACIÓN DE CASO
Día Hora Descripción del Avance
Se recibe reporte de la mesa de ayuda funcional informando que se están presentando una
06/11/12 07:55 alta cantidad de llamadas de servicio manifestando lentitud en el aplicativo SIR
06/11/12 08:10 Se inician labores de verificación sobre infraestructura en Datacenter Principal
06/11/12 08:20 Se solicita la verificación de los componentes de conectividad en el Core.
Se descartan inconvenientes en cuanto a la infraestructura, Switch de Core, Firewall,
Balanceadores, Servidores de Aplicación, Servidores de Base de Datos y Almacenamiento se
06/11/12 08:30 encuentran activos y funcionales.
06/11/12 08:40 Se descartan inconvenientes por problemas de conectividad o saturación en la red.
En las validaciones de la Base de Datos se detecta una alta cantidad de sesiones bloqueadas
en las tres instancias, no se detectan errores en el log de la Base de Datos, se inician las
06/11/12 08:40 labores de verificación para validar las sesiones que se encuentran bloqueadas.
2. Bogotá, Colombia Ver 1.0 06-11
GARS
Se eliminan las sesiones que se encuentran bloqueadas en las tres instancias, se inicia
monitoreo de la Base de Datos y se solicita al Grupo de Aplicación validar los tipos de consulta
encontrados en las sesiones que se encuentran bloqueadas, ya que son los mismos “SELECT
06/11/12 09:00 FOR UPDATE” que continuamente generan bloqueos masivos en todo el sistema.
De acuerdo a la información enviada por el grupo de Aplicaciones las consultas hacen parte de
06/11/12 09:20 la operación normal del SIR, se descartan problemas físicos del servidor y corrupción de la
Base de Datos, se detectan nuevos bloqueos sobre las instancias.
Se eliminan constantemente los bloqueos presentados, se inician pruebas de conectividad
entre los servidores de Aplicaciones y Base de Datos para descartar posibles intermitencias
06/11/12 09:40 que generen la lentitud.
Se descartan inconvenientes de red en el Datacenter, se inicia verificación de los eventos
06/11/12 10:00 presentados durante el fin de semana.
No se detectan alertas de errores o mensaje por algún tipo de bug que se haya presentado en
la Base de Datos, al revisar la programación de mantenimiento de la Base de Datos, el día
domingo por ser el primero del mes se debían ejecutar labores programadas, se inicia
06/11/12 10:20 verificación de la ejecución de estas actividades.
Se detecta que desde el Nodo 2 de Base de Datos se encontraba programada la ejecución de
las actividades pertinentes para la reconstrucción de los índices, labor que fue cancelada
abruptamente cuando se encontraba finalizando, al no ser ejecutadoel último paso de esta
labor,a la hora de utilizar los índices se impactaría el procesamiento. Para solucionar el
inconveniente fue necesario la ejecución inmediata de esta labor, la cual no tarda mas de tres
minutos en su ejecución, pero requiere que no se encuentre ninguna consulta activa en
ninguna de las tres instancias, por lo que se solicita el aval por parte de SNR para bajar los
listener de la Base de Datos, finalizar las sesiones activas y ejecutar el procedimiento faltante
el cual consiste en cambiar el Degree de los índices del valor utilizado para poder ejecutar
este mantenimiento de forma consistente y efectiva.Dada la forma en que se interrumpió este
proceso impidió que se enviaran las notificaciones pertinentes indicando el estado del proceso
06/11/12 10:40 en general.
Se recibe autorización por parte de la PMO luego del aval por parte de SNR, se inicia con la
06/11/12 10:55 ejecución de las actividades.
Se confirma a la PMO y mesa funcional la ejecución de las actividades, se solicitan
06/11/12 11:10 verificaciones funcionales.
06/11/12 11:30 Se realizan pruebas funcionales desde la Mesa de Ayuda detectando normalidad.
Definitivo X Parcial
3. Bogotá, Colombia Ver 1.0 06-11
GARS
Estado Actual:Solucionado
Diagnostico y Solución: El inconveniente presentado obedeció a que no se culminaron
correctamente las labores del Plan de Mantenimiento de la Base de Datos. Al completar la
actividadfaltante se retorna a su normalidad la transaccionalidad de la aplicación.
Acciones de Mejora:
- Se están realizando las revisiones para detectar, el porqué, la labor a realizar desde el nodo 2
de Base de Datos se interrumpió abruptamente. Se instaura revisión periódica, adicional, a
primera hora los días lunes sobre la ejecución de las actividades del Plan de Mantenimiento
Programado.
Evento Atendido por: Luis Eduardo Muñoz, Grupo DBA, Grupo Servidores y Mesa de Ayuda
funcional
CAPTURA DE IMAGENES
Las capturas que a continuacion se muestran son evidencias de los procesos en ejecution realizando
“SELECT FOR UPDATE”, los cuales estaban generando bloqueos masivos y encolamiento en las tres
instancias del RAC de SNR.
5. Bogotá, Colombia Ver 1.0 06-11
GARS
En la Cultura ETB, ¡Entendemos las necesidades de nuestros clientes y les ofrecemos soluciones
integrales, buscando relaciones de largo plazo!