El documento presenta los objetivos y metodología para el seguimiento del modelo interno de riesgos de una entidad bancaria. Describe los modelos de otorgamiento y seguimiento, con énfasis en medir el poder predictivo del modelo de otorgamiento, la estabilidad de la población crediticia y el backtesting del modelo de seguimiento.

1. Group
Seguimiento del Modelo
Interno de Riesgos
Andreu Miró
Director Área de Banca
amiro@ais-int.com Santo Domingo
14 de Septiembre de 2011
© AIS

2. Agenda Group
Introducción
Resumen de objetivos
Modelo de otorgamiento
Seguimiento de cartera
Modelo de seguimiento
© AIS

3. Agenda Group
Introducción
Resumen de objetivos
Modelo de otorgamiento
Seguimiento de cartera
Modelo de seguimiento
© AIS

4. Introducción Group
Gestión de la cartera crediticia
Las mejores prácticas Creación de la unidad de control de riesgo de
internacionales de crédito: Responsable del diseño o selección de los
gestión del riesgo sistemas de calificación, así como su puesta en
y práctica, supervisión y funcionamiento. Elaborará
periódicamente informes sobre los resultados de
las transposiciones
los sistemas de calificación.
nacionales del
Acuerdo de Capital de
Basilea en nuevas
Entre sus funciones más concretas está la de
regulaciones
revisar de manera continua y modificar los
modelos utilizados en los procesos de calificación.
instan a las entidades a
mejorar la gestión También la auditoría interna tiene un papel
importante en el control del riesgo, que deberá
de los riesgos examinar periódicamente los sistemas de
calificación de la entidad de crédito y su
funcionamiento.
© AIS

5. Introducción Group
Regulación
La nueva regulación de recursos propios establece unos requisitos
mínimos muy estrictos para poder acceder a la utilización de los
enfoques avanzados para el riesgo de crédito. Como aspectos críticos
cabe destacar:
- Implantación y uso efectivo de los sistemas avanzados: Test de uso.
- Documentación exhaustiva y precisa.
- Bases de datos completas, coherentes y “trazables”.
- Realizar validación interna y seguimiento de los modelos de manera
independiente de quien usa los modelos, los desarrolla o adquiere.
- Evaluación de suficiencia de capital con el cálculo del capital económico y
su stress testing.
© AIS

6. Agenda Group
Introducción
Resumen de objetivos
Modelo de otorgamiento
Seguimiento de cartera
Modelo de seguimiento
© AIS

7. Group
Objetivos de los modelos
Modelo de otorgamiento Modelo de seguimiento
1. Discriminar entre clientes morosos y 1. Cuantificar la PE y sus componentes
clientes no morosos (PD/ LGD /EAD) mediante su
calibración
2. Fijar los puntos de corte por cartera y
subcartera de forma que tengamos el
volumen de negocio y de riesgo
deseado
3. Emitir un dictamen que discrimine
entre clientes potencialmente
morosos y no morosos, a partir de
los elementos de otorgamiento:
algoritmo, capacidad de pago, filtros,
capacidad de pago secundaria
© AIS

8. Group
Objetivos del seguimiento (I)
Modelo de otorgamiento
Objetivos: Sistema de otorgamiento
Poder de predicción 6. Análisis de overrides producidos por el
analista
1. Medir el grado de discriminación del
modelo 7. Análisis de morosidad en overrides
producidos por el analista
2. Detectar la variación de poder de
predicción del modelo en el tiempo Indicadores:
3. Detectar la variación de poder de - Índice de Gini, Mora, Índice de Overrides
predicción de las variables y sus Relativo (IOR), Diferencial Absoluto del
categorías Riesgo (DAR), Odds Ratio (OR), Test K-S,
Cramer’s V i Chi-square.
Estabilidad de población
4. Revisar la distribución de puntuaciones del
scoring/rating
5. Revisar la distribución de las variables del
algoritmo
© AIS

9. Group
Objetivos del seguimiento (II)
Seguimiento de cartera Modelo de seguimiento
Objetivos: Objetivos:
1. Medir los niveles de morosidad de los 1. Backtesting de los ‘outputs’ intermedios
grupos de riesgo a lo largo del tiempo (PD, EAD, LGD) y finales (capital,
RAROC).
Indicadores: Indicadores:
- Vintage analysis - Test chi-square y test binomial
- Roll Rates - Matriz de transición
- Tests de Mann-Whitney U, Kruskal-Wallis
H y de Wilcoxon
© AIS

10. Agenda Group
Introducción
Resumen de objetivos
Modelo de otorgamiento
- Poder predictivo
- Estabilidad de población
- Sistema de otorgamiento
Seguimiento de cartera
Modelo de seguimiento
© AIS

11. Modelo de otorgamiento Group
Poder predictivo
(1) Medir el grado de discriminación del modelo
Un estadístico que permite medir el grado de concentración de perfiles
morosos en los grupos de mayor riesgo gracias al modelo es el coeficiente
de Gini (alternativamente Powerstat, K-S, Entropia).
Junto con el coeficiente de Gini, se utiliza la Curva de Lorenz, que es la
representación gráfica del coeficiente de Gini.
Buenos Malos Total Mora Buenos / Buenos/Malos
Prob. # % Acum # % Acum # % Acum Mora Acum. Malos Acum. Consideraciones
1% 100 11% 11% 0 0% 0% 100 10% 10% 0.0% 0.0% 0.0 0.0
2% 99 11% 23% 1 1% 1% 100 10% 20% 1.0% 0.1% 99.0 Como más grande es el area
199.0 Analizamos carteras y
3% 97 11% 34% 3 2% 3% 100 10% 30% 3.0%
Gini 0.4% 32.3 entre las dos curvas mejor es
74.0
4% 93
Curva modelo
11% 44% 7 6% 9% 100 10% 40% 7.0% 1.1% 13.3 el modelo obtenido
35.4 subcarteras
5% 91 10% 55% 9 7% 16%
100,0% 100 10% 50% 9.0% 2.0% 10.1 24.0
6% 89 10%90,0%
65% 11 9% 25% 100 10% 60% 11.0% 3.1% 8.1 18.4
% Morosos Acumulados
7%
8%
85
83
10%80,0%
75% 15 12% 37%
9% 70,0%
84% 17 14% 51%
100
100
10%
10%
70% 15.0%
80% 17.0%
4.6%
6.3%
5.7
4.9
14.2
11.7
Usamos operaciones
9% 75 9% 60,0%
93% 25 20% 72%
50,0%
100 10% 90% 25.0% 8.8% 3.0 9.2 formalizadas, o bien,
10% 65 7% 100% 35 28% 100% 100 10% 100% 35.0% 12.3% 1.9 7.1
Total 877
40,0%
123
30,0%
1000 24.6% Discriminación
formalizadas y denegadas
aleatoria
t 20,0% t
∑ Buenos j ∑ Morosos j
% B _ Act = TotalBuenos % M _ Act = TotalMorosos
10,0%
j =1 j =1
0,0% El coeficiente de Gini
0,0% 10,0% 20,0% 30,0% 40,0% 50,0% 60,0% 70,0% 80,0% 90,0% 100,0%
nos informa del poder de
(% B _ Ac j − % B _ Ac j −1 ) ⋅ (%M _ Ac j + %M _ Ac j −1 )
% No Morosos Acumulados
N
0.5 − ∑ predicción. Se puede
j =1 2 contrastar con valores
Gini =
0.5 obtenidos en el pasado
© AIS

12. Modelo de otorgamiento Group
Poder predictivo
(2) Detectar la variación de poder de predicción del modelo en el
tiempo
Es recomendable analizar la evolución del poder de predicción del modelo,
con periodicidad trimestral, evaluando si ha sufrido un empeoramiento
significativo.
Consideraciones
Gini inicial – Gini actual
Analizamos carteras y subcarteras
100% Curva inicial
Curva actual Sólo se utilizan las operaciones
90%
formalizadas
80%
Contrastamos que
70%
la variación del El coeficiente de Gini puede verse
coeficiente de Gini afectado por:
% bads
60%
50%
no sea significativa cambios poblacionales, o bíen
40% cambios de poder de predicción
30%
de las variables del modelo
20%
El test U de Mann-Whitney para 2
10%
modelos nos informa de una perdida
0%
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% definitiva del poder de predicción.
% goods
© AIS

13. Modelo de otorgamiento Group
Poder predictivo
(3) Detectar la variación de poder de predicción de cada variable y
sus categorías
El poder de predicción de las categorías se puede medir fácilmente con
OR (Odds Ratio) y DAR (Diferencial Absoluto del Riesgo).
a/b Ratio de morosos
Antecedentes Antecedentes Antecedentes
Moroso = 4 =: OR 4 veces superior
Negativos
Sí No c/d
Sí 10 =:a 57 =:b a c Diferencial de
- = 11% =: DAR
Diferencias a+b c+d riesgo de mora
No 170 =:c 4.000 =:d
significativas 4% =: Mora
Moroso
Negativos
Sí No Valores año A La morosidad en Antecedentes
Sí 20 57 Odds Ratio (OR): 8,7 Negativos ha aumentado
No 160 4.000 DAR: 22% significativamente
Moroso
Mora: 4%
Negativos
Sí No Valores año B En este nuevo escenario con más
Sí 18 49 Odds Ratio (OR): 5,8 morosidad debemos ser en
No 250 3920 DAR: 21% general más estrictos.
Mora: 6%
Posibles acciones: Estimar el modelo de nuevo
© AIS

14. Agenda Group
Introducción
Resumen de objetivos
Modelo de otorgamiento
- Poder predictivo
- Estabilidad de población
- Sistema de otorgamiento
Seguimiento de cartera
Modelo de seguimiento
© AIS

15. Modelo de otorgamiento Group
Estabilidad de población
(4) Distribución de las puntuaciones
Una modificación en la calidad crediticia de la cartera (ya sea a nivel
producto o a nivel perfil) puede producir la necesidad de realizar algún
reajuste en los puntos de corte del modelo de otorgamiento.
Consideraciones
Acumulado
Analizamos carteras y
Modelo subcarteras
Puntuación hasta 1r trim. Diferencia
construcción Usamos operaciones
2007
formalizadas, o bien,
< 0,1 50% 48% 2%
formalizadas y denegadas
< 0,2 70% 64% 4% Modelo de construcción
< 0,4 95% 88% 7% contra la cartera actual
< 0,6 97% 87% K-S := 10%
acumulada y la trimestral
El coeficiente de K-S nos
< 0,8 99% 91% 8%
informa de un cambio
<1 100% 100% 0% significativo en las
puntuaciones
Posibles acciones: Modificación de los puntos de corte
© AIS

16. Modelo de otorgamiento Group
Estabilidad de población
(5) Distribución de las variables del algoritmo
- Este análisis pretende identificar alteraciones poblacionales a nivel de
variable (p.e. “estado civil”,...)
- Nuestro interés se centrará en detectar qué variables han sufrido un
cambio significativo en la distribución de sus categorías (“% solteros”, “%
casados”,...)
- Para medir el tamaño de la variación usaremos 2 contrastes dependiendo
de la naturaleza de la variable:
Variable ordenadas: Test K-S.
Variables categóricas no ordenadas: El grado de asociación dado por el
estadístico Cramer’s V (Chi-cuadrado normalizada) y el test de la Chi-cuadrado
para testar diferencias.
Posibles acciones: Son necesarias otras informaciones para actuar.
Si hay una alta morosidad en variables con mucha dispersión,
podemos definir nuevos filtros para casos extremos.
© AIS

17. Agenda Group
Introducción
Resumen de objetivos
Modelo de otorgamiento
- Poder predictivo
- Estabilidad de población
- Sistema de otorgamiento
Seguimiento de cartera
Modelo de seguimiento
© AIS

18. Modelo de otorgamiento Group
Sistema de otorgamiento
(6) Análisis de overrides producidos por el analista
1 2 3 4
Algoritmo Cap. Pago Filtros F.Sec. Pago
Dictamen
Herramientas
Dictamen
Entidad
Objeto de Análisis
© AIS

19. Modelo de otorgamiento Group
Sistema de otorgamiento
(6) Análisis de overrides producidos por el analista
Para el nivel de vinculación de la entidad a la herramienta tenemos el
Indicador de Overrides Relativo (IOR). Este indicador nos informa de
cuanto más probable es una aprobación NO vinculada (override) que una
aprobación vinculada a la herramienta.
Este indicador nos permite definir alarmas sobre el aumento significativo de
los overrides por cartera, oficina, ...
Riesgo de aprobar
Dictamen entidad
a / (a + b) = 10% =: Aprobados
herramienta
(denegar)
Dictamen
Aprobado Denegado
c / (c + d) = 98% =: Aprobados
Denegar 300 =: a 2.700 =: b (aprobado/duda)
Aprobado/
16.670 =: c 330 =: d Aprobados
duda (denegar)
= 0,102 := IOR
Aprobados
(aprobado/duda)
Es 0,1 veces menos probable una
aprobación no vinculada a la
herramienta que una aprobación
vinculada a la herramienta
© AIS

20. Modelo de otorgamiento Group
Sistema de otorgamiento
(7) Análisis de MOROSIDAD en overrides producidos por el analista
1 2 3 4
Algoritmo Cap. Pago Filtros F.Sec. Pago
Dictamen
Herramientas
Dictamen
Entidad/analista
Entradas en mora
Objeto de Análisis
© AIS

21. Modelo de otorgamiento Group
Sistema de otorgamiento
(7) Análisis de MOROSIDAD en overrides producidos por el analista
Moroso
herramienta/
Valores predeterminados
Dictamen
entidad
Sí No
Override 10 57 Odds Ratio (OR): 4 Int. Conf.=(2 , 8) Diferencias
No override 170 4.000 significativas
Moroso
herramienta/
Valores año A
Dictamen
entidad
Sí No Debemos restringir los overrides
ya que ha aumentado
Override 20 57 Odds Ratio (OR): 8,7
significativamente su morosidad
No override 160 4.000
Moroso
herramienta/
Valores año B
Dictamen
entidad
Sí No En este nuevo escenario con más
morosidad el DAR nos ayuda a
Override 18 49 Odds Ratio (OR): 5,8
prevenir mejor a los morosos
No override 250 3920
Posibles acciones: 1 – Revisar los OR de los distintos elementos de otorgamiento
(reglas e.,...). / 2 - Modificar los criterios de los analistas (scoring vinculante,...)
© AIS

22. Modelo de otorgamiento Group
Resumen del modelo de otorgamiento
Esquema de posibles acciones:
Poder de predicción Estabilidad poblacional Sistema de otorgamiento
Revisar el poder
Distribución de las Revisar la morosidad
de predicción
puntuaciones (K-S) en overrides (OR, DAR)
del modelo (Gini)
No.
Revisar cada ¿Ha disminuido? ¿Ha aumentado?
¿Hay cambios?
trimestre
? No ? ?
Sí Sí Sí No
Revisar otros elementos de
Revisar el poder otorgamiento (reglas el., capacidad
de predicción de Revisión de los
de pago,...). Modificar los criterios
las variables (OR, DAR) puntos de corte
de los analistas (s. vinculante)
Estudiar dónde
¿Hay cambios? hay cambios
? No hay cambios Distribución variables
(Cramer’s V, K-S)
Revisar el volumen
de overrides (IOR)
“Muchos”
cambios “Pocos” ¿Hay cambios? ¿Han aumentado?
cambios
Sí
Estimar un
nuevo modelo
Definición de
nuevas Variables con
? Información útil
?
reglas elicitadas alta dispersión else Información útil
para diagnóstico No para diagnóstico
© AIS

23. Agenda Group
Introducción
Resumen de objetivos
Modelo de otorgamiento
Seguimiento de cartera
Modelo de seguimiento
© AIS

24. Seguimiento de cartera Group
(1) Vintage Analysis
- Este tipo de análisis permite detectar tempranamente la morosidad, y/o
identificar carteras o subcarteras con diferentes tasas medias de
morosidad.
- Tiene especial interés en el seguimiento de campañas y/o acciones
específicas, y en la fijación de estrategias de pricing para determinadas
subcarteras incorporando niveles de riesgo más afinados.
© AIS

25. Seguimiento de cartera Group
(2) Roll Rates
- Este tipo de estudio permite analizar la evolución del stock (Cartera Viva)
de un intervalo temporal a otro (por ejemplo mes a mes, trimestre a
trimestre,...) y la dinámica de entrada en mora.
- Tiene especial interés en el seguimiento y desarrollo del proceso de
Recuperación de la entidad.
© AIS

26. Agenda Group
Introducción
Resumen de objetivos
Modelo de otorgamiento
Seguimiento de cartera
Modelo de seguimiento
- Probabilidad de mora (PD)
- Severidad (LGD)
- Exposición (EAD)
© AIS

27. Modelo de seguimiento Group
Probabilidad de mora (PD)
Seguimiento de los componentes que derivan
en la Probabilidad de Incumplimiento
Probability of Exposure at Losses Given
Default (PD) Default (EAD) Default (LGD)
Expected Losses
(EL)
© AIS

28. Modelo de seguimiento Group
Probabilidad de mora (PD)
(1) Backtesting
El objetivo de este análisis es comparar la PD estimada, una vez
calificada la cartera en los niveles de Rating/Scoring del modelo,
con la PD observada.
Analizamos diferencias de PD a nivel global (en el conjunto de
todos los grupos) y por grupo de riesgo:
(a).- Los valores reales muestran diferencias globales (en el
Test chi-square
conjunto de grupos) con las estimaciones de la cartera: En
este caso debemos reestimar el modelo con una muestra
más amplia.
Test binomial (b).- Existencia de diferencias por grupo de riesgo uno a
uno: Revisar el modelo de calificación subyacente, ya que el
modelo no está cuantificando correctamente la PD para
algunos niveles de rating/scoring
Este análisis es muy sensible al momento del ciclo económico
actual y debemos tomar con precauciones su resultado.
© AIS

29. Modelo de seguimiento Group
Probabilidad de mora (PD)
(2) Análisis de migraciones de PD – Matrices de transición
- Las matrices de transición son herramientas estadísticas que miden las
migraciones de calidad crediticia de una cartera de crédito. Permiten
cuantificar la importancia de los flujos entre categorías de crédito en un
periodo de tiempo, típicamente un año.
- Se debe observar la estabilidad de dichas matrices de transición y analizar
las causas de las migraciones significativas entre niveles de calificación.
© AIS

30. Agenda Group
Introducción
Resumen de objetivos
Modelo de otorgamiento
Seguimiento de cartera
Modelo de seguimiento
- Probabilidad de mora (PD)
- Severidad (LGD)
- Exposición (EAD)
© AIS

31. Modelo de seguimiento Group
Severidad (LGD)
Seguimiento de los componentes que
derivan en la Pérdida si incumplimiento
Probability of Exposure at Losses Given
Default (PD) Default (EAD) Default (LGD)
Expected Losses
(EL)
© AIS

32. Modelo de seguimiento Group
Severidad (LGD)
(1) Validación del tiempo de recuperación
Test K-S
- Contrastamos la distribución de recuperaciones por trimestre del último
año con la de la muestra de referencia:
(2) Backtesting
- El objetivo de este análisis es comparar la LGD estimada para cada
uno de los grupos del modelo con la LGD observada.
- Analizamos diferencias de LGD a nivel global (en el conjunto de todos
Test Kendall’s W los grupos) y por grupo:
(ANOVA noPara)
(a).- Los valores reales muestran diferencias globales (en el conjunto de
grupos) con las estimaciones de la cartera: En este caso debemos reestimar
Test de Wilcoxon la LGD con una muestra más amplia.
(t-test noPara)
(b).- Existencia de diferencias por grupo uno a uno: Revisar la
segmentación de la LGD, ya que no se está cuantificando correctamente
para algunos grupos.
© AIS

33. Agenda Group
Introducción
Resumen de objetivos
Modelo de otorgamiento
Seguimiento de cartera
Modelo de seguimiento
- Probabilidad de mora (PD)
- Severidad (LGD)
- Exposición (EAD)
© AIS

34. Modelo de seguimiento Group
Exposición (EAD)
Seguimiento de los componentes que derivan en la
Exposición en el incumplimiento
Probability of Exposure at Losses Given
Default (PD) Default (EAD) Default (LGD)
Expected Losses
(EL)
© AIS

35. Modelo de seguimiento Group
Exposición (EAD)
(1) Backtesting
- El único componente que implica una estimación es el CCF (Credit
Conversion Factor): Coeficiente para estimar el posible incremento de la
exposición en el momento de caída en mora
- El objetivo de este análisis es comparar la CCF estimada para cada uno de
los grupos del modelo con la CCF observada.
- Analizamos los aumentos o disminuciones reales con el CCF estimado, a
nivel global (en el conjunto de todos los grupos) y por grupo:
Test Kendall’s W (a).- Los valores reales muestran diferencias globales (en el conjunto de grupos)
(ANOVA noPara) con las estimaciones de la cartera: En este caso debemos reestimar el CCF con
una muestra más amplia.
Test de Wilcoxon (b).- Existencia de diferencias por grupo uno a uno: Revisar la segmentación de
(t-test noPara) la CCF ya que no está cuantificando correctamente la CCF para algunos grupos
© AIS

36. Gracias
Decisiones Inteligentes
AIS-México
Andreu Miró Insurgentes sur 568, piso 5
Del Valle
amiro@ais-int.com 03100, México D.F.
Tel: +52 55 5543-8031 / 5536-2858
mexico@ais-int.com
www.ais-int.com
@GrupoAIS
http://www.linkedin.com/company/ais
Riesgo de Crédito (grupo)
© AIS