Se abordan las características generales de la elaboración de modelos predictivos y, posteriormente su aplicación al CCR

1. Modelos Predictivos
Utilidad en Cáncer Colorrectal
Juan Manuel García Torrecillas
en representación de:
Grupo de Investigación AES PI16/01931 y CTS 1049
Grupo de Investigación PI16/01931
Financiado Fondos FEDER/ISCIII
Proyecto Periodo 2017-2019

2. Conceptos Generales
Desde la antigüedad: Concepto e importancia de la Prognosis desde Hipócrates.
Hasta el momento la Importancia Mod Etiológicos >>> Mod Predictivos

3. Análisis Predictivo: Técnicas + modelización estadística +-Machine
Learning +- Data Mining. Aplicaciones Predictivas: Dentro y fuera de la
Medicina (Bursátil, Economía, Pedagogía, Proyecciones…)
Modelo Predictivo (Moons,2009): “Combinación formal de múltiples
predictores con riesgos diferentes que se asocian a un resultado final
o “endpoint” y que pueden ser calculados de forma individual para los
pacientes”
La paradoja del uso: Hay modelos sin soporte estadístico ni validación
extendidos y otros rigurosos, modelados y validados pero de escaso o
nulo impacto real

4. ● Modelos de Resultado continuo (ej.: días de estancia, costes)
○ Regresión Lineal. Poco frecuentes en investigación clínica
○ Y = Beta0 +Beta1* VI(1) + Beta2* VI(2)+ ….. BetaN* VI(N) + Error
○ Ej.: Rietveld E, 2004 y su MP de estimación de costes de hospitalización por
VRS
● Modelos de Resultado dicotómico (Mortalidad, Reingreso…)
○ Regresión Logística. Más frecuentes en investigación clínica
○ Log (∏/(1- ∏)) = Beta0 +Beta1* VI(1) + Beta2* VI(2)+ ….. BetaN* VI(N) +
Error
○ ∏ = Prob (Y=1)

5. ● Otros modelos predictivos (Cantalejo, 2015)
○ Otros modelos de supervivencia/temporales
○ Modelos aditivos generalizados
○ Arboles de Clasificación / Supervivencia
○ Redes Neuronales
● Los modelos (todos) suelen asumir la relación lineal entre las variables,
pero no siempre es así Alternativas (Cantalejo, 2015):
○ Transformaciones habituales: Logarítmicas, Potencias, etc
○ Polinomios fraccionales
○ Splines

6. ● Discriminación
○ ¿Distingue el modelo un outcome dicotómico de su opuesto?
Muertos/Vivos, Secuela/No secuela, etc.
○ Índice de Concordancia Quiere decir que cogidos dos individuos al
azar , uno sano y otro enfermo, la probabilidad asignada al enfermo
sea superior al sano (Cantalejo, 2005)
○ Medición mediante el C-Statistic ó AUC: 1 es el valor perfecto. Se
tienen en cuenta valores por encima de 0,70. Por encima de 0,90 el
valor es sospechoso de sobreajuste

7. Discriminación del Modelo
- Curvas ROC
- Comparación entre Cohortes

8. ● Calibración
○ Concordancia o grado de acuerdo entre lo observado y lo predicho
○ Evaluación: Test de Hosmer-Lemeshow o Gráfico de deciles
● Medidas de Comportamiento Global
○ Distancia entre lo predicho y observado
○ Están relacionadas con al bondad del ajuste
○ Engloban Discriminación y Calibración
■ R2, R2 corregido, Índice de Brier otros

9. ¿Cuándo un Modelo Predictivo tiene “éxito”?
- Responde a un escenario de incertidumbre clínica
- Metodología de validación adecuada
- Los líderes clínicos deben aceptarlos y aplicarlos
¿Cuáles son las utilidades generales de los Modelos Predictivos?
- Diseño y análisis de ensayos clínicos y terapéuticos
- Investigar la variabilidad de los servicios de salud (Jarman et al)
- Ajuste por Case-Mix
- Ayuda a clínicos y pacientes en la toma de decisiones

10. Pronóstico y pasos en su investigación
P= estimación de la (P) ó Riesgo de ocurrencia de un determinado evento
P(Médico)= Riesgo de presentar un determinado estado de salud o de enfermar (+ frec)
Los Scores Pronósticos NO SIEMPRE están ligados al riesgo de enfermar (Apgar, Fine,
etc…)
Esquema de Moons: Los Modelos Pronósticos han de pasar por 3 fases
A. Estudios de Desarrollo
B. Estudios de Validación
C. Estudios de Impacto

11. Estudios de Desarrollo
● Estudios de los que se derivan los modelos multivariantes para la
construcción del modelo
● Conformación: 1 VD y n V. Predictoras/Independientes.
Factores-Pesos (Coeficientes)
● Se evalúa la capacidad discriminativa (C Statistic, AUC) y Calibración
(Hosmer-Lemeshow)
● Contiene la validación interna (muestra training vs muestra test)
● Riesgo de esta etapa: Sobreajuste

12. Estudios de Validación
Validación aparente
Validación interna (estudio de reproductibilidad)
Split Sampling o partición de la muestra
Cross Validation
Bootstraping (remuestreo)

13. Modelos Saturados vs Ajustados
Modelo Training vs Test

14. Comparaciones entre Modelos
-Test de Hipótesis
-Comparaciones ROC

15. Validación Externa (Cantalejo,2005)
○ =Generabilidad
○ =Comportamiento en una población “parecida” a la de la que
proviene la muestra
○ Temporal: Se prueba el modelo en enfermos más recientes
○ Geográfica: Se prueba en otro hospital, área, etc..
○ Espectro: Con pacientes más graves
Estudios de Impacto: Cuantifican si el uso del Modelo Pronóstico obtenido
realmente consigue mejorar el output buscado

16. INNOVATION IN PREDICTIVE MODELS: SMR METHODOLOGY

17. MORE INNOVATION METHODOLOGY. MULTILEVEL ANALISYS
Fuente: Ocaña Arriola, 2016

18. Scores en Cáncer Colorrectal
¿De qué scores disponemos hasta la actualidad?
Scores del Grupo 01936 INS Carlos III
La predicción de Estancias Prolongadas no Outliers
Score complejo para Mortalidad en CCR
Score sencillo para Mortalidad en CCR

19. Scores disponibles actualmente en CCR

20. POSSUM AND P&Cr-
POSSUM
Ferjani A et al. 2007

25. ScoresDelGrupode
Investigación

26. Score Predictivo de Estancias
Prolongadas No Outliers

27. Metodología de Elaboración
• Fuente de información: CMBD del MSCPS, periodo
2008-2014
• Diseño: Descriptivo transversal, no concurrente
• Códigos CIE 153-154
• Variables: Edad, Sexo, Estancia, Tipo de ingreso,
NDA-NPA, comorbilidades clínicas y quirúrgicas,
Reingreso, EP (>20 días)
• EP: Superior a percentil 90 (20 días)
• Outlier: T2=Q3+1,5(Q3-Q1)=29 días

28. Descripción y Análisis
Estudio Comparativo/InferencialEstudio Descriptivo
Variables cuantitativas
Medias (DS), IC al 95% método normal
Variables categóricas
Tablas de frecuencias y %, IC 95%
Variables cuantitativas
t de Student (con Levene)
Variables categóricas
Prueba de χ2
Examen de IC
Estudios bivariantes globales
OR (IC 95%) Crudas/Ajustadas
Estudios de Regresión Logística
OR ajustada (IC 95%)
Discriminación: ROC. C-Statistic
Calibración: Hosmer-Lemeshow
Modelo Predictivo
Metodología

29. • 239.158 hospitalizaciones periodo 2008-14
• EP: 26.697

30. (*) p<0.001
*
*
(*) p<0.001
(*) p<0.001
Resultados

33. Test de Hosmer Lemeshow
p<0,005

34. Conclusiones
• Los pacientes con EP son una casuística
especial dentro del grupo de hospitalizaciones
por CCR
• Mayoritariamente son varones, que ingresan
de modo urgente, requieren más esfuerzo
procedimental (NPA), presentan más
complicaciones específicas (perforación,
obstrucción y especialmente adherencias) y
mayor mortalidad.

35. Mortalidad. Modelo Extendido

36. Variables independientes
(predictoras)
Mortalidad Hospitalaria
Variable Dependiente
Variables recogidas en el estudio
Edad (años)
Año (2008-2014)
Sexo (hombre-mujer)
CCAA (Método Foster/SMR)
Cirugía (Sí-No)
Localización del tumor
Régimen Financiero
Fechas: Nacimiento-Ingreso-
Alta
Tipo de Ingreso (IU-IP)/ Tipo Alta
Diagnóstico CIE (14 campos)
Procedimientos CIE (20 campos)
Mortalidad
Comorbilidades clínicas y qcas
Complicaciones clínicas y qcas

37. Resultados

38. CCAA agrupadas por SMR Cirugía Estancia
Número de procedimientos Tipo Ingreso Dislipemia
Ajustado por:

39. Mortalidad. Modelo Breve
Score Español

40. Avoiding Overfitting with Decission Trees

41. ● Score de 5 ítems basados en CMBD
● Obtención previa a la cirugía
● AUC > 0,83
● Deciles de Riesgo: Buena calibración visual
● Modelo en Fase de Registro de Propiedad Intelectual

42. APPs for Ictus
- Quick
stimation of
risk
- Agile
- Easy

43. Modelos Predictivos
Utilidad en Cáncer Colorrectal
MUCHAS GRACIAS
Grupo de Investigación PI16/01931
Financiado Fondos FEDER/ISCIII
Proyecto Periodo 2017-2019