2. Revisiones Sistemáticas
• Revisión del estado del arte de la literatura
– Marco lógico del estudio sistemático de los datos
científicos
– También conocida como síntesis de la investigación,
revisión cuantitativa de la literatura
• Meta-análisis
– Subconjunto de la revisión sistemática:
– Con el propósito de integrar los resultados de los
estudios individuales
– Cada vez mas populares: Produciendo opiniones
encontradas desde las mas escépticas hasta las mas
optimistas
3. Meta-análisis registros en
MEDLINE, 1977-2014
Número de meta-análisis por cada 10.000 artículos registrados en MEDLINE, 1977-2015. Búsqueda basada en PubMed
limitada a publicaciones tipo “Meta-Analysis”. Autor Henry Oliveros
4. Pioneros de las Revisiones
Sistemáticas y Meta Análisis
• Archie Cochrane
– Inicio con meta análisis en Ensayos Clínicos
Controlados en 1979.
– Propuso resumir de manera sistemática los Ensayos
Clínicos Controlados
– Cochrane Collaboration
• AHRQ Agency for Healthcare Research and
Quality
• PORTs, Evidence-based practice centers
• Now central to evidence-based medicine
– US Preventive Services Task Force
– Community Preventive Services Task Force
5. Criticas a las Revisiones
Sistemáticas y Meta Análisis
• Shapiro (1994)
– “Meta-analysis, shmeta-analysis”
• Bailar (1995)
– Frecuentemente ocurren problemas serios
• Incluyendo sesgos en los meta análisis
• Cualquier intento por reducir los resultados de
los estudios a una sola medida con su respectivo
intervalo de confianza conducirá a conclusiones
erradas
– En este orden de ideas son preferibles las
revisiones narrativas
6. Definición
• Meta- analisis: Es un tipo de revisión
sistemática en el cual se ha utilizado técnicas
estadísticas para combinar y sumarizar los
resultados de estudios previos
• La revisión de la literatura será una revisión
meta-analítica solo si incluye una estimación
cuantitativa de los resultados y de su
precisión.
7. Proponentes de las Revisiones
Sistemáticas y de los Meta Análisis
• Oxman and Guyatt (193)
– La revisiones narrativas se basan en opiniones de
expertos y los expertos escriben revisiones de inferior
calidad con la tendencia a expresar su propia opinión
– Chalmers (2005)
– Resulta poco científico y antitético emprender una
nueva investigación sin antes primero haber analizado
que investigaciones existen y por supuesto es imposible
evaluar la contribución de nuevos estudios al
conocimiento sin realizar una revisión sistemática
(systematic up-to-date review)
• Lancet
Los autores deben incluir previo a un ECC un resumen de
hallazgos de investigaciones previas
8. Aplicaciones de la Revisiones
Sistemáticas
• 1-Identificar la heterogeneidad de los efectos entre
múltiples estudios y poder determinar si se pueden
combinar los resultados para obtener una medida
de resumen.
• 2-Incrementar el poder estadístico y de esa manera
aumentar la precisión del efecto a detectar.
• 3-Desarrollar, redefinir y probar hipótesis.
9. Aplicaciones de la Revisiones
Sistemáticas
• 4-Reducir la subjetividad al comparar diferentes
estudios utilizando un proceso explicito y
sistemático.
• 5-Identificar brechas en el conocimiento, sugerir
direccionamientos para futuras investigaciones.
• 6- Calcular tamaños de muestra de futuros
estudios.
• 7-Identificar áreas de acuerdo.
• 8-Clarificar la naturaleza y causas del desacuerdo.
10. Lidocaina Profiláctica en el Post del
Infarto Agudo de Miocardio
Estudio N
# Muertos Proporcion N
# Muertos Proporcion Diferencia DS
Chopra 39 2 0.051 43 1 0.023 0.028 0.042
Mogensen 44 4 0.091 44 4 0.091 0.000 0.061
Pitt 107 6 0.056 110 4 0.036 0.020 0.029
Darby 103 7 0.068 100 5 0.050 0.018 0.033
Bennett 110 7 0.064 106 3 0.028 0.035 0.028
O'Brian 154 11 0.071 146 4 0.027 0.044 0.0248
Lidocaina Control
11. Grafico de selva lidocaina en IM
d
-.15 -.1 -.05 0 .05 .1 .15
Com
bined
O'Brian
Bennett
Darby
Pitt
M
ogensen
Chopra
12. Meta-análisis de los estudios de
Lidocaina
d
-.15 -.1 -.05 0 .05 .1 .15
Com
bined
O'Brian
Bennett
Darby
Pitt
M
ogensen
Chopra
15. Categorías de la relación causal de la evidencia
1.0
Evidencia
establecida
Evidencia a favor
de rechazar
RR
Fuerte
evidencia
Evidencia es inadecuada
Evidencia a favor
de aceptar
No evidencia
16. Pasos en las revisiones sistemáticas
• Identificar claramente la pregunta de investigación
• Identificar los estudios que se van a incluir
– Búsqueda de la literatura
– Aplicar los criterios de inclusión y exclusión
– Extracción de los datos
– Evaluar la calidad de los estudios
• Análisis de los datos
– Cualitativo
– Resumen general
– Naturaleza y fuentes de heterogeneidad
• Sacar las conclusiones
17. Guía para Revisiones sistemáticas (1/3)
• Especifique en el protocolo los objetivos, hipótesis
alcance y métodos de la revisión
• Realice una completa selección de los estudios mas
relevantes
– Documente las fuentes y métodos de búsqueda
– Especifique los criterios de selección a priori
• Valore la calidad metodologica de los estudios
• Identifique desenlaces y posibles variables de
confusión
18. Guía para Revisiones sistemáticas (2/3)
• Estandarización de las medidas de los resultados,
estudios y sujetos.
• Usar los métodos apropiados que garanticen
– Resumen narrativo donde los datos sean muy
dispersos, se encuentre heterogeneidad o haya
baja calidad de los estudios
– Explorar la robustez de los resultados, de la
escogencia y de la presunciones
– Impacto de la calidad de los estudios criterios
de inclusión y exclusión Posibles sesgos de
publicación
19. Guía para Revisiones sistemáticas (3/3)
• Presentación clara de métodos suposiciones y
resultados de tal forma que se pueda reproducir
• Evaluar las limitaciones metodologicas tanto de
los estudios primarios como de la revisión
• Dar las recomendaciones para la practica ,
explicitas y basadas en la evidencia.
• Proponer los aspectos tanto clínicos como
metodológicos que hacia futuro se deberán tener
en cuenta en los estudios que se realicen.
20. Modelos para combinar los datos
• El desenlace principal es la medida de resumen
• Esto no es un simple promedio de la magnitud de
los resultados de todos los estudios
• El meta análisis dará mas peso a aquellos estudios
que tienen una mayor precisión
• El peso será = 1/(error estándar)2
21. Medida de la magnitud de los efectos
• Descriptivos
Media
Prevalencia
• Analíticos
Aditivos
Diferencias de medias
Diferencias de medias estandarizadas
Risk, rate or hazard difference
Correlation coefficient
Multiplicative
Odds ratio, Risk, Rate or Hazard Ratio
22. Escoja la estadística par el Meta análisis
• Medición en desenlaces binarios
– RR, OR
– RD, NNT (= 1/RD)
– Reducción de riesgo (= 1-RR)
– Tiempo del evento
• Medidas continuas
• Consideraciones
– Consistencia
– Propiedades matemáticas
– Fácil interpretación
23. Conceptos estadísticos
• Existen dos aproximaciones para obtener la
medida de resumen
• Suma de pesos
Modelo de efectos fijos
Modelo de efectos aleatorios
• Modelo de meta regresión
24. Calidad de los estudios originales
• “Garbage in, garbage out”
• Escalas de calidad
– Jadad Quality Score para ECC
– Ninguno es completamente aceptado
• Se debe dar mayor peso a los estudios de
acuerdo a la calidad?
– Mezcla de diferentes cosas
• Alternativas
– Analizar subgrupos categorizando por calidad
– Omita los estudios de baja calidad y observe si
cambia el desenlace.
25. Heterogeneidad
• “No mezcle peras con manzanas”
• La Heterogeneidad es común
– Conscistencia refleja robustez
– Debe ser interpretada con cautela (EDA)
• Puede provenir de
– Diseño en el estudio
– Medición de la exposición
– Cambios en la población de estudio
• Métodos estadísticos
– Meta-regresión
– Análisis de sub grupos
26. Meta-análisis de estudios
observacionales
• La falta de aleatorización hará que la
calidad de los estudio sea baja
• La heterogeneidad es común debida a:
– Exposición (naturaleza, niveles y medidas)
– Población estudiada
– Medición de los desenlaces
– Control de variables de confusión
• Se justifica este tipo de meta análisis?
27. Conceptos estadísticos
• Usted puede combinar los resultados de los
diferentes estudios solo cuando estos se expresan
en las mismas unidades
• En el Meta Análisis se utiliza tanto la magnitud
como de la precisión del efecto de cada uno de los
estudios para producir una medida del peso
28. Síntesis de los resultados de múltiples
estudios
• Resumen narrativo
– Descripción cualitativa de los resultados.
– Comentarios acerca de la calidad de la evidencia
• Tablas
– Estudio, fecha publicación, población de estudio
– Diseño del estudio, tamaño de muestra, Calidad de las
mediciones
– Definición de la intervención/exposición
– Definición de la medición de los desenlaces
– Duración de la exposición /tratamiento; medida de la
dosis
– Resultados
29. Autor, año
Referencia
¿Cuales
subgrupos de
población hay?
Podemos sub-
clasificar por
el tipo de
diseño
¿Qué
categorías de
exposición
hay?
¿Qué tipo de
medida en el
desenlace utilizo?
¿Odds ratio, RR?
¿Cuantos
sujetos fueron
incluidos?
¿Subgrup
os en los
controles?
¿Subgrup
os para
cada
desenlace?
30. Medida del efecto
• Refleja la magnitud del efecto del tratamiento
• Impacto de una intervención.
• Impacto del tratamiento medico sobre la
enfermedad coronaria
• Puede representar cualquier relación entre dos
variables.
• Diferencias de puntajes entre dos poblaciones.
• Diferencias en frecuencias de cáncer entre
expuestos y no expuestos.
• Diferencias en eventos coronarios entre grupos de
personas con diferentes tipos de personalidad.
31. Medida del efecto
• Basados en promedios
– Diferencia entre medias
– Diferencia entre medias estandarizadas
– Frecuencias
• Basados en datos binarios
– RR Riesgo relativo
– OR Odds ratio
– RD Diferencia de riesgos
• Basados en datos correlaciónales
– r Correlacion
32. Medida del efecto
2- Precisión
• Variabilidad de nuestro estimativo puntual
• Se refleja por el intervalo de confianza
• Entre mas estrecho el intervalo de confianza
• habrá mayor precisión
3- Peso del estudio
• El cuadrado será proporcional al peso que se le asigna a la
medida
• El TNT y el ideal son los estudios de mayor peso (31% y
37%).
• Los estudios con mayor precisión tendrán mayor peso
33. 4- Valor de P
• El valor de p estará debajo de 0.05 si y solo si el
95% del intervalo de confianza no incluye el
valor de no diferencias.
• En el ejemplo tres de los estudios el intervalo de
confianza atraviesan el valor nulo y el valor de p
es mayor a 0.05
Medida del efecto
34. Efectos basados en medias
• Cuando los estudios se reportan en la misma escala
(diferencia en niveles de presión arterial en mm de
Hg)
• La varianza común
2
1
D
Comun
D S
n
n
n
n
V 2
2
1
2
1
35. Efectos basados en desenlaces binarios
• Reducción del riesgo absoluto (RD)
• Riesgo relativo RR (Risk ratio)
• Odds ratio (OR)
• Numero necesario a tratar (NNT)
• Reducción del riesgo relativo
RRR= 100(1-RR)%
36. Calculo del OR, RR, RD, NNT
• OR = Odds del evento en el grupo
de intervención / odds del evento en
el grupo control
OR = a/b / c/d = ad / bc
• RR = Riesgo del evento en el grupo
de intervención / Riesgo del evento
en el grupo control
RR = a/(a+b) / c/(c+d)
• Diferencia de riesgo = Riesgo del
evento en el grupo de intervención –
Riesgo del evento en el grupo control
a/(a+b) – c/(c+d)
• NNT 1/ Diferencia de riesgo
1/ [a/(a+b) – c/(c+d)]
Evento No Evento
Intervención a b
No
Intervención
c d
37. Criterios para la selección
• Consistencia de los efectos através de los estudios.
– Diferencias de riesgos o promedios son menos
consistentes.
– RR y OR son igualmente consistentes
• Propiedades matemáticas
– NNT, RRR, Relative odds reductions no cumplen con
las propiedades matemáticas para realizar meta análisis
• Fácil interpretación
– Odds ratio usualmente sobrestima el beneficio o el
riesgo
38. Criterios para la selección
Estudio Relativo
a 1
Control Tratamiento OR RR RD
1 24/100 16/100 0.60 0.67 0.08
2 Igual OR 32/100 22/100 0.60 0.69 0.10
3 Igual RR 42/100 28/100 0.54 0.67 0.14
4 Igual RD 42/100 34/100 0.71 0.81 0.08
45. Efecto fijo Vs. aleatorio
• Efecto fijo
– Todos los estudios estiman el mismo parámetro
– Los estudios son repicables, y solo difieren en el
tamaño de muestra considerándose solo el error
aleatorio
– El peso de cada estudio es inversamente proporcional a
la varianza
• Efecto aleatorio
– Los estudios estiman parámetros levemente diferentes
de acuerdo con diferencias en el diseño, población ect.
– Usa un modelo que asume una distribución normal de
los valores del parámetro verdadero
– Dará menor peso a los estudios mas grandes
46. Efecto fijo Vs. aleatorio
• Desde el punto de vista filosófico usted cree que :
– Hay un solo parámetro verdadero y los estudios son
como replicas. Efecto jijo
– No hay un solo verdadero parámetro, puesto que este
depende de los detalles de cada estudio y se encontrara
una distribución de posibles resultados Efecto
aleatorio
• Problemas prácticos
– EA es mas conservador
– EA por defecto del EF si estimamos SA
2 < 0
– Si EA y EF difieren considerablemente usted esta en
problemas
47. Supuesto del modelo Método Medida de efecto
Efectos fijos Mantel-Haenszel
Peto
Basado en la varianza
general
Razones(OR,RR y
razones de tasas)
Razones (OR)
Razones (OR,RR y
razones de tasas) y
diferencias
Efectos aleatorios DerSimonian-Laird Razones (OR,RR y
razones de tasas) y
diferencias
Combinación de los desenlaces
48. Combinación de los desenlaces
Método Limitaciones
Mantel-Haenzel Requiere la información en tablas
2x2
Ignora confusión
Peto Requiere la información en tablas
2x2
Ignora confusión
Solo estudios experimentales
Basados en la varianza general Computacionalmente más
pesados
DerSimonian and Laird Tiende a dar mayor peso a los
estudios pequeños
50. Efecto verdadero y error de muestreo
Estudio 1
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1.1 1.2
Estudio 2
Estudio 3
E1
E2
E3
Y1 = 0.60 -0.20 = 0.40
Y2 = 0.60 +0.10 = 0.70
Y3 = 0.60 -0.10 = 0.50
i
i E
Y
51. Distribución del error muestral
Estudio 1
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1.1 1.2
Estudio 2
Estudio 3
E1
E2
E3
i
i
V
W
1
52. Modelo de efecto fijo
k
i
i
k
i
i
i
W
Y
W
M
1
1
M
M V
SE
M
M xSE
M
LL 96
.
1
M peso de la medida de resumen
M
M xSE
M
UL 96
.
1
56. Modelo de efectos aleatorio
C
df
Q
T
2
k
i
i
k
i
i
k
i
i
i
W
Y
W
Y
W
Q
1
2
1
1
1
2
i
i
i
W
W
W
C
2
En el modelo de efectos
aleatorios también cada
estudio incluirá el
inverso de la varianza,
adicionalmente la
varianza ahora incluye
además la varianza entre
los estudios T2
57. Cual modelo debemos usar?
Fijo
• Si existe una razón para creer que los estudios
funcionalmente son iguales.
• Si nuestro objetivo es computar los efectos de
estudios de la misma población en los cuales los
pacientes provienen de la misma población, con
iguales investigadores, dosis y en consecuencia se
espera idénticos efectos.
58. Cual modelo debemos usar?
Aleatorio.
• Cuando los investigadores acumulan datos que
provienen de estudios que han sido realizados de
manera independiente.
• Cuando los sujetos e intervenciones en los
estudios se espera tengan diferente impacto sobre
los resultados y por ende los estudios no
comparten una medida común del efecto.
59. Heterogeneidad 1
• Como cuantificamos la heterogeneidad de la
medida de los efectos de los diferentes estudios?.
• Como se determinan la variación en la medida del
efecto y la variación aleatoria.
• Como se obtiene la evidencia de heterogeneidad
en el efecto verdadero.
• Cual es la varianza del efecto verdadero
• Cuales son las implicaciones de la heterogeneidad
60. Heterogeneidad 2
• Nosotros podemos computar la desviación Standard de
una escala y determinar la proporción de sujetos que cae
dentro de un rango.
• Nosotros podemos computar la varianza de una escala y
determinar que proporción de la varianza esta explicada
por la co variables.
• En el meta análisis queremos determinar la variación de los
estudios del verdadero valor utilizando la varianza, y esta
varianza estará compuesta por heterogeneidad verdadera y
error aleatorio
61. Heterogeneidad 3
• Si todos los estudios muestran la verdadera medida del
efecto entonces la heterogeneidad será cero.
• Para determinar la heterogeneidad procedemos a:
– Determinar la variación observada entre cada uno de
los estudios.
– Determinar que tanto el efecto observado varia del
verdadero efecto asumiendo que este es igual en todos
los estudios.
– El exceso de variación se asume que refleja las
diferencias en la medida del efecto.
67. Beneficios de la heterogeneidad
Berlin: “heterogeneity is our friend”
• Heterogeneidad es común
– Siempre habrá una heterogeneidad inexplicada
• La consistencia indica robustes
• Pasos
– Use un análisis exploratorio
– Interprete con cautela
68. La Heterogeneidad es común
• Fuentes de Heterogeneidad
– Población de estudio
– Naturaleza y niveles en la exposición o
tratamiento
– Métodos de estudio y medición de la
exposición
– Valoración de los desenlaces en salud
– Diferencias en la calidad de los estudios
• Meta-analyses published in 1991-2 (Berlin)
– 14/55 tested for heterogeneity
– <14 discussed
69. • Tamoxifen
– Duración del tratamiento
• BCG vaccine
– Diseño del estudio, Severidad de la enfermedad, calidad,
latitud
• Alcohol consumption and stroke
– Cantidad de alcohol consumido
– Tipo de ACV, Sexo, Diseño del estudio, Calidad el estudio
• Anti-platelet therapy
– Naturaleza y grado del riesgo, desenlaces, aspirina
vs./Total
• Vitamin E and all cause-mortality
– Dosis Vitamina E, Sexo, edad, combinación con otras
vitaminas, seguimiento en el tiempo
La Heterogeneidad es común
70. Fuentes de Heterogeneidad
• Cuando los resultados de los estudios con similares
intervenciones usualmente difieren en algún grado :
• Las diferencias pueden ser debidas a :
- Inadecuado Tamaño de muestra
- Diferentes diseños en los estudios
- Diferentes protocolos de tratamiento
- Diferencias en el seguimiento
- Diferencias en el análisis estadístico
- Diferencias en los reportes
- Diferencias en la respuesta de los pacientes
71. Evaluación de la heterogeneidad
• Defina el significado de la heterogeneidad
• Especifique los test estadísticos a priori
• Use el modelo de efecto aleatorio
• Explore /examine potenciales fuentes
• Reconozca
– Si las fuentes son idénticas a priori
– Si pueden ser explicadas
72. Exploración de las fuentes
• Considere
– Aspectos en el diseño del estudio
– Características de los pacientes
– Explore diferencias en la exposición y en el
tratamiento
– Medición de la exposición y del tratamiento
– Desenlaces
– Medición de los desenlaces
73. Emprenda los análisis
• Aproximaciones al análisis de la heterogeneidad
– Modelo de efectos aleatorios
– Análisis de sub grupos
– Análisis de sensibilidad
– (efectos aleatorios) modelo de regresión
• Distinga entre
– Estimación de parámetros /hipótesis probadas
– Análisis exploratorio
• La identificación será mas fácil si las fuentes de
heterogeneidad se identifican a priori.
74. Ocupándose de la heterogeneidad
• Ignore el modelo de efecto fijo – remueva outliers
• Modelo efecto aleatorio - test Q, estadístico I2
• Subgrupos /análisis de sensibilidad
– Población, intervención/exposición, calidad, etc.
– Entre o dentro de los grupos de estudio
– Análisis grafico
– test F, aproximación con ANOVA
– Variables dummy meta-regresión
• Regresión approach - continuous variables
– Dentro de los estudios – Medida del efecto
– Aproximación ANOVA
– X = + Z (Modelo de efecto aleatorio meta regresión)
– X = + Xc (control rate regresión)
75. Medición de las inconsistencias en los Meta
análisis - I2 (Higgins et al., 2003)
• Inconsistencias de estudios' resultados en los meta análisis
disminuyen la confianza en las recomendaciones
• Usualmente la heterogeneidad se valora con la prueba Q
– Tiene bajo poder y puede resultar en inconsistencias
• I2 mide el porcentaje de heterogeneidad a través de los
estudios en un meta-análisis
– I2 = 100% x (Q – (k-1))/Q
– Rango entre 0-100%
– Pueden compararse diferentes metanálisis con
diferentes numero de estudios y diferentes desenlaces
– Mas que las pruebas se deberá tener en cuenta la
consistencia de la evidencia
76. Modelo de efectos fijos y
Heterogeneidad
• En el modelo de efectos fijos se debe probar la
heterogeneidad usando el test de Q
• Si p<0.10, usted excluye los estudios "outlier" y
volverá a realizar el test hasta que p>0.10.
• Cuando p>0.10, usted declara que el efecto es
Homogéneo.
• Pero la aproximación es poco real y con
limitaciones debidas a todos los problemas de
signicifancia
77. Puntos claves: I2
• Inconsistencias en los estudios ' Reduce la
confiabilidad en las recomendaciones
• Las inconsistencias usualmente son valoradas con
pruebas de heterogeneidad que tienen un bajo
poder en detectar estas
• I2, tiene un rango de 0-100%, mide los grados de
inconsistencias a través de los estudios de los meta
análisis
• I2 puede comparar meta análisis con diferente
numero de estudios y diferentes desenlaces
• I2 se prefiere a la prueba de heterogeneidad
78. Sesgos de selección en Meta análisis
Sesgo de lenguaje Ingles
• Sesgo de publicación
• Sesgo en reportar un dato
• Sesgo de citación
• Sesgo de múltiples publicaciones
• Tamaño de muestra
79. Sesgo de publicación
• Los resultados del meta análisis pueden ser
sesgados si en la inclusión de los estudios hay una
muestra sesgada de los estudios en general
• Es un problema clásico debido a la tendencia de
los editores por aceptar preferentemente artículos
que reportan asociación sobre los que no reportan
asociación.
• Los estudios pequeños tienden a tener mas sesgos
de publicación, algunos autores tienden a evitar
incluir estudios con pequeños tamaños de muestra.