Presentación realizada por Pablo Alonso Coello, miembro del Centro Cochrane Iberoamericano sobre la utilización del sistema GRADE para la elaboración de recomendaciones en guías de práctica clínica. Presentación realizada en la Jornada Cienfífica de GuíaSalud 2011 "Avances en el desarrollo de Guías de Práctica Clínica" Portal GuíaSalud http://www.guiasalud.es

1. GRADE en el programa nacional de
Guías de Práctica Clínica
Pablo Alonso, Centro Cochrane Iberoamericano, IBB Sant Pau.

2. ¿De qué hablaré?¿De qué hablaré?
• Las experiencias GRADE en el ámbito
internacional
• Las experiencias GRADE en nuestro
Programa
• Necesidad de GRADE en el Programa
Nota: como conflicto de interés, soy miembro del grupo GRADE.

3. Amplia aceptación internacionalAmplia aceptación internacional

5. Serie para usuarios en el BMJ (2008). Versión disponible en castellano.

6. Serie para elaboradores de GPC en el JCE (2011).

7. Contexto internacionalContexto internacional
• NICE (National Institute for Health and
Clinical Excellence)
• SIGN (Scottish Intercollegiate Guidelines
Network): sistema propio
• Colaboración Cochrane

9. NICENICE
• NICE utilizaba el sistema SIGN
• Piloto inicial con tres guías
• Introducción GRADE desde 2007
• Utiliza fundamentalmente para evaluar la calidad de la
evidencia
• Todavía no en preguntas diagnósticas

10. NICENICE
• Necesidad de formación y requirió tiempo para cambiar
a un modelo más transparente y estructurado
• No más tiempo que el sistema narrativo habitual que
usaban
• Evaluación interna:
– Experiencia positiva para metodólogos y miembros
de los grupos
– Transparente, estructurado y sistemático
– Tablas fáciles de interpretar (tras recibir formación) y
más útiles que el texto.
• Identifican áreas de mejora (Imprecisión, network
metanálisis, estudios no aleatorizados/Dcos)

11. indirectness
NICE: cáncer colorectalNICE: cáncer colorectal

12. Pantallazo SIGN

13. Metodología SIGNMetodología SIGN
BMJ 2001; 323:334-337

14. SIGN y GRADESIGN y GRADE
• Similitudes
– Priorizan el uso de revisiones sistemáticas
– Formato PICO
– Diferencian entre calidad y fuerza
• Diferencias
• Graduación importancia de variables de resultado
• Evaluación de la calidad por variable de resultado
• En GRADE diseño no determina completamente la
calidad
• Juicios secuenciales, estructurados y explícitos

15. Systematic review
Guideline development
P
I
C
O
Outcome
Outcome
Outcome
Outcome
Formulate question
Rate importance
Critical
Important
Critical
Not important
Create
evidence profile
with GRADEpro
Summary of findings
& estimate of effect
for each outcome
Grade
overall quality of evidence
across outcomes based on
lowest quality
of critical outcomes
Randomization
increases initial
quality
1. Risk of bias
2. Inconsistency
3. Indirectness
4. Imprecision
5. Publication
bias
GradedownGradeup
1. Large effect
2. Dose
response
3. Confounders
Rate quality of
evidence for
each outcome
Select outcomes
Very low
Low
Moderate
High
Formulate recommendations:
•For or against (direction)
•Strong or conditional/weak
(strength)
By considering:
Quality of evidence
Balance benefits/harms
Values and preferences
Revise if necessary by considering:
Resource use (cost)
• “We recommend using…”
• “We suggest using…”
• “We recommend against using…”
• “We suggest against using…”
Outcomes
across studies

17. Experiencia de SIGN conExperiencia de SIGN con
GRADEGRADE
• Dos guías en marcha
• Actualizaciones (osteoporosis y cáncer mama)
• Después todas con GRADE
• Proceso evaluado internamente
• Dificultad intrínseca de cambiar teniendo sistema
previo
• Al evaluar por variable de resultado hay que
realizar RS propias (más tiempo!)
• Dificultades graduando las variables de resultado

18. Experiencia de SIGN conExperiencia de SIGN con
GRADEGRADE
• Coexistencia de dos sistemas potencial pero inevitable
problema
• A menudo demasiado complejo para los clínicos (ellos
se implican a todos los niveles)
• Algunas dificultades con GRADEpro pero piensan que
es necesario
• Van a utilizar RevMan para sus RS
• GRADE incluye factores similares a SIGN pero de
forma más estructurada y explícita

19. Colaboración CochraneColaboración Cochrane
• Organización dedicada a la elaboración y
difusión de revisiones sistemáticas (RS)
– Las RS son un ingrediente fundamental de las guías
– Adoptó GRADE para evaluar la calidad de la
evidencia
• Incluye tabla de síntesis GRADE (Summary of
Findings)
• Sinergia clara con los elaboradores de guías

20. heparin compared to no heparin for patients with cancer who have no other therapeutic or prophylactic indication for anticoagulation
Patient or population: patients with cancer who have no other therapeutic or prophylactic indication for anticoagulation
Settings: outpatient
Intervention: heparin
Comparison: no heparin
Outcomes Illustrative comparative risks* (95% CI) Relative effect
(95% CI)
No of Participants
(studies)
Quality of the
evidence
(GRADE)
Comments
Assumed risk Corresponding risk
No heparin Heparin
Mortality
Follow-up: 12 months
Medium risk population RR 0.93
(0.85 to 1.02)
2531
(8 studies)
⊕⊕⊕⊝
moderate1,2,3
649 per 1000 604 per 1000
(552 to 662)
Symptomatic VTE
Follow-up: 12 months
Medium risk population RR 0.55
(0.37 to 0.82)
2264
(7 studies)
⊕⊕⊕⊕
high1
29 per 1000 16 per 1000
(11 to 24)
Major bleeding
Follow-up: 12 months
Medium risk population RR 1.3
(0.59 to 2.88)
2843
(9 studies)
⊕⊕⊕⊝
moderate1,4
7 per 1000 9 per 1000
(4 to 20)
Minor bleeding
Follow-up: 12 weeks
Medium risk population RR 1.05
(0.75 to 1.46)
2345
(7 studies)
⊕⊕⊕⊝
moderate1,4
27 per 1000 28 per 1000
(20 to 39)
Health related quality of
life
the Uniscale and the
Symptom Distress Scale
(SDS); Better indicated by
lower values
Follow-up: 12 months
See comment See comment Not estimable5
138
(1 study)
⊕⊕⊝⊝
low6
*The basis for the assumed risk (e.g. the median control group risk across studies) is provided in footnotes. The corresponding risk (and its 95% confidence interval) is
based on the assumed risk in the comparison group and the relative effect of the intervention (and its 95% CI).
CI: Confidence interval; RR: Risk ratio;
GRADE Working Group grades of evidence
High quality: Further research is very unlikely to change our confidence in the estimate of effect.
Moderate quality: Further research is likely to have an important impact on our confidence in the estimate of effect and may change the estimate.
Low quality: Further research is very likely to have an important impact on our confidence in the estimate of effect and is likely to change the estimate.
Very low quality: We are very uncertain about the estimate.
1
Vast majority of studies had allocation concealment , and used blinded outcome and adjudication. We did not downgrade although there was some concern about lack of
blinding in some studies; the overall risk of bias was felt to be very low.
2
There is moderate heterogeneity among studies included in the analysis of death at 12 months (I2=41%). The subgroup analysis for mortality at 12 months was
statistically significant and suggested survival benefit in patients with SCLC but not in patients with advanced cancer. Overall we decided to downgrade by one level when
considering these issues along with imprecision.
3
CI interval includes effects suggesting benefit as well as no benefit.
4
CI includes possibility of both harms or benefits.
5
The scores for the 2 scales were similar for the 2 study groups, both at baseline and at follow-up
6
High risk of bias and only 138 patients enrolled.

21. GRADEproGRADEpro
• Software de acceso libre
• Permite elaborar tablas resumen
• Para las GPC: Evidence Profile
• Para las RS: Tabla Summary of Findings
• Puede importar automáticamente la información
de RS Cochrane (variables y resultados)
• Permite optimizar la actualización

24. heparin compared to no heparin for patients with cancer who have no other therapeutic or prophylactic indication for anticoagulation
Patient or population: patients with cancer who have no other therapeutic or prophylactic indication for anticoagulation
Settings: outpatient
Intervention: heparin
Comparison: no heparin
Outcomes Illustrative comparative risks* (95% CI) Relative effect
(95% CI)
No of Participants
(studies)
Quality of the
evidence
(GRADE)
Comments
Assumed risk Corresponding risk
No heparin Heparin
Mortality
Follow-up: 12 months
Medium risk population RR 0.93
(0.85 to 1.02)
2531
(8 studies)
⊕⊕⊕⊝
moderate1,2,3
649 per 1000 604 per 1000
(552 to 662)
Symptomatic VTE
Follow-up: 12 months
Medium risk population RR 0.55
(0.37 to 0.82)
2264
(7 studies)
⊕⊕⊕⊕
high1
29 per 1000 16 per 1000
(11 to 24)
Major bleeding
Follow-up: 12 months
Medium risk population RR 1.3
(0.59 to 2.88)
2843
(9 studies)
⊕⊕⊕⊝
moderate1,4
7 per 1000 9 per 1000
(4 to 20)
Minor bleeding
Follow-up: 12 weeks
Medium risk population RR 1.05
(0.75 to 1.46)
2345
(7 studies)
⊕⊕⊕⊝
moderate1,4
27 per 1000 28 per 1000
(20 to 39)
Health related quality of
life
the Uniscale and the
Symptom Distress Scale
(SDS); Better indicated by
lower values
Follow-up: 12 months
See comment See comment Not estimable5
138
(1 study)
⊕⊕⊝⊝
low6
*The basis for the assumed risk (e.g. the median control group risk across studies) is provided in footnotes. The corresponding risk (and its 95% confidence interval) is
based on the assumed risk in the comparison group and the relative effect of the intervention (and its 95% CI).
CI: Confidence interval; RR: Risk ratio;
GRADE Working Group grades of evidence
High quality: Further research is very unlikely to change our confidence in the estimate of effect.
Moderate quality: Further research is likely to have an important impact on our confidence in the estimate of effect and may change the estimate.
Low quality: Further research is very likely to have an important impact on our confidence in the estimate of effect and is likely to change the estimate.
Very low quality: We are very uncertain about the estimate.
1
Vast majority of studies had allocation concealment , and used blinded outcome and adjudication. We did not downgrade although there was some concern about lack of
blinding in some studies; the overall risk of bias was felt to be very low.
2
There is moderate heterogeneity among studies included in the analysis of death at 12 months (I2=41%). The subgroup analysis for mortality at 12 months was
statistically significant and suggested survival benefit in patients with SCLC but not in patients with advanced cancer. Overall we decided to downgrade by one level when
considering these issues along with imprecision.
3
CI interval includes effects suggesting benefit as well as no benefit.
4
CI includes possibility of both harms or benefits.
5
The scores for the 2 scales were similar for the 2 study groups, both at baseline and at follow-up
6
High risk of bias and only 138 patients enrolled.

25. Evidence profileEvidence profile
Quality assessment No of patients Effect
Qualit
y
ImportanceNo. of
studi
es
Design Limitations
Inconsistenc
y
Indirectness Imprecision Other Cryotherapy LEEP
Relative
(95% CI)
Absolute effect at 1 year
(95% CI)
Recurrence CIN2–3 (follow-up 12 months randomized trials; 3–85 months observational studies)
1 randomized
trials
no serious
limitations
no serious
inconsistency
no serious
indirectness
seriousa,b
none
12/161
(7.5%)
4/168
(2.4%)
OR 3.3
(1.04 to
10.46)
51 more per 1000
(from 1 to 179 more)
⊕⊕⊕Ο CRITICAL
3 observational
studies
no serious
limitations
no serious
inconsistency
no serious
indirectness
no serious
imprecision
none
2227/14 387
(15.5%)
319/7454
(4.3%) OR 2.66
(1.89 to 3.75)
—
⊕⊕ΟΟ CRITICAL
2.4%c 37 more per 1000
(from 20 to 60 more)
Cervical cancer (follow-up 12 months randomized trials; 3–85 months to 26 years observational studies)
1 randomized
trials
no serious
limitations
no serious
inconsistency
no serious
indirectness
very seriousa
none 0/200
(0%)
0/200
(0%)
— 0 fewer per 1000d
⊕⊕ΟΟ CRITICAL
2 observational
studies
no serious
limitations
no serious
inconsistency
no serious
indirectness
no serious
imprecision
none 2/679
(0.3%)
3/3350
(0.1%)
— 0 fewer per 1000e
⊕⊕ΟΟ CRITICAL
Treatment unacceptable to women (follow-up 2 weeks; acceptability question)
1 randomized
trials
no serious
limitations
no serious
inconsistency
no serious
indirectness
very seriousf
none
15/170
(8.8%)
8/186
(4.3%)
OR 2.15
(0.89 to 5.22)
45 more per 1000
(from 5 fewer to 147
more)
⊕⊕ΟΟ CRITICAL
All severe adverse events (follow-up mean 12–16 months; stenosis and PID)
2 randomized
trials
no serious
limitations
no serious
inconsistency
no serious
indirectness
very seriousf
none 3/300
(1%)
2/298f
(0.67%)
—
0.4 more per 1000
(from 8 fewer to 9 more)
⊕⊕ΟΟ CRITICAL
All severe adverse events (follow-up 33 months; PID, plug syndrome, stenosis, blood transfusion)
5 randomized
trials
no serious
limitations
no serious
inconsistency
serioush
serioush
none 136 480
OR 0.53
(0.1 to 2.88)
—
⊕⊕ΟΟ CRITICAL
4%i
18 fewer per 1000
(from 36 fewer to 67
more)
All severe adverse events (follow-up 12 months; PID, stenosis, major bleeding)
9 observational
studies
serious
limitationsj
no serious
inconsistency
seriousi
seriousf
none 1/2233
(0%)
38/960
(4%)a —
10 fewer per 1000
(from 20 fewer to 0)
⊕ΟΟΟ CRITICAL
Should cryotherapy versus LEEP be used in women with histologically confirmed CIN?

26. GRADEproGRADEpro
Futuros desarrollos:
• Desarrollo módulo diagnóstico
• Desarrollo tabla para la formulación de
recomendaciones
• Compatible con ordenadores Mac
• Herramienta de elaboración de GPC

27. DECIDEDECIDE
Developing and Evaluating Communication Strategies to Support
Informed Decisions and Practice Based on Evidence
• Proyecto europeo sobre como optimizar la
presentación de las recomendaciones (2010-2015)
– Profesionales de la salud, pacientes, gestores (policy
maker)
• Objetivo es mejorar la diseminación de las GPC
– Múltiples formatos (papel, móviles, tabletas, vídeos)
• GRADEpro proporcionará diferentes formatos

28. Screen shot 3

29. Screen shot 2

30. ¿Y en nuestro entorno?¿Y en nuestro entorno?

31. ¿Y en nuestro¿Y en nuestro entornoentorno??
• Inicialmente SIGN
• Debate en el 2006
– GRADE todavía inmaduro
– Ambos, SIGN y GRADE, coexistirían en el manual
metodológico
• Escasa experiencia todavía
– Tres guías con evidence profiles (un solo centro)
– Satisfacción de los metodólogos y profesionales de la
salud
– Complejo (diagnóstico) y necesidad de atención al
detalle

32. Métodos INTERVENCIÓN PARTICIPANTES VARIABLES COMENTARIOS
Autor/año:
Gelband 2000
País:
Objetivo:
Evaluar la eficacia
de regímenes de
corta duración
para el
tratamiento de la
tuberculosis
pulmonar activa
Financiación:
Pública (UK) y
OMS.
Diseño:
Revisión
sistemática de la
literatura con
metanàlisis (ECA)
Búsqueda
(años):
Sin riesgo de
sesgo
Mayo 2004 (sin
cambios desde
1999)
Calidad global:
++
Grupos de
comparación:
Tratamientos de corta
duración (< 6 meses)
versus tratamientos de
más duración
Tipos de
intervención:
Estreptomicina
Isoniazida
Rifampicina
Piracinamida
(en diferentes
combinaciones, dosis i
pautas)
Comparación:
Pauta más corta con
más larga.
Duración de los
estudios:
de 3 a 12 meses
Duración del
seguimiento:
De 1 a 5 años
Estudios incluidos:
ECA controlats amb
tractament actiu.
Criterios de
inclusión:
ECA que comparen 2 o
más regímenes (uno
de ellos de <6 meses
de duración) de
diferente duración. En
pacientes con TB
activa (baciloscopia,
cultivo o Rx
compatible).
Criterios de
exclusión:
Regímenes de idéntica
duración.
N. de pacientes:
2200: tratamientos
cortos
1900: tratamientos
largos
2m vs >2m:529
3m vs >3m: 2588
4m vs >4m: 887
5m vs >5m: 390
Edad:
La mayoría adultos (1
ECA > 15 años)
Sexo:
N.E
Entre un 9% y un 16%
de los pacientes
presentaban TB
resistente.
AC incluidos:
7 ECA
Principales:
Recurrencia: (relapse) presencia de un cultivo de
esputo positivo o baciloscopia con síntomas, tras los
12 meses de un tratamiento completo (u otro periodo
más largo)
Toxicidad: RAM que implique alteración del
tratamiento
Secundarias:
Esterilización: cultivo negativo inmediatamente tras
tratamiento
Muerte
DE LOS AUTORES:
Las recurrencias tras los regímenes de corta
duración fueron superiores de una forma
consistente, en comparación a los de larga
duración.
Las tasas de esterilizaciones fueron muy
elevadas en todos los casos.
No hubo diferencias globales para la
toxicidad.
Los resultados son sobre los pacientes con
un buen cumplimiento (superior al 75%), los
resultados por ITT podrían favorecer los
tratamiento de corta duración.
DE LOS REVISORES:
Son estudios antiguos y no todos comparan
con el régimen corto más aceptado de 6
meses. Se usaron las pautas más comunes
en ese momento. La revisión apunta que
como más prolongada la pauta mejor.
Las pérdidas son elevadas: del 10 al 23%.
RESULTADOS
GRADE
Calidad de la evidencia
Diseño y ejecución (sesgo):
Alto riesgo de sesgo: ocultación de la
secuencia no clara, no ciego,
elevadas pérdidas, no ITT
Consistencia:
Evidencia directa:
SI
Sesgo de publicación:
Improbable.
Referencia: Gelband H. Regimens of less than six months for treating tuberculosis. Cochrane Database of Systematic Reviews 1999, Issue 4. Art.
No.: CD001362. DOI: 10.1002/14651858.CD001362.
Tabla síntesis de características principales de una RS
GPC TuberculosisGPC Tuberculosis

33. Quality assessment
Summary of findings
Importan
ce
No of patients Effect
QualityNo of
studi
es
Design
Limitat
ions
Inconsistency Indirectness Imprecision
Other
consideration
s
regimens of less
than six months
longer
Relative
(95% CI)
Absolute
relapse (3 months vs longer) (follow-up 12 to 70 months; bacteriológica y/o clínica3
)
5 randomis
ed trials
serious1
no serious
inconsistency
no serious
indirectness
no serious
imprecision
none
71/1290 (5.5%)
39/1298
(3%)
RR 3.67
(2.42 to
5.58)
80 more per 1000
(from 43 more to
137 more)
⊕⊕⊕Ο
MODER
ATE
CRITICA
L
toxicity (3 months or longer) (AE que requiere alteración o cese del tratamiento)
5 randomis
ed trials
serious1
serious4
no serious
indirectness
no serious
imprecision
none
178/1418
(12.6%)
200/1500
(13.3%)
RR 1.09
(0.87 to
1.38)
12 more per 1000
(from 17 fewer to 51
more)
⊕⊕ΟΟ
LOW
IMPORT
ANT
relapse (4 months vs longer) (follow-up 5 to 8 years; bacteriológica y/o clínica3
)
2 randomis
ed trials
serious1
no serious
inconsistency
no serious
indirectness
no serious
imprecision2
none
25/530 (4.7%)
4/357
(1.1%)
RR 3.64
(1.71 to
7.75)
29 more per 1000
(from 8 more to 74
more)
⊕⊕⊕Ο
MODER
ATE
CRITICA
L
toxicity (4 months vs longer) (AE que requiere alteración o cese del tratamiento)
1 randomis
ed trials
serious1
no serious
inconsistency
no serious
indirectness
serious5
none
113/879 (12.9%)
31/235
(13.2%)
RR 0.97
(0.63 to
1.49)
4 fewer per 1000
(from 49 fewer to 65
more)
⊕⊕ΟΟ
LOW
IMPORT
ANT
relapse (5 months vs longer) (follow-up mean 24 months; bacteriológica y/o clínica3
)
1 randomis
ed trials
serious1
no serious
inconsistency
no serious
indirectness
no serious
imprecision2
none
11/129 (8.5%)
11/261
(4.2%)
RR 2.24
(0.9 to
5.59)
52 more per 1000
(from 4 fewer to 193
more)
⊕⊕⊕Ο
MODER
ATE
CRITICA
L
Author(s): Gelband H.
Date: 2008-07-02
Question: Should regimens of less than six months vs longer be used for tuberculosis treatment
Bibliography: Regimens of less than six months for treating tuberculosis. The Cochrane Library 1999;(4):CD001362.
GPC TuberculosisGPC Tuberculosis

34. Test findings
Range of sensitivity Best: 0.74 Worst: 0.09
Range of specificity Best: 1 Worst: 0.84
Consequences (number per 1000)
Baseline risk 38.7% Importance
Best: Worst:
True Positives 29 3 Critical
Treu Negatives 961 807 Critical
False Positives 0 154 Critical
False Negatives 10 35 Critical
GPC TuberculosisGPC Tuberculosis

35. GPC TuberculosisGPC Tuberculosis

36. ¿Es GRADE realmente¿Es GRADE realmente
necesario en Programa?necesario en Programa?

37. VirtudesVirtudes
• Transparente y estructurado
• Aborda limitaciones previas de otros sistemas
– Graduar la importancia de las variables de resultado
– Evaluar la calidad por variable de resultado
– Proceso estructurado para clasificar calidad y fuerza
• Sistema vivo que va incorporando los avances en el
campo metodológico
– Diagnóstico
– Network metanálisis

38. VirtudesVirtudes
• Adopción en el ámbito internacional
– Amplia difusión (sintonía con el resto) y experiencias
positivas
– El propio SIGN lo ha adoptado
– Las RS Cochrane también
• Software libre para elaborar materiales de trabajo
(GRADEpro)
– Tablas de síntesis útiles para la elaboración y
actualización de las GPC
– Importación automática de archivos Revman

39. DificultadesDificultades
• Sistema en evolución
• Complejo, mayor tiempo (curva aprendizaje)
• ¿Mayor coste?
• ¿Mayor tiempo de elaboración?

40. En resumenEn resumen
• GRADE es un sistema riguroso, explícito y transparente
con amplia aceptación internacional
• Las experiencias actuales son positivas
• Es más complejo por lo que requiere más tiempo y
recursos
• Es necesaria una implantación progresiva en el marco
del Programa de GPC en el SNS
– Mayor formación y quizás más recursos (quizás solo
tiempos)
– Cambio en la filosofía de las guías
• Abordaje con preguntas clave
• Plazos para su elaboración