AGREE II – Evaluación de GPC




       •Rafa Rotaeche (Cs Alza)
Objetivo sesión

• Proporcionar una introducción práctica
  para evaluar GPC con el Instrumento
  AGREE
“El conjunto de recomendaciones desarrolladas de
forma sistemática para ayudar a los profesionales
     y pacientes en la toma de decisiones para
     una atención sanitaria apropiada en unas
         circunstancias clínicas concretas”



                          Institute of Medicine-EEUU 1990
Selección de un tema



           Formación del grupo redactor



       Revisión sistemática de la literatura



Síntesis de la evidencia y grados de recomendación



                 Revisión externa



            Difusión e Implementación



                 Actualización
Necesidad de evaluar GPC:
resultados de la evaluación de Guiasalud
                Nov 2011
Necesidad de evaluar GPC:
resultados de la evaluación de GPC en salud laboral
                    en Finlandia




                         Industrial Health 2009, 47, 689–693
AGREE Instrument. Evolution.
2003                  2009
Usuarios
                 Evaluar la calidad de
                una GPC antes de usarla

¿para qué?
                      Elaboradores
              Elaborar una GPC de acuerdo
Instrumento   a una metodología correcta
AGREE-II

                   Autoridades sanitarias
                    Seleccionar GPC
Cómo se organiza el Agree II
Seis dominios


  Alcance y objetivo (3)
                                               23 ítems
  Participación de los implicados
                                               (7 point scale)
(3)
  Rigor en la elaboración (8)
  Claridad de la presentación (3)
  Aplicabilidad (4)
  Independencia editorial (2)
                            2 final overall assessment items
¿Cómo está organizado ?
Manual de usuario
INSTRUCTIONES              AGREE II INSTRUMENT 11 pag finales )
¿Cómo está organizado ?
   i) Escala de puntuación
     Escala de 1 a 7



                       Cantos más criterios y
                       consideraciones se cumplan la
                       puntuación será mayor



No hay información o ésta es                    La calidad de lainformación es
muy vaga                                        excepcional y cumple todos
                                                los criterios del manual
Puntuación de cada domino (Nª items (nº evaluadores)
Ayudas para la evaluación
1) Descripción de cada Item


3) Dónde buscar


5) Cómo puntuar


7) Consideraciones adicionales
¿Cómo está organizado ?

           Seis dominios


     Alcance y objetivo (3)
     Participación de los implicados
   (3)
     Rigor en la elaboración (8)
     Claridad de la presentaci´n (3)
     Aplicabilidad (4)
     Independencia editorial (2)
SCOPE AND PURPOSE
        1. Los objetivos de la GPC están claramente especificados




Guideline Working Group for the Treatment of Patients with Anxiety Disorders in Primary Care. Madrid: National Plan
for the NHS of the MSC. Health technology Assessment Unit. Laín Entralgo Agency. Community of Madrid; 2008.
Clinical Practice Guidelines in the NHS. UETS N° 2006/10.
ALCANCE Y OBJETIVO
 2. LA (los) aspectos de salud cubiertos por la guía está(n)
    específicamente descritos




Scottish Intercollegiate Guidelines Network 111- Management of hip fracture in older
people. A national clinical guideline. June 2009
ALCANCE Y OBJETIVO
3. La población (pacientes,público,etc)
a la cual se pretende aplicar la guía está
    específicamente descrita
PARTICIPACION DE LOS IMPLICADOS
4. El grupo que desarrolla la guía incluye
    individuos de todos los grupos
    profesionales relevantes relevant
    professional groups.
PARTICIPACION DE LOS IMPLICADOS
  5. Se han tenido en cuenta los puntos de vista y preferencias de la
  Población diana (pacientes,público,etc)




1. SIGN 109 Management of genital Chlamydia
trachomatis infection. A national clinical
guideline. March 2009
2.     Chronic     fatigue      syndrome/myalgic
encephalomyelitis (or encephalopathy): diagnosis
and     management       of     chronic   fatigue
syndrome/myalgic        encephalomyelitis      (or
encephalopathy) in adults and children. London:
Royal College of General Practitioners.
PARTICIPACION DE LOS IMPLICADOS

 6. Los usuarios diana de la guía están claramente definidos
RIGOR EN LA ELABORACIÓN
 7. Se han usado métodos
   sistemáticos para la búsqueda de
   la evidencia
RIGOR EN LA ELABORACIÓN
 8. Los criterios para seleccionar la evidencia se describen con claridad
RIGOR EN LA ELABORACIÓN
  9. Las fortalezas y limitaciones del comjunto de la evidencia están
     claramente descritas
RIGOR EN LA ELABORACIÓN
  10. Los métodos utilizados para formular las recomendaciones
    están claramente descritos




 National Collaborating Centre for Cancer: Diagnosis and management of
 metastatic malignant disease of unknown primary origin. July 2010.
 Comissioned by the National Institute for Health and Clinical Excellence.
RIGOR EN LA ELABORACIÓN
  10. Los métodos utilizados para formular las recomendaciones
    están claramente descritos




 National Collaborating Centre for Cancer: Diagnosis and management of
 metastatic malignant disease of unknown primary origin. July 2010.
 Comissioned by the National Institute for Health and Clinical Excellence.
RIGOR EN LA ELABORACIÓN
  11. Al formular las recomendaciones han sido considerados los
    beneficios en salud, los efectos secundarios y los riesgos
    formulating the recommendations




National Clinical Guideline Centre – Acute and Chronic Conditions. Venous
thromboembolism: reducing the risk of venous thromboembolism (deep vein
thrombosis and pulmonary embolism) in patients admitted to hospital.
RIGOR EN LA ELABORACIÓN
 12. Hay una relación explícita entre cada una de las recomendaciones
 y las evidencias en que se basan.
RIGOR EN LA ELABORACIÓN
13. La GPC ha sido revisada por expertos externos antes de su
   publicación
RIGOR EN LA ELABORACIÓN
13. La GPC ha sido revisada por expertos externos antes de su
   publicación
RIGOR EN LA ELABORACIÓN
13. La GPC ha sido revisada por expertos externos antes de su
   publicación




Guideline development group of the Clinical Practice Guideline on Psychosocial Interventions in Severe Mental Illness.
Clinical Practice Guideline on Psychosocial Interventions in Severe Mental Illness. Quality Plan for the National Health
System , Ministry of Health and Social Policy. Aragon Health Sciences Institute – I+CS; 2009. Clinical Practice Guidelines
in the Spanish NHS: I+CS No 2007/05.
RIGOR EN LA ELABORACIÓN
 14. Se incluye un procedimiento para actualizar la GPC
DOMINIO 4 CLARIDAD DE PRESENTACIÓN

15. Las recomendaciones son específicas y no son ambiguas
DOMINIO 4 CLARIDAD DE PRESENTACIÓN
16. Las distintas opciones para el manejo de la enfermedad o condición de salud se
presentan claramente
DOMINIO 4 CLARIDAD DE PRESENTACIÓN

17. Las recomendaciones claves son fácilmente identificables
DOMINIO 5 APLICABILIDAD
18. La GPC describe factores facilitadores y barreras para su
  aplicación
DOMINIO 5 APLICABILIDAD
18. La GPC describe factores facilitadores y barreras para su
  aplicación
DOMINIO 5 APLICABILIDAD
19. La GPC proporciona consejo y/o herramientas sobre como las
  recomendaciones pueden ser llevadas a la práctica
DOMINIO 5 APLICABILIDAD
20. Se han considerado las posibles implicaciones de la aplicación las
  recomendaciones sobre recursos
DOMINIO 5 APLICABILIDAD
20. Se han considerado las posibles implicaciones de la aplicación las
  recomendaciones sobre recursos
DOMINIO 5 APLICABILIDAD
21. La guía ofrece criterios para monotorización y/o auditoría
DOMINIO 6 INDEPENDENCIA EDITORIAL
20. Los puntos de vista de la entidad finaciadora no han inluido en el
  contenido de la guía
DOMINIO 6 INDEPENDENCIA EDITORIAL
21. Se han registrado y abordado os conflictos de los miembros del
  grupo elaborador de la guía
Juicio subjetivo basado
en las puntuaciones
previas
http://www.agreetrust.org/resource-centre/training/
http://agree.machealth.ca/players/open/index.html

Osalan taller agree_ii

  • 1.
    AGREE II –Evaluación de GPC •Rafa Rotaeche (Cs Alza)
  • 2.
    Objetivo sesión • Proporcionaruna introducción práctica para evaluar GPC con el Instrumento AGREE
  • 3.
    “El conjunto derecomendaciones desarrolladas de forma sistemática para ayudar a los profesionales y pacientes en la toma de decisiones para una atención sanitaria apropiada en unas circunstancias clínicas concretas” Institute of Medicine-EEUU 1990
  • 4.
    Selección de untema Formación del grupo redactor Revisión sistemática de la literatura Síntesis de la evidencia y grados de recomendación Revisión externa Difusión e Implementación Actualización
  • 5.
    Necesidad de evaluarGPC: resultados de la evaluación de Guiasalud Nov 2011
  • 6.
    Necesidad de evaluarGPC: resultados de la evaluación de GPC en salud laboral en Finlandia Industrial Health 2009, 47, 689–693
  • 7.
  • 8.
    Usuarios Evaluar la calidad de una GPC antes de usarla ¿para qué? Elaboradores Elaborar una GPC de acuerdo Instrumento a una metodología correcta AGREE-II Autoridades sanitarias Seleccionar GPC
  • 9.
    Cómo se organizael Agree II Seis dominios  Alcance y objetivo (3) 23 ítems  Participación de los implicados (7 point scale) (3)  Rigor en la elaboración (8)  Claridad de la presentación (3)  Aplicabilidad (4)  Independencia editorial (2) 2 final overall assessment items
  • 10.
    ¿Cómo está organizado? Manual de usuario INSTRUCTIONES AGREE II INSTRUMENT 11 pag finales )
  • 11.
    ¿Cómo está organizado? i) Escala de puntuación Escala de 1 a 7 Cantos más criterios y consideraciones se cumplan la puntuación será mayor No hay información o ésta es La calidad de lainformación es muy vaga excepcional y cumple todos los criterios del manual
  • 12.
    Puntuación de cadadomino (Nª items (nº evaluadores)
  • 13.
    Ayudas para laevaluación 1) Descripción de cada Item 3) Dónde buscar 5) Cómo puntuar 7) Consideraciones adicionales
  • 14.
    ¿Cómo está organizado? Seis dominios  Alcance y objetivo (3)  Participación de los implicados (3)  Rigor en la elaboración (8)  Claridad de la presentaci´n (3)  Aplicabilidad (4)  Independencia editorial (2)
  • 16.
    SCOPE AND PURPOSE 1. Los objetivos de la GPC están claramente especificados Guideline Working Group for the Treatment of Patients with Anxiety Disorders in Primary Care. Madrid: National Plan for the NHS of the MSC. Health technology Assessment Unit. Laín Entralgo Agency. Community of Madrid; 2008. Clinical Practice Guidelines in the NHS. UETS N° 2006/10.
  • 17.
    ALCANCE Y OBJETIVO 2. LA (los) aspectos de salud cubiertos por la guía está(n) específicamente descritos Scottish Intercollegiate Guidelines Network 111- Management of hip fracture in older people. A national clinical guideline. June 2009
  • 18.
    ALCANCE Y OBJETIVO 3.La población (pacientes,público,etc) a la cual se pretende aplicar la guía está específicamente descrita
  • 20.
    PARTICIPACION DE LOSIMPLICADOS 4. El grupo que desarrolla la guía incluye individuos de todos los grupos profesionales relevantes relevant professional groups.
  • 21.
    PARTICIPACION DE LOSIMPLICADOS 5. Se han tenido en cuenta los puntos de vista y preferencias de la Población diana (pacientes,público,etc) 1. SIGN 109 Management of genital Chlamydia trachomatis infection. A national clinical guideline. March 2009 2. Chronic fatigue syndrome/myalgic encephalomyelitis (or encephalopathy): diagnosis and management of chronic fatigue syndrome/myalgic encephalomyelitis (or encephalopathy) in adults and children. London: Royal College of General Practitioners.
  • 22.
    PARTICIPACION DE LOSIMPLICADOS 6. Los usuarios diana de la guía están claramente definidos
  • 24.
    RIGOR EN LAELABORACIÓN 7. Se han usado métodos sistemáticos para la búsqueda de la evidencia
  • 25.
    RIGOR EN LAELABORACIÓN 8. Los criterios para seleccionar la evidencia se describen con claridad
  • 26.
    RIGOR EN LAELABORACIÓN 9. Las fortalezas y limitaciones del comjunto de la evidencia están claramente descritas
  • 28.
    RIGOR EN LAELABORACIÓN 10. Los métodos utilizados para formular las recomendaciones están claramente descritos National Collaborating Centre for Cancer: Diagnosis and management of metastatic malignant disease of unknown primary origin. July 2010. Comissioned by the National Institute for Health and Clinical Excellence.
  • 29.
    RIGOR EN LAELABORACIÓN 10. Los métodos utilizados para formular las recomendaciones están claramente descritos National Collaborating Centre for Cancer: Diagnosis and management of metastatic malignant disease of unknown primary origin. July 2010. Comissioned by the National Institute for Health and Clinical Excellence.
  • 30.
    RIGOR EN LAELABORACIÓN 11. Al formular las recomendaciones han sido considerados los beneficios en salud, los efectos secundarios y los riesgos formulating the recommendations National Clinical Guideline Centre – Acute and Chronic Conditions. Venous thromboembolism: reducing the risk of venous thromboembolism (deep vein thrombosis and pulmonary embolism) in patients admitted to hospital.
  • 31.
    RIGOR EN LAELABORACIÓN 12. Hay una relación explícita entre cada una de las recomendaciones y las evidencias en que se basan.
  • 32.
    RIGOR EN LAELABORACIÓN 13. La GPC ha sido revisada por expertos externos antes de su publicación
  • 33.
    RIGOR EN LAELABORACIÓN 13. La GPC ha sido revisada por expertos externos antes de su publicación
  • 34.
    RIGOR EN LAELABORACIÓN 13. La GPC ha sido revisada por expertos externos antes de su publicación Guideline development group of the Clinical Practice Guideline on Psychosocial Interventions in Severe Mental Illness. Clinical Practice Guideline on Psychosocial Interventions in Severe Mental Illness. Quality Plan for the National Health System , Ministry of Health and Social Policy. Aragon Health Sciences Institute – I+CS; 2009. Clinical Practice Guidelines in the Spanish NHS: I+CS No 2007/05.
  • 35.
    RIGOR EN LAELABORACIÓN 14. Se incluye un procedimiento para actualizar la GPC
  • 37.
    DOMINIO 4 CLARIDADDE PRESENTACIÓN 15. Las recomendaciones son específicas y no son ambiguas
  • 38.
    DOMINIO 4 CLARIDADDE PRESENTACIÓN 16. Las distintas opciones para el manejo de la enfermedad o condición de salud se presentan claramente
  • 39.
    DOMINIO 4 CLARIDADDE PRESENTACIÓN 17. Las recomendaciones claves son fácilmente identificables
  • 41.
    DOMINIO 5 APLICABILIDAD 18.La GPC describe factores facilitadores y barreras para su aplicación
  • 42.
    DOMINIO 5 APLICABILIDAD 18.La GPC describe factores facilitadores y barreras para su aplicación
  • 43.
    DOMINIO 5 APLICABILIDAD 19.La GPC proporciona consejo y/o herramientas sobre como las recomendaciones pueden ser llevadas a la práctica
  • 44.
    DOMINIO 5 APLICABILIDAD 20.Se han considerado las posibles implicaciones de la aplicación las recomendaciones sobre recursos
  • 45.
    DOMINIO 5 APLICABILIDAD 20.Se han considerado las posibles implicaciones de la aplicación las recomendaciones sobre recursos
  • 46.
    DOMINIO 5 APLICABILIDAD 21.La guía ofrece criterios para monotorización y/o auditoría
  • 48.
    DOMINIO 6 INDEPENDENCIAEDITORIAL 20. Los puntos de vista de la entidad finaciadora no han inluido en el contenido de la guía
  • 49.
    DOMINIO 6 INDEPENDENCIAEDITORIAL 21. Se han registrado y abordado os conflictos de los miembros del grupo elaborador de la guía
  • 50.
    Juicio subjetivo basado enlas puntuaciones previas
  • 51.
  • 52.

Notas del editor

  • #9 1. by health care providers who wish to undertake their own assessment of a guideline before adopting its recommendations into their practice; 2. by guideline developers to follow a structured and rigorous development methodology,  to conduct an internal assessment to ensure that their guidelines are sound, or to evaluate guidelines from other groups for potential adaptation to their own context; 3. by policy/decision makers to help them decide which guidelines could be recommended for use in practice or to inform policy decisions
  • #17 Item content includes the following CRITERIA : • health intent(s) (i.e., prevention, screening, diagnosis, treatment, etc.) • expected benefit or outcome • target(s) (e.g., patient population, society)
  • #18 Item content includes the following CRITERIA : • target population • intervention(s) or exposure(s) • comparisons (if appropriate) • outcome(s) • health care setting or context
  • #19 Item content includes the following CRITERIA : • target population, gender and age • clinical condition (if relevant) • severity/stage of disease (if relevant) • comorbidities (if relevant) • excluded populations (if relevant)
  • #21 • For each member of the guideline development group, the following information is included: - name - discipline/content expertise (e.g., neurosurgeon, methodologist) - institution (e.g., St. Peter ’s hospital) - geographical location (e.g., Seattle, WA) - a description of the member ’s role in the guideline development group
  • #22 Item content includes the following CRITERIA : • statement of type of strategy used to capture patients ’/public’s’ views and preferences (e.g., participation in the guideline development group, literature review of values and preferences) • methods by which preferences and views were sought (e.g., evidence from literature, surveys, focus groups) • outcomes/information gathered on patient/public information • description of how the information gathered was used to inform the guideline development process and/or formation of the recommendations
  • #23 • clear description of intended guideline audience (e.g. specialists, family physicians, patients, clinical or institutional leaders/administrators) • description of how the guideline may be used by its target audience (e.g., to inform clinical decisions, to inform policy, to inform standards of care)
  • #25 • named electronic database(s) or evidence source(s) where the search was performed (e.g., MEDLINE, EMBASE, PsychINFO, CINAHL) • time periods searched (e.g., January 1, 2004 to March 31, 2008) • search terms used (e.g., text words, indexing terms, subheadings) • full search strategy included (e.g., possibly located in appendix)
  • #26 description of the inclusion criteria, including - target population (patient, public, etc.) characteristics - study design - comparisons (if relevant) - outcomes - language (if relevant) - context (if relevant) • description of the exclusion criteria (if relevant; e.g., French only listed in the inclusion criteria statement could logically preclude non-French listed in the exclusion criteria statement)
  • #27 • descriptions of how the body of evidence was evaluated for bias and how it was interpreted by members of the guideline development group • aspects upon which to frame descriptions include: - study design(s) included in body of evidence - study methodology limitations (sampling, blinding, allocation concealment, analytical methods) - appropriateness/relevance of primary and secondary outcomes considered - consistency of results across studies - direction of results across studies - magnitude of benefit versus magnitude of harm - applicability to practice context
  • #28 • descriptions of how the body of evidence was evaluated for bias and how it was interpreted by members of the guideline development group • aspects upon which to frame descriptions include: - study design(s) included in body of evidence - study methodology limitations (sampling, blinding, allocation concealment, analytical methods) - appropriateness/relevance of primary and secondary outcomes considered - consistency of results across studies - direction of results across studies - magnitude of benefit versus magnitude of harm - applicability to practice context
  • #29 • description of the recommendation development process (e.g., steps used in modified Delphi technique, voting procedures that were considered) • outcomes of the recommendation development process (e.g., extent to which consensus was reached using modified Delphi technique, outcome of voting procedures) • description of how the process influenced the recommendations (e.g., results of Delphi technique influence final recommendation, alignment with recommendations and the final vote)
  • #30 • description of the recommendation development process (e.g., steps used in modified Delphi technique, voting procedures that were considered) • outcomes of the recommendation development process (e.g., extent to which consensus was reached using modified Delphi technique, outcome of voting procedures) • description of how the process influenced the recommendations (e.g., results of Delphi technique influence final recommendation, alignment with recommendations and the final vote)
  • #31 • supporting data and report of benefits • supporting data and report of harms/side effects/risks • reporting of the balance/trade-off between benefits and harms/side effects/risks • recommendations reflect considerations of both benefits and harms/side effects/risks
  • #33 • purpose and intent of the external review (e.g., to improve quality, gather feedback on draft recommendations, assess applicability and feasibility, disseminate evidence) • methods taken to undertake the external review (e.g., rating scale, open-ended questions) • description of the external reviewers (e.g., number, type of reviewers, affiliations) • outcomes/information gathered from the external review (e.g., summary of key findings) • description of how the information gathered was used to inform the guideline development process and/or formation of the recommendations (e.g., guideline panel considered results of review in forming final recommendations)
  • #35 • purpose and intent of the external review (e.g., to improve quality, gather feedback on draft recommendations, assess applicability and feasibility, disseminate evidence) • methods taken to undertake the external review (e.g., rating scale, open-ended questions) • description of the external reviewers (e.g., number, type of reviewers, affiliations) • outcomes/information gathered from the external review (e.g., summary of key findings) • description of how the information gathered was used to inform the guideline development process and/or formation of the recommendations (e.g., guideline panel considered results of review in forming final recommendations)
  • #36 • a statement that the guideline will be updated • explicit time interval or explicit criteria to guide decisions about when an update will occur • methodology for the updating procedure is reported