¿Cómo interpretar un estudio de rendimiento diagnóstico? Un trabajo nos habla de la ecografía pulmonar para diagnosticar neumonía. ¿Son válidos sus resultados? ¿Cuáles son estos resultados? ¿Son aplicables a mi práctica?

1. Proceso diagnóstico
Antonio J. Cartón
24 de marzo de 2014
Facultativo especialista de área
Servicio de Cardiología Pediátrica.

2. Temas
- Umbral diagnóstico y terapéutico.
- Interpretación de trabajos sobre evaluación
de pruebas diagnósticas:
- Sensibilidad y especificidad.
- Valores predictivos.
- Cocientes de probabilidad.

3. El razonamiento diagnóstico

4. El razonamiento diagnóstico

5. ¿Cómo diagnosticamos?

7. Se ve
y se reconoce.
1. RECONOCER PATRONES

8. 2. ACTUALIZAR JUICIOS
Abducción.
Método hipotético-deductivo.

9. Hay otras formas de diagnosticar…
- Por reglas de decisión clínicas (multiple branching
strategy)
- Por agotamiento de las posibilidades (exhaustion)
…

10. Hay otras formas de diagnosticar…
- Por reglas de decisión clínicas (multiple branching
strategy)
- Por agotamiento de las posibilidades (exhaustion)
…pero ésa es otra historia y debe ser contada en otra
ocasión…

11. Razonamiento probabilístico
1. Evaluación clínicaPROBABILIDAD PREPRUEBA (Conjetura).
2. Nueva informaciónACTUALIZACIÓNPROBABILIDAD
POSPRUEBA (Deducción)
3. Comparación con los umbrales de decisión

12. Razonamiento probabilístico
1. Evaluación clínicaPROBABILIDAD PREPRUEBA (Conjetura).
2. Nueva informaciónACTUALIZACIÓNPROBABILIDAD
POSPRUEBA (Deducción)
3. Comparación con los umbrales de decisión

13. Razonamiento probabilístico
1. Evaluación clínicaPROBABILIDAD PREPRUEBA.
2. Nueva información
ACTUALIZACIÓNPROBABILIDAD POSPRUEBA
3. Comparación con los umbrales de decisión

14. Razonamiento probabilístico
1. Evaluación clínicaPROBABILIDAD PREPRUEBA.
2. Nueva información
ACTUALIZACIÓNPROBABILIDAD POSPRUEBA
3. Comparación con los umbrales de decisión

15. SIEMPRE SE PARTE
DE UNA SOSPECHA
DIAGNÓSTICA

16. Probabilidad del diagnóstico
0% 100%
Umbral de la
prueba
Umbral de
tratamiento
Pauker SG, Kassirer JP: The threshold approach to clinical decision making. N Engl J Med 1980; 302: 1109–1117

17. Probabilidad del diagnóstico
0% 100%
Umbral de la
prueba
NO MERECE LA
PENA HACER
MÁS PRUEBAS
Pauker SG, Kassirer JP: The threshold approach to clinical decision making. N Engl J Med 1980; 302: 1109–1117

18. Probabilidad del diagnóstico
0% 100%
Umbral de
tratamiento
DIAGNÓSTICO
COMPLETO.
COMENZAR
TRATAMIENTO.
Pauker SG, Kassirer JP: The threshold approach to clinical decision making. N Engl J Med 1980; 302: 1109–1117

19. Probabilidad del diagnóstico
0% 100%
Umbral de la
prueba
Umbral de
tratamiento
Hacen falta más
pruebas para hacer
el diagnóstico y
tomar una decisión
Pauker SG, Kassirer JP: The threshold approach to clinical decision making. N Engl J Med 1980; 302: 1109–1117

20. 0% 100%
Umbral de la
prueba
Pauker SG, Kassirer JP: The threshold approach to clinical decision making. N Engl J Med 1980; 302: 1109–1117
-Más segura y menos costosa sea la prueba,
-Más grave la enfermedad si se deja sin
diagnosticar.

21. 0% 100%
Umbral de
tratamiento
Pauker SG, Kassirer JP: The threshold approach to clinical decision making. N Engl J Med 1980; 302: 1109–1117
Más segura y más barata, y menos invasiva, sea la
siguiente prueba,
Más benigno el pronóstico de la enfermedad, o
Mayores los costes o los efectos secundarios del
tratamiento

22. Aunque no seamos conscientes…
…los médicos en realidad somos BAYESIANOS.

23. Qué sabemos tras hacer la prueba
=
Qué sabíamos antes de hacer la prueba
x
cuánto cambian los resultados de la prueba la
probabilidad de lo que sabíamos
PROBABILIDAD POSTPRUEBA
=
PROBABILIDAD PREPRUEBA
X
FACTOR DE LA PRUEBA

24. ¿Cómo analizar un estudio sobre rendimiento
de pruebas diagnósticas?
=
¿Cómo me ayuda una prueba diagnóstica a
actualizar mi sospecha de que mi paciente tiene
determinada enfermedad?

25. ¿Qué pruebas valen la pena?
1.Identificar la enfermedad.
2.Planificar el tratamiento.
3.Predecir el resultado.

26. Si no identifica, ayuda a planear o a
predecir….
NO PIDAS LA PRUEBA
DIAGNÓSTICA

27. Papeles de una nueva prueba en un
proceso diagnóstico
1. Sustituye a una prueba antigua
2. Permite seleccionar realizar o no otra prueba
(triage)
3. Permite complementar la información de
otra prueba (add-on)

28. Y ahora, a propósito de un trabajo….
JAMA Pediatr. 2013;167:119-125.

29. Estructura de un trabajo sobre
rendimiento de pruebas diagnósticas
Paciente con
sospecha de padecer
una enfermedad
Prueba diagnóstica Prueba de referencia
Enfermedad presente
Enfermedad ausente
+
-

30. OBJETIVO
“Our objective was to determine the accuracy of
clinician-performed point-of-care
ultrasonography for the diagnosis of
pneumonia in children and young adults.“

31. 1.
¿Es válida la prueba
diagnóstica?

32. 1.
¿Hay sesgos?

33. A.¿Se eligió un espectro adecuado de
pacientes?=>Sesgo de selección
B. ¿Hay una comparación ciega con la
prueba de referencia?=>Sesgo de
información
C. ¿La prueba está descrita de forma
clara y reproducible?

34. A. Espectro adecuado de pacientes
¿Los pacientes evaluados ofrecían alguna
incertidumbre diagnóstica?

35. Espectro adecuado de pacientes
- Diagnóstico obvio: no necesitamos de una
prueba adicional.
- Más útil: evaluar manifestaciones leves o
precoces de la enfermedad.
- “Sólo un estudio que se parezca mucho a la práctica
clínica habitual y que incluya pacientes con
manifestaciones leves o precoces de la enfermedad
sospechada puede dar una idea adecuada del
verdadero valor de la prueba”.

36. “Our study population consisted of a convenience sample
of patients who met predetermined inclusion criteria and
in whom informed consent and patient assent in those 7
years or older had been obtained and documented from
the patient or a guardian for enrollment into the study.
•Inclusion criteria were
– patients from birth to age 21 years seen in the emergency
department with clinical suspicion of community-acquired
pneumonia requiring chest radiography for evaluation.
•We excluded
– (1) patients who arrived in the emergency department
with a chest radiograph,
– (2) patients who had a previously confirmed diagnosis of
pneumonia by diagnostic imaging, and
– (3) patients who had hemodynamic instability. “

37. Espectro adecuado de pacientes
SELECCIÓN ADECUADA: Consecutiva, prospectiva.
DEFINICIÓN DEL ESPECTRO
-Edad
-Sexo
-Presentación clínica o estado de la enfermedad
-Criterios de selección
SUBGRUPOS PERTINENTES

38. Si no se hace así…
Muy documentada la presencia de sesgos en diseños de
- casos y controles
- selección no consecutiva de pacientes
- estudios retrospectivos
Lijmer et al. JAMA, 1999;282:1061.
Whiting et al. Ann Intern Med, 2004;140:189.
Rutjes et al.CMAJ, 2006;174:469.

39. Sesgo de selección
No tiene en cuenta el espectro clínico de
enfermedad o comorbilidad.
– Sobreestima el valor de una prueba si se incluyen
los casos graves
– Infraestima el valor de una prueba si se incluyen
los casos leves

40. B. Prueba de referencia
- Gold-standard (patrón oro o de referencia)
- Prueba que define la presencia y la ausencia de
enfermedad.
- Validez contrastada.
- Consenso de la comunidad científica.
- Puede ser invasiva, más cara o menos disponible
que la prueba que se está evaluando (TIENE
ALGUNA DESVENTAJA).

41. Pruebas de referencia
- Muestras de anatomía patológica o de cirugía
- Hemocultivo en bacteriemia
- Criterios de Jones de fiebre reumática
- Criterios DSM IV de depresión mayor
…

42. “The reference standard for pneumonia was
the attending pediatric radiologist’s reading of
the chest radiograph (posteroanterior and
lateral views), reported as consolidation,
infiltrate, or pneumonia, with negative and
equivocal chest radiograph definitions similar to
those in the study by Neuman et al. “

43. -¿Es capaz de clasificar el estado de enfermedad
en todas las observaciones?
Sesgo de la prueba diagnóstica imperfecta
No se dispone de una buena prueba de referencia y se usa la
disponible (aunque no clasifique bien y discrimine correctamente
sanos y enfermos).
Generalmente sobreestima el valor de la
prueba, pero a veces la infraestima.

44. A largo plazo, todos estaremos muertos.
JM Keynes
El seguimiento
clínico
es el mejor
patrón de
referencia

45. Variables resultado
Clinical follow-up measures were obtained and
documented on a structured data sheet by one of us
(V.P.S.) after 2 weeks to determine the disposition and
the clinical course of enrolled patients.
Follow-up outcomes obtained included
– (1) clinical deterioration requiring treatment with
antibiotics following dis- charge from the index emergency
department visit,
– (2) the need for an unscheduled health care visit or
hospitalization after the index emergency department
visit, and
– (3) clinical improvement on an antibiotic regimen if
prescribed.

46. -Observaciones con un diagnóstico
indeterminado, excluidas del análisis, producen
sobrevaloraciones de las características
operativas de la prueba diagnóstica.
Sesgo por exclusión de indeterminados
Las soluciones pasan por
repetición de la prueba si es posible
o inclusión en el estudio de los casos no interpretables.

47. “Equivocal chest radiograph readings for
pneumonia (“cannot exclude pneumonia” or
“infiltrate vs atelectasis”) by radiologists were
defined as negative for pneumonia to avoid
inflating test performance characteristics of ul-
trasonography relative to chest radiography. “

48. C. Descripción de la prueba
CLARIDAD
Resultados positivos
Resultados negativos
VARIABLES DICOTÓMICAS: Sí/no
VARIABLES CONTINUAS: Puntos de corte

51. Descripción de la prueba
REPRODUCIBILIDAD
– Condiciones de realización
– Variabilidad inter- e intra-observador
• Análisis de Bland-Altmann: variables continuas
• Coeficiente kappa de concordancia: variables
nominales
• Coeficiente de concordancia intra e interclase

52. The interobserver agreement was excellent
between the enrolling sonologist’s
interpretation and the blinded reviewing
sonologist’s interpretation for lung consolida-
tion with sonographic air bronchograms on
ultrasonography video image review. Cohen
KAPPA was 0.93 (95% CI, 0.87-0.99).

54. Evaluación ciega de los resultados
El primer principio es que no debes
engañarte –y que tú eres la persona más
fácil de engañar
Richard Feynman

55. “Study sonologists were blinded to chest
radiography results when performing the
auscultation and point- of-care ultrasonography.
Radiologists were blinded to auscultation and
ultrasonography results. “

56. Evaluación ciega de los resultados
¡Para evitar el SESGO DEL OBSERVADOR/SESGO DE REVISIÓN!
Tendencia, consciente o inconsciente, a que la evaluación del
resultado de la prueba dependa de las expectativas sobre el mismo.
Las observaciones del evaluador difieren de forma sistemática según
determinadas características de los participantes
-Cree que están enfermos
-Cree que están sanos
Se sobreestima el rendimiento de la prueba si los resultados no se
enmascaran al resultado del patrón de referencia.

57. Para estudios de cohortes prospectivos en los
que el paciente recibe primero la prueba
diagnóstica, el estándar es aceptado si la prueba
de referencia se evalúa independientemente, es
decir, sin conocer el resultado de la prueba
diagnóstica
en estudios prospectivos donde la prueba de
referencia precede a la prueba diagnóstica y en
los estudios de casos y controles, se cumple el
estándar si figura una afirmación de la
independencia de interpretación de los datos.

58. Estructura de un trabajo sobre
rendimiento de pruebas diagnósticas
Paciente con
sospecha de padecer
una enfermedad
Prueba diagnóstica Prueba de referencia
Enfermedad presente
Enfermedad ausente
+
-

59. Paciente con
sospecha de padecer
una enfermedad
Prueba diagnóstica
Prueba de referencia
Enfermedad presente
Enfermedad ausente
+
-

60. Paciente con
sospecha de padecer
una enfermedad
Prueba diagnóstica
Prueba de referencia+
-
Prueba de referencia
Prueba de referencia

61. VERIFICACIÓN DIFERENCIAL
- Sesgo consistente en que a sólo los pacientes
con determinados resultados (positivos o
negativos) de la prueba en estudio se les
realiza la prueba patrón de referencia
(verificación parcial)

62. VALORACIÓN DE UN TRABAJO
1.VALIDEZ
2.RESULTADOS
3.APLICABILIDAD

65. Proceso diagnóstico
Antonio J. Cartón
7 de abril de 2014
Facultativo especialista de área
Servicio de Cardiología Pediátrica.

66. Temas
- Umbral diagnóstico y terapéutico.
- Interpretación de trabajos sobre evaluación
de pruebas diagnósticas:
- Sensibilidad y especificidad.
- Valores predictivos.
- Cocientes de probabilidad.

69. VALORACIÓN DE UN TRABAJO
1.VALIDEZ
2.RESULTADOS
3.APLICABILIDAD

70. 2.
¿Qué resultados da
la prueba
diagnóstica?

71. Parámetros estimadores
- Sensibilidad
- Especificidad
- Valores predictivos
- Cocientes de probabilidad
- Curva de rendimiento diagnóstico (receptor-
operador; ROC)

74. Sensibilidad y especificidad
Si el paciente tiene/no tiene la enfermedad,
¿cuál es la probabilidad de que la prueba salga
positiva o negativa?
PARA EL CLÍNICO SON MENOS INTERESANTES
--Son relevantes para evaluar las propiedades
intrínsecas de la prueba

75. Valores predictivos
Si el paciente sale positivo/negativo, ¿cuál es la
probabilidad de tener/no tener la enfermedad?
¡ES LO QUE, COMO CLÍNICOS, QUEREMOS
SABER!

76. Predicciones y expectativas
El VALOR PREDICTIVO DEPENDE DE LA
FRECUENCIA DE ENFERMEDAD
La probabilidad postprueba depende de la
probabilidad preprueba.

77. ¿Cuál es la frecuencia de enfermedad?

78. ¿Cuál es la frecuencia de enfermedad?
36/200= 18 % de neumonías en el estudio

79. Valor predictivo positivo=31/49=63%
Valor predictivo negativo=146/151=97%

80. Si hay una baja frecuencia
de enfermedad, las
pruebas muy sensibles
aportan poco para
descartar la enfermedad.
“No se debía haber
pensado en la enfermedad
en primer lugar”.

81. Si hay una alta frecuencia de enfermedad, las
pruebas específicas podrían no aportar
información relevante para diagnosticar una
enfermedad.
“El umbral de decisión está ampliamente
superado y se asume que la enfermedad está
presente independientemente del resultado
positivo de la prueba”.

82. ¿Se puede presentar la
información sobre el
rendimiento diagnóstico de
una prueba de forma
independiente a la frecuencia
de enfermedad en la población
de aplicación?

83. Cocientes de probabilidad
- Likelihood ratios.
- Otra medida del rendimiento diagnóstico de una
prueba.
- Resumen la información de la sensibilidad y la
especificidad.
- Indican si una prueba tiene capacidad para
incrementar o disminuir la verosimilitud
(probabilidad preprueba) de un determinado
evento.

89. En una población donde son esperables un 18%
de neumonías, después de la eco…
…Si sale negativa, la probabilidad de neumonía
es de menos del 5%
…Si sale positiva, la probabilidad de neumonía
es de más del 80%

90. Probabilidad del diagnóstico
0% 100%
Umbral de la
prueba
Umbral de
tratamiento
Pauker SG, Kassirer JP: The threshold approach to clinical decision making. N Engl J Med 1980; 302: 1109–1117

92. En una población donde son esperables un 1%
de neumonías, después de la eco
Si sale negativa, la probabilidad de neumonía es
de menos del 0.2%
Si sale positiva, la probabilidad de neumonía es
del 20%

94. En una población donde son esperables un 60%
de neumonías, después de la eco
Si sale negativa, la probabilidad de neumonía es
de menos del 2%
Si sale positiva, la probabilidad de neumonía es
de más del 95%

95. Curvas ROC

98. Precisión de los resultados
INTERVALOS DE CONFIANZA

99. 3.
¿Ese aplicable la
prueba diagnóstica?

100. 1. En mi escenario clínico, ¿la reproducibilidad de la
prueba y su interpretación son satisfactorios?
2. ¿Los resultados son aplicables a mis pacientes en
mi práctica habitual?
3. ¿Los resultados de la prueba cambian mi
estrategia de manejo?
4. ¿Mis pacientes se van a beneficiar con los
resultados de la prueba?

101. Escenario y pacientes de aplicación
Escenario
– Disponibilidad
– Coste
– Precisión
Pacientes
– Similares características
Realización de la prueba

102. ¿Podemos estimar la probabilidad
preprueba?
1. Experiencia personal
2. Tablas estadísticas
3. Bases de datos de práctica clínica
4. Estudios primarios
¿Ha podido cambiar esta estimación desde que
se hizo el estudio?

103. Funciones de una nueva prueva
diagnóstica
1.Sustituye a otra prueba diagnóstica (“es
mejor”).
2.Permite seleccionar otra prueba diagnóstica
(“clasifica o estratifica”).
3.Añade precisión a los resultados de otra
prueba realizada previamente (permite precisar
el diagnóstico).

104. Modifican nuestra actuación
1.¿Modifican el umbral de decisión para otras
pruebas o para iniciar el tratamiento?
2.¿Nuestro paciente se sometería a la prueba?
3.¿Nuestro paciente obtendría algún beneficio?

105. Beneficios sobre los pacientes
Cómo demostrarlo:
1.Aleatorización a distintas estrategias
diagnósticas
2.Crear un calendario de manejo asociado con la
prueba diagnóstica
3.Asegurarse un seguimiento de la aparición de
variables clínicamente relevantes para el
paciente.

106. ¿Cuándo adoptar más fácilmente una
prueba diagnóstica muy precisa?
1. La enfermedad, dejada sin diagnosticar, es
muy grave, los riesgos de realización son
aceptables y existe un tratamiento efectivo.
2. La prueba es completamente benigna,
implica poca inversión en recursos, es
claramente precisa y conduce a un cambio
evidente en la estrategia de tratamiento.

107. En resumen…
Las pruebas diagnósticas nos ayudan a tomar
decisiones asumiendo cierto grado de
incertidumbre.
El valor de la prueba diagnóstica no depende
sólo de sus propiedades, sino de su contexto de
aplicación y de nuestras expectativas sobre la
misma.

108. Bibliografía
Guyatt et al (editores). Users’ guides to the
medical literature. JAMA evidence. Essentials of
evidence-based clinical practice. 2nd
edition.
McGraw-Hill. Nueva York, 2008.
Straus et al (editores). Evidence-based medicine.
How to practice and teach it. 4th
edition.
Churchill Livingstone-Elsevier. Edimburgo, 2011.

109. Umbral de la prueba
Tanto menor (MÁS FÁCIL PEDIR
LA PRUEBA) cuanto
-Más segura y menos costosa
sea la prueba, o
-Más grave la enfermedad si se
deja sin diagnosticar.

110. Umbral de tratamiento
Tanto mayor (MÁS QUEREMOS ESTAR
SEGUROS DEL DIAGNÓSTICO) cuanto
–Más segura y más barata, y menos
invasiva, sea la siguiente prueba,
–Más benigno el pronóstico de la
enfermedad, o
–Mayores los costes o los efectos
secundarios del tratamiento

111. Soluciones
- Representar el espectro completo en la
muestra
- Describir el espectro en el análisis
- Análisis de la prueba diagnóstica en los
subgrupos.