4. Selección de métodos Tomado de Westgard, J.O. Basic Method Validation.
Test a evaluar
Seleccionar
Mètodo
Proceso
Test de Rutina
Validar desempeño Desarrollar mejoras al
del método Mètodo
Mantener el método
Implementación
Prevenir problemas
Toma de Control
Ánálisis Reporte
muestras Estadístico
Rutina
5. Validación o verificación?
Validación 1
Verificación: Confirmación mediante la aportación de
evidencia objetiva de que se han cumplido requisitos
especificados
Evidencia objetiva:
Inspección-base de la evidencia
Observación – Medición – Ensayo – Prueba - Comparación
6. Validación o verificación?
Validación 2
Validación: Confirmación por análisis y la
ISO 17025
provisión de evidencias objetivas que se
cumplen con los requisitos particulares para
el uso específico propuesto.
En definitiva:
Verifica un conjunto de requisitos.
La validación es una forma de verificación.
“ La validación de métodos es una herramienta para
controlar el error “
7. Validación o verificación?
Validación 3
Depende del nivel de complejidad del método
Métodos medianamente complejos han sido
estudiados extensivamente por los fabricantes en su
desarrollo:Valiadación interna menos extensiva
Métodos complejos, metodos de desarrollo propio y/o
con modificaciones:Validación interna extensiva
8. Criterios CLIA - FDA
Complejidad de Test (1)
COMPLEJIDAD
WAIVED TEST NO WAIVED
Sin
Instrucciones de MODERADA
recomendaciones COMPLEJIDAD
Fabricante
de validación
ALTA
COMPLEJIDAD
9. Complejidad de Test (2)
Componentes a evaluar
o Conocimiento Científico Técnico
o (1) Mínimo – Según instructivo:
adiestramiento en práctica
o (3) Especializado – Conocimiento avanzado:
preanálisis, análisis y postanálisis
o Entrenamiento y experiencia
o 1) Mínimo
o (3) Especializado – Conocimiento avanzado:
preanálisis, análisis y postanálisis
10. Complejidad de Test (3)
Componentes a evaluar
o Preparación de materiales & reactivos
o (1) Listos para uso – sin condiciones especiales
o (3) Preparación cuidadosa – lábiles: requieren
mediciones de volumen manuales
o Características de operación
o (1) Automatizados o de fácil control
o (3) Cercano y estricto control
o Materiales de calibración y control
o 1) Listos para uso - estables
o (3) Inexistentes – poco estables
11. Complejidad de Test (4)
Componentes a evaluar
o Mantenimiento de equipos & sistemática de
solución de problemas
o (1) Automático
o (3) No automático – requiere juicio e
intervención directa: conocimiento y habilidades
o Interpretación & juicio
o (1) Mínima
o (3) Conocimiento y juicio extensivo para su
evaluación
No Waided Tets Moderada Complejidad: Puntaje total < 12
No Waided Test Alta Complejidad: Puntaje total < 12
13. Requerimientos
Validar que… 1
Depende del nivel de complejidad del método CLIA
o TEST DE BAJA COMPLEJIDAD
o Seguir las recomendaciones del fabricante
o No recomendaciones específicas
o Moderada y alta complejidad (no modificado)
o Precisión
o Exactitud
o Rango reportable al paciente (= fabricante)
o Demostración del rango de referencia del fabricante
sea aplicable a su población
14. Requerimientos
Validar que… 2
Depende del nivel de complejidad del método CLIA
o Alta complejidad-moderados
(modificados)
o Exactitud
o Precisión
o Sensibilidad analítica
o Especificidad analítica (incluye interferencias)
o Rango reportable a pacientes
o Rango de referencia
o Cualquier otro que el test requiera.
15. Requerimientos
Validar que… 3
Otros requerimientos
o JCAHO
o Test de moderada complejidad (no modifcados)
o “ Para métodos establecidos previamente, los datos del
control de calidad y la historia de desempeño del test
son adecuados para establecer su validez”
o CAP
o Todos los test
o Precisión, exactitud, rango de referencia y rango de
reporte
o Para sensibilidad analítica, incluido estudio de
interferencias – NCCLS EP 7A
16. Criterios COFRAC LAB GTA-04
Tipo de Test (1)
TIPO DE TEST
Cuantitativos Cualitativos Semi-cuantitativos
p.e. Bioquímicos, p.e. Marca criterios
p.e. Densidad
Hormonales, dosif. de positividad
óptica
de anticuerpos o negatividad
17. Rompecabezas
Aproximación (1)
Linealidad Recuperación Error sistemático
Linealidad
Selectividad Validación
Selectividad Error aleatorio
Incertidumbre
Robustez
Limite de Robustez
deteccióni Rango de aplicación
No existe un único procedimiento de validación aplicable a todas las circunstancias.
18. Interrelaciones
Aproximación 2
Exactitud
Error Error aleatorio
sistemático Rango de (precisión)
Aplicación
Selectividad Recuperación
Repetibilidad
Linealidad Límite de detección
Sensibilidad Límite Cuantificación
Reproducibilidad
Robustez
Incertidumbre de la
Medición
19. Criterios COFRAC LAB GTA-04
Requerimientos por tipo de test
REQUERIMIENTOS Cuantitativos Cualitativos Semicuantitativos
Especificidad √ √ √
Precisión (repetibilidad-reproducibilidad) √ NA √
Exactitud –aproximación √ NA NA
Sensibilidad: Límite de detección / √ Sensibilidad Sensibilidad
Límite de cuantificación diagnóstica diagnóstica
Linearidad √ NA NA
Arrastre √ √ √
Estabilidad √ √ √
Robustez √ √ √
Valores de referencia √ NA NA
Interferencias √ √ √
Correlación con método de referencia*, o con √ √ √
método anteriormente empleado
* = Cuando esto fuese necesario / NA = No aplicable
20. Criterios COFRAC LAB GTA-04
Verificación inicial:
Técnica Cuantitativa
REQUERIMIENTOS Bibliografía Verificación in situ
Especificidad √ NO
Precisión (repetibilidad-reproducibilidad) √ Si
Exactitud –aproximación √ Si, es posible
Sensibilidad: Límite de detección / √ Si es necesario
Límite de cuantificación
Linearidad √ Si es necesario y si es posible
Arrastre √ Si, para los parámetros sensibles
Estabilidad √ Si es necesario
Robustez √ NO
Valores de referencia √ “Mas tarde”
Interferencias √ Si es necesario
Correlación con método de referencia* √ NO
Correlación método anteriormente empleado √ (Si es necesario) Si es posible
* = Cuando esto fuese necesario / NA = No aplicable
21. Criterios COFRAC LAB GTA-04
Verificación inicial:
Técnica Cualitativa
REQUERIMIENTOS Bibliografía Verificación in situ
Especificidad √ NO
Sensibilidad diagnóstica √ Si es necesario
Arrastre √ SI
Estabilidad √ Si es necesario
Robustez √ NO
Correlación con método de referencia* √ NO
Correlación método anteriormente empleado √ (Si existe) Si es posible
* = Cuando esto fuese necesario / NA = No aplicable
22. Criterios COFRAC LAB GTA-04
Verificación inicial:
Técnica Semicuantitativa
REQUERIMIENTOS Bibliografía Verificación in situ
Especificidad √ NO
Precisión (repetibilidad-reproducibilidad) √ Si
Sensibilidad diagnóstica √ Si es necesario
Arrastre √ Si
Estabilidad √ Si es necesario
Robustez √ NO
Interferencias √ NA
Correlación con método de referencia* √ NO
Correlación método anteriormente empleado √ (Si existe) Si es posible
23. Criterios COFRAC LAB GTA-04
Matriz de documental
o Técnica / modo de operación, que incluya
verificación/validación.
o Determinación de los parámetros de
desempeño y su verificación
o Verificación bibliográfica
o Compilación y tratamiento estadístico de
datos obtenidos
o Conclusión y decisión sobre la validación
operacional de la técnica
24. Criterios COFRAC LAB GTA-04
Perlas Cultivadas
o Los estudios de arrastre son particularmente importantes en
sistemas automatizados y debe evaluarse “periódicamente”
o La selección de parámetros y forma de ejecutar las
verificaciones/validaciones debe ser concordante con el
“estado del arte” y la “pertinencia clínica”
o La evaluación de sensibilidad / especificidad diagnóstica debe
hacerse a partir de material de control interno o de muestras
retenidas de seroteca
o En biología medica resulta imposible el contar en forma
estricta con un “valor verdadero”…
25. Plan de Validación
Plan de validación
Establecer los requerimientos analíticos
Seleccionar un método apropiado
Grado de validación. Verificación?
Establecer en detalle los experimentos para
evaluar la performance del método elegido
Realizar los experimentos
Usar los datos para evaluar la utilidad del
método en función de los fines propuestos
Adopción y uso del método
28. Linearidad – Rango Reporte
A modo de ejemplo 1
Nombres Instrucciones Medidas Promedio
1 2 3
Pool 1 (0%) Blanco – Muestra muy baja
Mezcla 2 (25%) Pool 1 (3 partes) + Pool 5 (1 parte)
Mezcla 3 (50%) Pool 1 (2partes) + 1 Pool 5 (2 partes)
Mezcla 4 (75%) Pool 1 (1 parte) + 1 Pool 5 (3 partes)
Pool 5 (100%) Muestra concentración alta (límite linearidad)
29. Precisión
A modo de ejemplo 2
Tiempo: Imprecisión total – 20 días
Matriz de muestra: Soluciones control, pool de
muestras, muestras individuales de pacientes
Número y concentraciones: Número depende de la
concentraciones críticas para uso clínico.
Número de muestras: Al menos 20 días.
Medida estadística: S - CV
30. Exactitud - Desvío
A modo de ejemplo 3
Comparación Material de Evaluación
Método referencia referencia Externa
Acceso Costos Acceso
31. Responsabilidades 1
Sistemas de medida completos – fabricante
único
Incluyen instrucciones de uso y calibradores
Sin alteración de instrucciones originales
Fabricante:
• Evidencia objetiva del cumplimiento de las especificaciones
metrológicas declaradas en condiciones de trabajo
semejantes a las de un laboratorio clínico.
Usuario:
• Comprobar que especificaciones del fabricante cumple con
requisitos metrológicos del laboratorio.
SEQC-Responsabilidades en la obtención de evidencia objetiva para la validación de las características
metrológicas de los procedimientos de medida del laboratorio clínico
32. Responsabilidades 2
Otros casos
Error sistemático.
• Fabricante: Trazabilidad e incertidumbre de calibradores
• Laboratorio: Proceso de calibración = resultados satisfactorios
Interferencias
• Fabricante: Especificarlas en las condiciones de uso
Contaminacíón - Arrastre.
• Fabricante: Automáticos
• Laboratorio: Manuales
Imprecisión interdia Laboratorio
SEQC-Responsabilidades en la obtención de evidencia objetiva para la validación de las características
metrológicas de los procedimientos de medida del laboratorio clínico
33. Responsabilidades 3
Otros casos….
Límite de detección
• Fabricante: Imprecisión, sensibilidad y límite de
detección, con descripción de las condiciones de
uso declaradas.
• Laboratorio: Establecerlo cuando su imprecisión o
sensibilidad son significativamente diferentes a las
del fabricante
SEQC-Responsabilidades en la obtención de evidencia objetiva para la validación de las características
metrológicas de los procedimientos de medida del laboratorio clínico
34. Primer Servicio de Medicina de
Laboratorio Certificado ISO 9001:2000
en el Ecuador
Klever SÁENZ MD.
NET-L@B S.A.
QUITO-ECUADOR
kleber.saenz@netlab.com.ec