Validación de un instrumentos

2.178 visualizaciones

Publicado el

Validación de un instrumentos

Publicado en: Salud y medicina
0 comentarios
4 recomendaciones
Estadísticas
Notas
  • Sé el primero en comentar

Sin descargas
Visualizaciones
Visualizaciones totales
2.178
En SlideShare
0
De insertados
0
Número de insertados
19
Acciones
Compartido
0
Descargas
93
Comentarios
0
Recomendaciones
4
Insertados 0
No insertados

No hay notas en la diapositiva.

Validación de un instrumentos

  1. 1. VALIDACION DE INSTRUMENTOVALIDACION DE INSTRUMENTO Dr. Cristian Díaz Vélez Editor Científico de Revista Cuerpo Médico Hospital Nacional Almanzor Aguinaga Asenjo Miembro del Comité Cientifico de la Revista Acta Médica Peruana Miembro del comité Científico. Revista Acta Médica Peruana del Colegio Médico del Perú y Revista Médica de Risaralda, Universidad Tecnológica de Pereira-Colombia.
  2. 2. Imagina que deseas evaluar el Nivel de Glucosa en sangre en pacientes adultos y el GLUCOMETRO que vas a usar esta descalibrado. No Importa: Si el proyecto de investigación es perfecto Si la muestra y muestreo es adecuado Si usas las pruebas estadística mas potentes y complejas. Se invirtió mucho dinero y mucho tiempo Simplemente tus resultados no sirven. ¿EVIDENTE NO?
  3. 3. Si el instrumento que es usado para la recolección de datos no esta validado..! Las conclusiones tampoco son validados
  4. 4. Tipos de Validación • Novo (creación de uno). • De otro idioma. • Adaptación cultural.
  5. 5. Pasos de validación de Novo • Creación del constructo: elaboración del cuestionario • Validación cualitativa: Validez interna y externa de un instrumento. Validez de contenido, validez de criterio y validez de constructo. Juicio de expertos. • Validación cuantitativa: - Proceso de recolección de datos. La Prueba Piloto. Evaluación de la confiabilidad del instrumento. - Análisis factorial. Rotación varimax, test de esfericidad de Bartlett y prueba de Kaiser- Meyer- Olkin
  6. 6. REQUISITOS DE UN BUEN INSTRUMENTO DE MEDICION CONFIABILIDAD GRADO EN QUE SU APLICACION REPETIDA AL MISMO SUJETO U OBJETO PRODUCE IGUALES RESULTADOS VALIDEZ GRADO EN QUE UN INSTRUMENTO MIDE LA VARIABLE QUE PRETENDE MEDIR Hernández Sampieri y col GRADO EN QUE UN INSTRUMENTO PRODUCE RESULTADOS CONSISTENTES Y COHERENTES Hernández Sampieri y col El instrumento debe demostrar ser confiable y válido a la vez Hernández Sampieri y col
  7. 7. 1. Validez : seguridad, exactitud Error sistemático 2. Confiabilidad : Precisión, reproducibilidad Error aleatorio VALIDEZ Y CONFIABILIDAD DE LOS INSTRUMENTOS DE RECOLECCIÓN DE DATOS
  8. 8. A no ha sido ni exacto ni preciso. B Exacto y preciso. C bastante exacto pero no preciso. D muy preciso pero poco exacto. 8 Confiabilidad ~Precisión Validez ~Exactitud
  9. 9. Validación cualitativa
  10. 10. La validez • En términos generales, se refiere al grado en que un instrumento realmente mide la variable que pretende medir. • Por ejemplo, un instrumento para medir la inteligencia válido debe medir la inteligencia y no la memoria. • La validez es una cuestión más compleja que debe alcanzarse en todo instrumento de medición que se aplica.
  11. 11. Validez interna y externa • Para la validación se contará con un panel de expertos, que suele consistir de un promedio de 10-15 personas, aunque de hecho pueden bastar de 5 a 7. • Dicho panel debe estar compuesto de personas conocedoras de la materia, entre los cuáles puede estar el evaluador, especialistas en la materia técnica concerniente, personal de salud, administradores, miembros de la facultad, etc. • Mejorar el cuestionario para que este cumpla con el nivel del público objetivo y con el propósito y objetivos del estudio.
  12. 12. Validez de contenido, criterio y constructo • Las recomendaciones del panel de expertos se orientan a facilitar la claridad de las preguntas, la relevancia de las mismas, si el número de preguntas es adecuado, o si el tiempo que toma contestarlo es o no apropiado. • El panel de expertos sugerirá el cambio de preguntas, eliminación de algunas de ellas, uso apropiado de las palabras, o modificaciones en el formato del cuestionario. • Dichas recomendaciones deben tenerse en cuenta en la modificación del cuestionario.
  13. 13. Validez del contenido • Grado en que el contenido de un instrumento es capaz de medir la mayor parte de las dimensiones del constructo que se quiere estudiar. • Por ejemplo una prueba de conocimientos sobre las canciones de un grupo musical no deberá basarse solamente en sus 2 primeros discos, sino que debe incluir canciones de todos sus discos. Revisión del tema Experiencia de los expertos
  14. 14. Validez del contenido
  15. 15. Validez del criterio • Grado en que el resultado del cuestionario predice o concuerda con algún criterio de “valor real” o gold standard. • Por ej., un investigador valida un examen sobre manejo de aviones, mostrando la exactitud con que el examen predice que tan bien un grupo de pilotos puede operar un aeroplano. Test Psicologicos: Zung, Hamilton, etc Coeficiente de concordancia Kappa (var. categóricas) y Correlación intraclase (var. cuantitativas)
  16. 16. Validez del constructo • Es probablemente la más importante sobre todo desde una perspectiva científica y se refiere al grado en que una medición se relaciona consistentemente con otras mediciones de acuerdo con hipótesis derivadas teóricamente y que conciernen a los conceptos (o constructos) que están siendo medidos. • Grado en que las mediciones que resulten de las respuestas del cuestionario puedan considerarse como una medición del fenómeno estudiado. Muy importante escoger los expertos
  17. 17. Expertos
  18. 18. Población Objetivo
  19. 19. VALIDEZ TOTAL = VALIDEZ DE CONTENIDO + VALIDEZ DE CRITERIO + VALIDEZ DE CONSTRUCTO
  20. 20. Validación cuantitativa
  21. 21. En que medida obtenemos los mismos resultados al aplicar nuevamente el instrumento. Reproducibilidad (consistencia, confiabilidad, precisión) •Permite comparar: • Mediciones repetidas hechas por un sujeto (variación intra–observador). • Mediciones hechas por diferentes sujetos, con el mismo instrumento (variación ínter–observador). • Mediciones en diferentes fracciones de una muestra (validación interna): Rotación Varimax
  22. 22. VARIABILIDAD INTEROBSERVADOR
  23. 23. Densidad Mamográfica: 13,59% Densidad Mamográfica: 15,86% VARIABILIDAD INTRAOBSERVADOR
  24. 24. de Kappa negativo indica que no hay concordancia entre las 2 evaluaciones Kappa negativo indica que no hay concordancia entre las 2 evaluaciones Valor observado Valor esperado
  25. 25. Ejemplo con evaluaciones con mas de dos categorías Tabla Valores Observados Tabla Valores Esperados
  26. 26. COEFICIENTE DE CORRELACION INTRACLASE (CCI) •Índice mas apropiado para cuantificar concordancia entre diferentes mediciones •Se recomienda para variables cuantitativas •El CCI estima el promedio de las correlaciones entre todas las posibles ordenaciones de los pares de observaciones disponibles y por lo tanto evita el problema de la dependencia del orden del coeficiente de correlación. •También se puede usar cuando hay mas de una observación por sujeto
  27. 27. Características de la Prueba Piloto para la evaluación de la confiabilidad del instrumento • El proyecto piloto permite averiguar la consistencia o confiabilidad del cuestionario. • Para ello se utiliza un número de unas 20-25 personas que representen a los participantes del estudio. • Se recomienda mayor número al de ítems. • Algunos recomiendan 5 personas por ítems. • Idealmente, las personas seleccionadas para el proyecto piloto no deben participar en el estudio, aunque sí deben poseer características similares a las de los participantes. • El procedimiento para la toma de datos podría ser de encuesta, por teléfono, por correo físico o electrónico. En el caso de administración directa se deben anotar las observaciones para las preguntas en las cuales el participante tenga dificultad en contestar, para efectuar posteriormente las debidas correcciones.
  28. 28. Evaluación de la confiabilidad del instrumento • La confiabilidad, se mide con el alfa de Cronbach, cuyos valores oscila entre 0 y 1,0. 0 significa confiabilidad nula y 1 representa confiabilidad total. • Son valores aceptables de alfa para propósitos de investigación ≥ 0,7, y para propósito de toma de decisiones ≥0,9. • En todo caso, se espera que dicho índice esté por encima de 0,70* • El índice se puede generar por preguntas individuales. Las preguntas que no cumplan con el índice requerido se eliminarán del estudio * Streiner DL. Starting at the beginning: an introduction to coefficient alpha and internal consistency. J Pers Assess. 2003; 80:99-103
  29. 29. INTERPRETACIÓN DE UN COEFICIENTE DE CONFIABILIDAD 0 1 0% de confiabilidad en la medición (medición contaminada de error) 0% de confiabilidad en la medición (medición contaminada de error) 100% de confiabilidad en la medición (no hay error) 100% de confiabilidad en la medición (no hay error) Hernández Sampieri y col Muy baja BajaBaja RegularRegular AceptableAceptable ElevadaElevada ? 0.2 0.4 0.6 0.8
  30. 30. La confiabilidad • Se refiere al grado en que su aplicación repetida al mismo sujeto u objeto, produce iguales resultados. EJEMPLO DE RESULTADOS PROPORCIONADOS POR UN INSTRUMENTO DE MEDICIÓN SIN CONFIABILIDAD/SIN PRECISIÓN 1º APLICACIÓN 2º APLICACIÓN 3º APLICACIÓN Martha 130 Laura 131 Luis 140 Laura 125 Luis 130 Teresa 129 Arturo 118 Marco 127 Martha 124 Luis 112 Arturo 120 Rosa María 120 Marco 110 Chester 118 Laura 109 Rosa Maria 110 Teresa 118 Chester 108 Chester 108 Martha 115 Arturo 103 Teresa 107 Rosa María 107 Marco 101
  31. 31. • La confiabilidad varía de acuerdo al número de ítems que incluya el instrumento de medición. Cuantos más ítems la confiabilidad aumenta (desde luego, que se refieran a la misma variable). • Esto resulta lógico, veámoslo con un ejemplo cotidiano: Si se desea probar qué tan confiable o consistente es la lealtad de un amigo hacia nuestra persona, cuantas más pruebas le pongamos, su confiabilidad será mayor. Claro está que demasiados ítems provocarán cansancio en el respondiente.
  32. 32. Ejemplo Nº Formularios PREGUNTAS Total p1 p2 p3 p4 p5 p6 p7 p8 Filas 1 3 2 3 2 2 2 3 3 20 2 3 3 2 3 2 2 2 2 19 3 2 3 2 1 3 2 2 2 17 4 2 2 2 2 3 2 3 2 18 5 2 2 3 2 2 3 2 2 18 6 3 3 3 2 2 2 1 2 18 7 2 4 3 2 3 1 1 2 18 8 2 3 2 1 2 1 2 2 15 9 2 2 2 2 2 2 2 2 16 10 3 3 3 2 3 2 2 2 20 11 3 3 3 3 2 2 2 3 21 12 3 3 3 3 3 3 3 3 24 PROMEDIO 2.50 2.75 2.58 2.08 2.42 2.00 2.08 2.25 Varianza total DESVEST 0.52 0.62 0.51 0.67 0.51 0.60 0.67 0.45 columnas VARIANZA Si2 0.27 0.39 0.27 0.45 0.27 0.36 0.45 0.20 5.70 SUMA DE VARIANZAS St 2 2.65
  33. 33. Coeficiente alfa de Cronbach Existen dos formas de calcularlo Resultado de correlación de las puntuaciones positiva moderada a más = Instrumento Homogéneo Coeficiente alfa de Cronbach: Valores son entre 0 y 1 Donde 0=nula confiabilidad 1=máxima confiabilidad. >0.75 es aceptable > 0.90 es elevada
  34. 34. *) CONFIABILIDAD La confiabilidad, del instrumento se efectuará aplicado el coeficiente Alfa de Crombach, cuya fórmula es: ∝ = K K - 1 Donde: ∝ = Coeficiente de Crombach K = N° de items utilizados para el cálculo Si2 = Varianza de cada item St2 = Varianza total de los items El valor obtenido de Alfa es: ∝ = K K - 1 El valor de alfa obtenido es: α = 37 36 K 1 - ΣSi2 i = 1 St2 K 1 - ΣSi2 i = 1 St2 1 – 42,622 Reemplazando: α = (8/8-1) ( 1- ( 2.65/5.70)) α = (1.1428* 0.5345) α = 0.61. Por lo tanto, la escala no es confiable. Deben eliminarse los ítem necesarios hasta que el valor del α sea ≥ 0,7.
  35. 35. Estrategias para incrementar la confiabilidad de los Cuestionarios • Alargar el instrumento. • Efectuar preguntas de mediana dificultad. • Aumentar el tiempo para contestar el instrumento. • Asegurarse que el instrumento sea claro para el público objetivo.
  36. 36. Métodos de formas alternativas o paralelas Dos o mas versiones de un instrumento Aplicación de los instrumentos a las mismas personas simultáneamente o en un periodo corto de tiempo Resultado Si la correlación entre los resultados es positiva Confiable Hernández Sampieri y col PROCEDIMIENTOS MAS UTILIZADOS PARA MEDIR CONFIABILIDAD
  37. 37. Métodos de mitades partidas (Split-halves) Un instrumento dividido en dos mitades 1 sola aplicación del instrumento de 10 ítems Resultado 1-3-4-7-10 2-5-6-8-10 Si la correlación entre los resultados de las dos Mitades es fuerte Confiable Hernández Sampieri y col PROCEDIMIENTOS MAS UTILIZADOS PARA MEDIR CONFIABILIDAD
  38. 38. •Dividir los ítems del instrumento en dos partes iguales. •Correlacionar las puntuaciones totales de las dos mitades. •Multiplicas el coeficiente obtenido por 2 y dividir por el término 1 (uno) mas la correlación de las dos mitades (corrección de Spearman – Brown), como la siguiente fórmula Métodos de mitades partidas (Split-halves)
  39. 39. Medidas de consistencia interna (Coeficiente alfa de Cronbach, Kuder y Richardson o fórmula KR-20, KR21, Un instrumento 1 sola aplicación del instrumento Resultado Coeficiente alfa de Cronbach es para variables de intervalos o de razón KR.20 y KR21 es para ítems dicotómicos Coeficiente de Correlación de Pearson cuando el nivel de medición es por intervalos o razón. Coeficiente de Spearman o de Kendall cuando el nivel de medición es ordinal Hernández Sampieri y col PROCEDIMIENTOS MAS UTILIZADOS PARA MEDIR CONFIABILIDAD
  40. 40. Coeficiente alfa de Cronbach
  41. 41. Kuder y Richardson o fórmula KR-20 Instrumentos de nivel conocimientos.
  42. 42. Ejemplo: Prueba de rendimiento académico de 5 ítems realizado en 9 alumnos Vt =Vt =Vt = Muy baja consistencia interna del instrumento
  43. 43. Cronbach de 0,804 (>0,8) Kaiser- Meyer-Olkin fue de 0,082 y el test de esfericidad de Bartlett fue de 0,023, por lo que no se realizó el análisis factorial.
  44. 44. Se recomiendan dos etapas: a) Adaptación cultural: traducción directa, síntesis, traducción inversa, consolidación por comité de expertos y pre-test. b) Validación (con hasta siete pasos): - Evaluación de la consistencia interna. - Fiabilidad intra-observador. - Fiabilidad interobservador. - Validez lógica. - Validez de contenido. -,Validez de criterio. - Validez de constructo. Traducción, adaptación cultural y validación de cuestionarios de salud.
  45. 45. FACTORES QUE PUEDEN AFECTAR LA CONFIABILIDAD Y VALIDEZ • 1.- la improvisación. Algunas personas creen que elegir un instrumento de medición o desarrollar uno es algo que puede tomarse a la ligera. • 2.- instrumentos desarrollados en el extranjero que no han sido validados a nuestro contexto : cultura y tiempo
  46. 46. • 3.- instrumento resulta inadecuado para las personas a las que se les aplica: no es empático. • 4.- las condiciones en las que se aplica el instrumento de medición. Si hay ruido, hace mucho frío (por ejemplo en una encuesta de casa en casa), el instrumento es demasiado largo o tedioso.
  47. 47. Si no haces las preguntas correctas, no obtienes las respuestas correctas... El hacer preguntas es el ABC del diagnostico. Sólo la mente que cuestiona resuelve problemas. - Edward Hodnett
  48. 48. LO «IMPOSIBLE» ES A VECES LO «NUNCA INTENTADO» • Los japoneses siempre han gustado del pescado fresco. Pero las aguas cercanas a Japón no han tenido muchos peces por décadas. Así que para alimentar a la población japonesa, los barcos pesqueros fueron fabricados más grandes y así pudo ir mar adentro. Mientras más lejos iban los pescadores, más era el tiempo que les tomaba regresar a la costa a entregar el pescado. • El viaje redondo tomaba varios días, el pescado ya no estaba fresco. A los japoneses no les gusta el sabor del pescado cuando no es fresco.
  49. 49. • Para resolver este problema, las compañías pesqueras, instalaron congeladores en los barcos pesqueros. Así podían pescar y poner los pescados en los congeladores. Además los congeladores permitían a los barcos ir aún más lejos y por más tiempo. • Sin embargo, los japoneses pudieron percibir la diferencia entre el pescado congelado y el pescado fresco, y no les gustó el pescado congelado. El pescado congelado se tenía que vender más barato. • Así que las compañías instalaron tanques para los peces en los barcos pesqueros. Podían así pescar los peces, meterlos en los tanques, mantenerlos vivos hasta llegar a la costa de Japón. Pero, después de un tiempo, los peces dejaban de moverse en el tanque. Estaban aburridos y cansados pero vivos. • Desafortunadamente, los japoneses también notaron la diferencia del sabor. Porque cuando los peces dejan de moverse por días, pierden el sabor «fresco-fresco».
  50. 50. • Los japoneses prefieren el sabor de los peces bien vivos y frescos, no el de los peces aburridos y cansados que los pescadores les traían. • ¿Cómo resolvieron el problema las compañías pesqueras japonesas? ¿Cómo consiguieron traer pescado con sabor de pescado fresco?
  51. 51. • Mantener el sabor fresco de los peces, las compañías pesqueras todavía ponen a los peces dentro de los tanques en los botes pesqueros. Pero ahora ellos ponen también ¡un TIBURÓN pequeño! • Claro que el tiburón se come algunos peces, pero los demás llegan muy, pero muy vivos. ¡Los peces son desafiados! Tienen que nadar durante todo el trayecto dentro del tanque, ¡para mantenerse vivos!! En lugar de evitar los desafíos, brinca hacia ellos y dales una paliza. Disfruta el juego. Si tus desafíos son muy grandes o son demasiados, nunca te rindas. El fracaso te cansará aún más.
  52. 52. • Cuando alcances tus metas, proponte otras mayores. • Una vez que satisfagas tus metas familiares, busca alcanzar las metas de tu grupo, tu comunidad, hasta de la humanidad completa. • Nunca debes crear el éxito para luego acostarte sobre él. Tú tienes recursos, habilidades y capacidades para lograr lo que tú sueñas, para hacer la diferencia, para lograr el cambio que te propones.
  53. 53. Así que, invita un tiburón a tu tanque, y descubre ¡qué tan lejos realmente puedes llegar!
  54. 54. ¿Preguntas? cristiandiazv@hotmail.com

×