Validación de un instrumentos

1. VALIDACION DE INSTRUMENTOVALIDACION DE INSTRUMENTO
Dr. Cristian Díaz Vélez
Editor Científico de Revista Cuerpo Médico Hospital Nacional Almanzor Aguinaga Asenjo
Miembro del Comité Cientifico de la Revista Acta Médica Peruana
Miembro del comité Científico. Revista Acta Médica Peruana del Colegio Médico del Perú
y Revista Médica de Risaralda, Universidad Tecnológica de Pereira-Colombia.

2. Imagina que deseas evaluar el Nivel de Glucosa en
sangre en pacientes adultos y el GLUCOMETRO que
vas a usar esta descalibrado.
No Importa:
Si el proyecto de investigación es perfecto
Si la muestra y muestreo es adecuado
Si usas las pruebas estadística mas potentes y
complejas.
Se invirtió mucho dinero y mucho tiempo
Simplemente tus resultados no sirven. ¿EVIDENTE NO?

3. Si el instrumento que es usado para la
recolección de datos no esta validado..!
Las conclusiones tampoco son validados

4. Tipos de Validación
• Novo (creación de uno).
• De otro idioma.
• Adaptación cultural.

5. Pasos de validación de Novo
• Creación del constructo: elaboración del
cuestionario
• Validación cualitativa: Validez interna y externa de un
instrumento. Validez de contenido, validez de criterio y
validez de constructo. Juicio de expertos.
• Validación cuantitativa:
- Proceso de recolección de datos. La Prueba Piloto. Evaluación de la confiabilidad
del instrumento.
- Análisis factorial. Rotación varimax, test de esfericidad de Bartlett y prueba de
Kaiser- Meyer- Olkin

6. REQUISITOS DE UN BUEN INSTRUMENTO DE MEDICION
CONFIABILIDAD
GRADO EN QUE SU APLICACION
REPETIDA AL MISMO SUJETO U
OBJETO PRODUCE IGUALES
RESULTADOS
VALIDEZ
GRADO EN QUE UN
INSTRUMENTO MIDE LA
VARIABLE QUE PRETENDE
MEDIR
Hernández Sampieri y col
GRADO EN QUE UN INSTRUMENTO
PRODUCE RESULTADOS
CONSISTENTES Y COHERENTES
Hernández Sampieri y col
El instrumento debe demostrar ser confiable y válido a la vez
Hernández Sampieri y col

7. 1. Validez : seguridad, exactitud
Error sistemático
2. Confiabilidad : Precisión, reproducibilidad
Error aleatorio
VALIDEZ Y CONFIABILIDAD DE LOS INSTRUMENTOS
DE RECOLECCIÓN DE DATOS

8. A no ha sido ni exacto ni preciso.
B Exacto y preciso.
C bastante exacto pero no preciso.
D muy preciso pero poco exacto. 8
Confiabilidad ~Precisión
Validez ~Exactitud

9. Validación cualitativa

10. La validez
• En términos generales, se refiere al grado en que un
instrumento realmente mide la variable que pretende
medir.
• Por ejemplo, un instrumento para medir la inteligencia
válido debe medir la inteligencia y no la memoria.
• La validez es una cuestión más compleja que debe
alcanzarse en todo instrumento de medición que se
aplica.

11. Validez interna y externa
• Para la validación se contará con un panel de expertos,
que suele consistir de un promedio de 10-15 personas,
aunque de hecho pueden bastar de 5 a 7.
• Dicho panel debe estar compuesto de personas
conocedoras de la materia, entre los cuáles puede estar
el evaluador, especialistas en la materia técnica
concerniente, personal de salud, administradores,
miembros de la facultad, etc.
• Mejorar el cuestionario para que este cumpla con el
nivel del público objetivo y con el propósito y objetivos
del estudio.

12. Validez de contenido, criterio y
constructo
• Las recomendaciones del panel de expertos se orientan a
facilitar la claridad de las preguntas, la relevancia de las
mismas, si el número de preguntas es adecuado, o si el
tiempo que toma contestarlo es o no apropiado.
• El panel de expertos sugerirá el cambio de preguntas,
eliminación de algunas de ellas, uso apropiado de las
palabras, o modificaciones en el formato del
cuestionario.
• Dichas recomendaciones deben tenerse en cuenta en la
modificación del cuestionario.

13. Validez del contenido
• Grado en que el contenido de un instrumento es
capaz de medir la mayor parte de las dimensiones
del constructo que se quiere estudiar.
• Por ejemplo una prueba de conocimientos sobre las
canciones de un grupo musical no deberá basarse
solamente en sus 2 primeros discos, sino que debe
incluir canciones de todos sus discos.
Revisión del tema
Experiencia de los expertos

14. Validez del contenido

15. Validez del criterio
• Grado en que el resultado del cuestionario predice o
concuerda con algún criterio de “valor real” o gold
standard.
• Por ej., un investigador valida un examen sobre
manejo de aviones, mostrando la exactitud con que
el examen predice que tan bien un grupo de pilotos
puede operar un aeroplano.
Test Psicologicos: Zung, Hamilton, etc
Coeficiente de concordancia Kappa (var. categóricas) y
Correlación intraclase (var. cuantitativas)

16. Validez del constructo
• Es probablemente la más importante sobre todo
desde una perspectiva científica y se refiere al
grado en que una medición se relaciona
consistentemente con otras mediciones de acuerdo
con hipótesis derivadas teóricamente y que
conciernen a los conceptos (o constructos) que
están siendo medidos.
• Grado en que las mediciones que resulten de las
respuestas del cuestionario puedan considerarse
como una medición del fenómeno estudiado.
Muy importante escoger los expertos

18. Expertos

19. Población Objetivo

20. VALIDEZ TOTAL = VALIDEZ DE CONTENIDO +
VALIDEZ DE CRITERIO + VALIDEZ
DE CONSTRUCTO

21. Validación cuantitativa

22. En que medida obtenemos los mismos resultados al aplicar
nuevamente el instrumento.
Reproducibilidad (consistencia, confiabilidad, precisión)
•Permite comparar:
• Mediciones repetidas hechas por un sujeto (variación
intra–observador).
• Mediciones hechas por diferentes sujetos, con el
mismo instrumento (variación ínter–observador).
• Mediciones en diferentes fracciones de una muestra
(validación interna): Rotación Varimax

23. VARIABILIDAD INTEROBSERVADOR

24. Densidad Mamográfica: 13,59%
Densidad Mamográfica: 15,86%
VARIABILIDAD INTRAOBSERVADOR

25. de
Kappa negativo indica que no
hay concordancia entre las 2
evaluaciones
Kappa negativo indica que no
hay concordancia entre las 2
evaluaciones
Valor observado
Valor esperado

26. Ejemplo con evaluaciones con mas de dos categorías
Tabla Valores
Observados
Tabla Valores
Esperados

28. COEFICIENTE DE CORRELACION INTRACLASE (CCI)
•Índice mas apropiado para cuantificar concordancia entre diferentes
mediciones
•Se recomienda para variables cuantitativas
•El CCI estima el promedio de las correlaciones entre todas las
posibles ordenaciones de los pares de observaciones disponibles y por
lo tanto evita el problema de la dependencia del orden del coeficiente
de correlación.
•También se puede usar cuando hay mas de una observación por
sujeto

29. Características de la Prueba Piloto para la evaluación
de la confiabilidad del instrumento
• El proyecto piloto permite averiguar la consistencia o confiabilidad del
cuestionario.
• Para ello se utiliza un número de unas 20-25 personas que representen a
los participantes del estudio.
• Se recomienda mayor número al de ítems.
• Algunos recomiendan 5 personas por ítems.
• Idealmente, las personas seleccionadas para el proyecto piloto no deben
participar en el estudio, aunque sí deben poseer características similares a
las de los participantes.
• El procedimiento para la toma de datos podría ser de encuesta, por
teléfono, por correo físico o electrónico. En el caso de administración
directa se deben anotar las observaciones para las preguntas en las cuales
el participante tenga dificultad en contestar, para efectuar
posteriormente las debidas correcciones.

30. Evaluación de la confiabilidad del instrumento
• La confiabilidad, se mide con el alfa de Cronbach,
cuyos valores oscila entre 0 y 1,0. 0 significa
confiabilidad nula y 1 representa confiabilidad total.
• Son valores aceptables de alfa para propósitos de
investigación ≥ 0,7, y para propósito de toma de
decisiones ≥0,9.
• En todo caso, se espera que dicho índice esté por
encima de 0,70*
• El índice se puede generar por preguntas
individuales. Las preguntas que no cumplan con el
índice requerido se eliminarán del estudio
* Streiner DL. Starting at the beginning: an introduction to coefficient alpha and internal
consistency. J Pers Assess. 2003; 80:99-103

31. INTERPRETACIÓN DE UN COEFICIENTE DE
CONFIABILIDAD
0 1
0% de confiabilidad en la
medición (medición
contaminada de error)
0% de confiabilidad en la
medición (medición
contaminada de error)
100% de confiabilidad en
la medición (no hay error)
100% de confiabilidad en
la medición (no hay error)
Hernández Sampieri y col
Muy baja BajaBaja RegularRegular AceptableAceptable ElevadaElevada
?
0.2 0.4 0.6 0.8

32. La confiabilidad
• Se refiere al grado en que su aplicación repetida al
mismo sujeto u objeto, produce iguales resultados.
EJEMPLO DE RESULTADOS PROPORCIONADOS POR UN INSTRUMENTO DE
MEDICIÓN SIN CONFIABILIDAD/SIN PRECISIÓN
1º APLICACIÓN 2º APLICACIÓN 3º APLICACIÓN
Martha 130 Laura 131 Luis 140
Laura 125 Luis 130 Teresa 129
Arturo 118 Marco 127 Martha 124
Luis 112 Arturo 120 Rosa María 120
Marco 110 Chester 118 Laura 109
Rosa Maria 110 Teresa 118 Chester 108
Chester 108 Martha 115 Arturo 103
Teresa 107 Rosa María 107 Marco 101

33. • La confiabilidad varía de acuerdo al número de ítems
que incluya el instrumento de medición. Cuantos más
ítems la confiabilidad aumenta (desde luego, que se
refieran a la misma variable).
• Esto resulta lógico, veámoslo con un ejemplo
cotidiano: Si se desea probar qué tan confiable o
consistente es la lealtad de un amigo hacia nuestra
persona, cuantas más pruebas le pongamos, su
confiabilidad será mayor. Claro está que demasiados
ítems provocarán cansancio en el respondiente.

36. Ejemplo
Nº Formularios
PREGUNTAS Total
p1 p2 p3 p4 p5 p6 p7 p8 Filas
1 3 2 3 2 2 2 3 3 20
2 3 3 2 3 2 2 2 2 19
3 2 3 2 1 3 2 2 2 17
4 2 2 2 2 3 2 3 2 18
5 2 2 3 2 2 3 2 2 18
6 3 3 3 2 2 2 1 2 18
7 2 4 3 2 3 1 1 2 18
8 2 3 2 1 2 1 2 2 15
9 2 2 2 2 2 2 2 2 16
10 3 3 3 2 3 2 2 2 20
11 3 3 3 3 2 2 2 3 21
12 3 3 3 3 3 3 3 3 24
PROMEDIO 2.50 2.75 2.58 2.08 2.42 2.00 2.08 2.25 Varianza total
DESVEST 0.52 0.62 0.51 0.67 0.51 0.60 0.67 0.45 columnas
VARIANZA Si2 0.27 0.39 0.27 0.45 0.27 0.36 0.45 0.20 5.70
SUMA DE VARIANZAS
St 2 2.65

37. Coeficiente alfa de Cronbach
Existen dos formas de calcularlo
Resultado de correlación de las puntuaciones
positiva moderada a más = Instrumento Homogéneo
Coeficiente alfa de Cronbach:
Valores son entre 0 y 1
Donde 0=nula confiabilidad
1=máxima confiabilidad.
>0.75 es aceptable
> 0.90 es elevada

38. *) CONFIABILIDAD
La confiabilidad, del instrumento se efectuará aplicado el coeficiente
Alfa de Crombach, cuya fórmula es:
∝ = K
K - 1
Donde: ∝ = Coeficiente de Crombach
K = N° de items utilizados para el cálculo
Si2
= Varianza de cada item
St2
= Varianza total de los items
El valor obtenido de Alfa es:
∝ = K
K - 1
El valor de alfa obtenido es:
α = 37
36
K
1 - ΣSi2
i = 1
St2
K
1 - ΣSi2
i = 1
St2
1 – 42,622
Reemplazando:
α = (8/8-1) ( 1- ( 2.65/5.70))
α = (1.1428* 0.5345)
α = 0.61.
Por lo tanto, la escala no es confiable. Deben eliminarse los ítem necesarios hasta
que el valor del α sea ≥ 0,7.

39. Estrategias para incrementar la confiabilidad de los
Cuestionarios
• Alargar el instrumento.
• Efectuar preguntas de mediana dificultad.
• Aumentar el tiempo para contestar el
instrumento.
• Asegurarse que el instrumento sea claro para
el público objetivo.

40. Métodos de formas alternativas o paralelas
Dos o mas versiones
de un instrumento
Aplicación de los instrumentos a las
mismas personas simultáneamente o
en un periodo corto de tiempo
Resultado
Si la correlación entre los resultados es positiva Confiable
Hernández Sampieri y col
PROCEDIMIENTOS MAS UTILIZADOS PARA MEDIR
CONFIABILIDAD

41. Métodos de mitades partidas (Split-halves)
Un instrumento dividido
en dos mitades
1 sola aplicación del
instrumento de 10 ítems Resultado
1-3-4-7-10
2-5-6-8-10
Si la correlación entre los resultados de las dos
Mitades es fuerte
Confiable
Hernández Sampieri y col
PROCEDIMIENTOS MAS UTILIZADOS PARA MEDIR
CONFIABILIDAD

42. •Dividir los ítems del instrumento en dos partes iguales.
•Correlacionar las puntuaciones totales de las dos mitades.
•Multiplicas el coeficiente obtenido por 2 y dividir por el término 1 (uno) mas
la correlación de las dos mitades (corrección de Spearman – Brown), como la
siguiente fórmula
Métodos de mitades partidas (Split-halves)

43. Medidas de consistencia interna (Coeficiente alfa de Cronbach, Kuder y Richardson o
fórmula KR-20, KR21,
Un instrumento
1 sola aplicación del
instrumento Resultado
Coeficiente alfa de Cronbach es para variables de intervalos o de razón
KR.20 y KR21 es para ítems dicotómicos
Coeficiente de Correlación de Pearson cuando el nivel de medición es por intervalos o razón.
Coeficiente de Spearman o de Kendall cuando el nivel de medición es ordinal
Hernández Sampieri y col
PROCEDIMIENTOS MAS UTILIZADOS PARA MEDIR
CONFIABILIDAD

44. Coeficiente alfa de Cronbach

45. Kuder y Richardson o fórmula KR-20
Instrumentos de nivel conocimientos.

46. Ejemplo: Prueba de rendimiento académico de 5 ítems
realizado en 9 alumnos
Vt =Vt =Vt =
Muy baja consistencia interna del instrumento

51. Cronbach de 0,804 (>0,8)
Kaiser- Meyer-Olkin fue
de 0,082 y el test de
esfericidad de Bartlett fue
de 0,023, por lo que no
se realizó el análisis
factorial.

58. Se recomiendan dos etapas:
a) Adaptación cultural: traducción directa, síntesis,
traducción inversa, consolidación por comité de
expertos y pre-test.
b) Validación (con hasta siete pasos):
- Evaluación de la consistencia interna.
- Fiabilidad intra-observador.
- Fiabilidad interobservador.
- Validez lógica.
- Validez de contenido.
-,Validez de criterio.
- Validez de constructo.
Traducción, adaptación cultural y validación de
cuestionarios de salud.

61. FACTORES QUE PUEDEN AFECTAR
LA CONFIABILIDAD Y VALIDEZ
• 1.- la improvisación. Algunas personas creen
que elegir un instrumento de medición o
desarrollar uno es algo que puede tomarse a
la ligera.
• 2.- instrumentos desarrollados en el extranjero
que no han sido validados a nuestro contexto :
cultura y tiempo

62. • 3.- instrumento resulta inadecuado para las
personas a las que se les aplica: no es
empático.
• 4.- las condiciones en las que se aplica el
instrumento de medición. Si hay ruido, hace
mucho frío (por ejemplo en una encuesta de
casa en casa), el instrumento es demasiado
largo o tedioso.

63. Si no haces las preguntas correctas, no
obtienes las respuestas correctas... El hacer
preguntas es el ABC del diagnostico. Sólo la
mente que cuestiona resuelve problemas.
- Edward Hodnett

64. LO «IMPOSIBLE» ES A VECES LO
«NUNCA INTENTADO»
• Los japoneses siempre han gustado del pescado fresco.
Pero las aguas cercanas a Japón no han tenido muchos
peces por décadas. Así que para alimentar a la
población japonesa, los barcos pesqueros fueron
fabricados más grandes y así pudo ir mar adentro.
Mientras más lejos iban los pescadores, más era el
tiempo que les tomaba regresar a la costa a entregar el
pescado.
• El viaje redondo tomaba varios días, el pescado ya no
estaba fresco. A los japoneses no les gusta el sabor del
pescado cuando no es fresco.

65. • Para resolver este problema, las compañías pesqueras, instalaron
congeladores en los barcos pesqueros. Así podían pescar y poner
los pescados en los congeladores. Además los congeladores
permitían a los barcos ir aún más lejos y por más tiempo.
• Sin embargo, los japoneses pudieron percibir la diferencia entre el
pescado congelado y el pescado fresco, y no les gustó el pescado
congelado. El pescado congelado se tenía que vender más barato.
• Así que las compañías instalaron tanques para los peces en los
barcos pesqueros. Podían así pescar los peces, meterlos en los
tanques, mantenerlos vivos hasta llegar a la costa de Japón. Pero,
después de un tiempo, los peces dejaban de moverse en el tanque.
Estaban aburridos y cansados pero vivos.
• Desafortunadamente, los japoneses también notaron la diferencia
del sabor. Porque cuando los peces dejan de moverse por días,
pierden el sabor «fresco-fresco».

66. • Los japoneses prefieren el sabor de los peces bien vivos y
frescos, no el de los peces aburridos y cansados que los
pescadores les traían.
• ¿Cómo resolvieron el problema las compañías pesqueras
japonesas? ¿Cómo consiguieron traer pescado con sabor de
pescado fresco?

67. • Mantener el sabor fresco de los peces, las compañías
pesqueras todavía ponen a los peces dentro de los tanques en
los botes pesqueros. Pero ahora ellos ponen también ¡un
TIBURÓN pequeño!
• Claro que el tiburón se come algunos peces, pero los demás
llegan muy, pero muy vivos. ¡Los peces son desafiados!
Tienen que nadar durante todo el trayecto dentro del tanque,
¡para mantenerse vivos!! En lugar de evitar los desafíos,
brinca hacia ellos y dales una paliza. Disfruta el juego. Si tus
desafíos son muy grandes o son demasiados, nunca te rindas.
El fracaso te cansará aún más.

68. • Cuando alcances tus metas, proponte otras mayores.
• Una vez que satisfagas tus metas familiares, busca
alcanzar las metas de tu grupo, tu comunidad, hasta
de la humanidad completa.
• Nunca debes crear el éxito para luego acostarte sobre
él. Tú tienes recursos, habilidades y capacidades para
lograr lo que tú sueñas, para hacer la diferencia, para
lograr el cambio que te propones.

69. Así que, invita un tiburón a tu tanque, y
descubre ¡qué tan lejos realmente puedes
llegar!

72. ¿Preguntas?
cristiandiazv@hotmail.com