Validez de instrumentos y pruebas piloto

VALIDEZ DE UN INSTRUMENTOVALIDEZ DE UN INSTRUMENTO
Dr. Cristian Díaz Vélez
Médico Epidemiólogo
Jefe de la Oficina Inteligencia Sanitaria
Hospital Nacional Almanzor Aguinaga Asenjo
Profesor de la Universidad San Martín de Porres

Imagina que deseas evaluar el Nivel de Glucosa en
sangre en pacientes adultos y el GLUCOMETRO que
vas a usar esta descalibrado.
No Importa:
Si el proyecto de investigación es perfecto
Si la muestra y muestreo es adecuado
Si usas las pruebas estadística mas potentes y
complejas.
Se invirtió mucho dinero y mucho tiempo
Simplemente tus resultados no sirven. ¿EVIDENTE NO?

Si el instrumento que es usado para la
recolección de datos no esta validado..!
Las conclusiones tampoco son validados

REQUISITOS DE UN BUEN INSTRUMENTO DE MEDICION
CONFIABILIDAD
GRADO EN QUE SU APLICACION
REPETIDA AL MISMO SUJETO U
OBJETO PRODUCE IGUALES
RESULTADOS
VALIDEZ
GRADO EN QUE UN
INSTRUMENTO MIDE LA
VARIABLE QUE PRETENDE
MEDIR
Hernández Sampieri y col
GRADO EN QUE UN INSTRUMENTO
PRODUCE RESULTADOS
CONSISTENTES Y COHERENTES
El instrumento debe demostrar ser confiable y válido a la vez

1. Validez : seguridad, exactitud
Error sistemático
2. Confiabilidad : Precisión, reproducibilidad
Error aleatorio
VALIDEZ Y CONFIABILIDAD DE LOS INSTRUMENTOS
DE RECOLECCIÓN DE DATOS

A no ha sido ni exacto ni preciso.
B Exacto y preciso.
C bastante exacto pero no preciso.
D muy preciso pero poco exacto. 6
Confiabilidad ~Precisión
Validez ~Exactitud

La validez
• En términos generales, se refiere al grado en que
un instrumento realmente mide la variable que
pretende medir.
• Por ejemplo, un instrumento para medir la
inteligencia válido debe medir la inteligencia y no
la memoria.
• La validez es una cuestión más compleja que debe
alcanzarse en todo instrumento de medición que
se aplica.

Validez
• Para la validación se contará con un panel de expertos,
que suele consistir de un promedio de 10-15 personas,
aunque de hecho pueden bastar de 5 a 7.
• Dicho panel debe estar compuesto de personas
conocedoras de la materia, entre los cuáles puede estar
el evaluador, especialistas en la materia técnica
concerniente, personal de salud, administradores,
miembros de la facultad, etc.
• Mejorar el cuestionario para que este cumpla con el
nivel del público objetivo y con el propósito y objetivos
del estudio.

Validez de contenido, criterio y
constructo
• Las recomendaciones del panel de expertos se orientan a
facilitar la claridad de las preguntas, la relevancia de las
mismas, si el número de preguntas es adecuado, o si el
tiempo que toma contestarlo es o no apropiado.
• El panel de expertos sugerirá el cambio de preguntas,
eliminación de algunas de ellas, uso apropiado de las
palabras, o modificaciones en el formato del
cuestionario.
• Dichas recomendaciones deben tenerse en cuenta en la
modificación del cuestionario.

Validez del contenido
• Grado en que el contenido de un instrumento es
capaz de medir la mayor parte de las dimensiones
del constructo que se quiere estudiar.
• Por ejemplo una prueba de conocimientos sobre las
canciones de un grupo musical no deberá basarse
solamente en sus 2 primeros discos, sino que debe
incluir canciones de todos sus discos.
Revisión del tema
Experiencia de los expertos

Validez del criterio
• Grado en que el resultado del cuestionario predice o
concuerda con algún criterio de “valor real” o gold
standard.
• Por ej., un investigador valida un examen sobre
manejo de aviones, mostrando la exactitud con que
el examen predice que tan bien un grupo de pilotos
puede operar un aeroplano.
Test Psicologicos: Zung, Hamilton, etc
Coeficiente de concordancia Kappa (var. categóricas) y
Correlación intraclase (var. cuantitativas)

Validez del constructo
• Es probablemente la más importante sobre todo
desde una perspectiva científica y se refiere al
grado en que una medición se relaciona
consistentemente con otras mediciones de acuerdo
con hipótesis derivadas teóricamente y que
conciernen a los conceptos (o constructos) que
están siendo medidos.
• Grado en que las mediciones que resulten de las
respuestas del cuestionario puedan considerarse
como una medición del fenómeno estudiado.
Muy importante escoger los expertos

VALIDEZ TOTAL = VALIDEZ DE CONTENIDO +
VALIDEZ DE CRITERIO + VALIDEZ
DE CONSTRUCTO

Fiabilidad
1. Es el grado en que un instrumento es capaz de medir
sin error.
2. Mide la proporción de variación en las mediciones que
se debe a la variedad de valores que toma una variable y
que no es producto del error sistemático (sesgo) o
aleatorio (azar).
3. Esta propiedad determina la proporción de la varianza
total atribuible a diferencias verdaderas que existen entre
los sujetos.
4. El coeficiente alfa de Cronbach es el recurso
estadístico más utilizado para evaluar la fiabilidad de un
instrumento.
5. Su valor está comprendido entre 0 y 1 y depende tanto
del número de ítems que componen la escala.

Fiabilidad
6. Cuando el instrumento está compuesto por un grupo de
dominios (sub-escalas), debe calcularse el coeficiente alfa
de Cronbach para los ítems de cada dominio respecto del
valor del puntaje del mismo (correlación ítem-dominio).
7. El valor mínimo aceptado para este coeficiente es de
0,70; valores inferiores indican que la fiabilidad de la escala
utilizada es baja.
8. Se espera un valor máximo de 0,90; valores mayores
indican que hay redundancia o duplicación, lo que significa
que varios ítems están midiendo exactamente el mismo
elemento de un dominio o constructo; por lo tanto, dichos
ítems deben eliminarse.
9. Usualmente, se prefieren valores de alfa entre 0,80 y
0,90.

Consistencia interna
1. Es el grado de correlación y coherencia que existe entre los ítems
de un instrumento o entre los ítems que conforman una dimensión en
las escalas multi-dimensionales.
2. Se evalúa si los ítems que miden una misma dimensión presentan
homogeneidad entre ellos, lo que indica que los puntos de cada
dominio miden el concepto que pretenden medir y no otro.
2. Las escalas están diseñadas para medir separadamente los diferentes
dominios que componen un determinado constructo, por lo cual se debe
evaluar la consistencia interna de cada uno de ellos.
4. Se evalúa con oeficientes de correlación de Pearson

Poder discriminante
1. Esta característica aplica para las escalas multi-
dimensionales y determina el grado de correlación que
existe entre los ítems de una dimensión y el puntaje de las
otras dimensiones a los cuales no pertenecen.
2. Se evalúa con coeficientes de correlación de Pearson.

Fiabilidad intra-observador o fiabilidad test-retest
1. Es la repetibilidad del instrumento, es decir, si cuando es aplicado por
los mismos evaluadores, con el mismo método, a la misma población y
en dos momentos diferentes se obtienen puntajes similares.
2. Coeficiente de correlación de Pearson, Spearman o intraclase
(intraclase).
3. Es importante considerar que el tiempo transcurrido entre la primera
aplicación de la escala (test) y la segunda (retest) varía según lo que se
esté midiendo.
4. No debe ser largo, para evitar variaciones en el fenómeno de interés
medido y tampoco debe ser muy breve, ya que puede presentarse un
“efecto de aprendizaje”, es decir, recordar las respuestas dadas en la
primera aplicación.
5. En los dos casos, el valor de la repetibilidad se ve alterado. Otra
dificultad que se puede presentar es que algunos sujetos no admitan
una segunda aplicación del instrumento

Fiabilidad inter-observador
1. Grado de acuerdo que hay entre evaluadores
diferentes que valoran a los mismos sujetos, con el
mismo instrumento y en la misma ocasión.
2. Coeficiente de correlación de Pearson, Spearman o
intraclase (intraclase) o Kappa.

Densidad Mamográfica: 13,59%
Densidad Mamográfica: 15,86%
VARIABILIDAD INTRAOBSERVADOR

Variables cualitativas
Concordancia= Coeficiente Kappa
Variables cuantitativas
Correlación= Coeficiente r pearson
Coeficiente spearman
Coeficiente intraclase

Medidas de consistencia interna (Coeficiente alfa de Cronbach, Kuder y Richardson o
fórmula KR-20, KR21,
Un instrumento
1 sola aplicación del
instrumento Resultado
Coeficiente alfa de Cronbach es para variables de intervalos o de razón
KR.20 y KR21 es para ítems dicotómicos
Coeficiente de Correlación de Pearson cuando el nivel de medición es por intervalos o razón.
Coeficiente de Spearman o de Kendall cuando el nivel de medición es ordinal
PROCEDIMIENTOS MAS UTILIZADOS PARA MEDIR
CONFIABILIDAD

Kuder y Richardson o fórmula KR-20
Instrumentos de nivel conocimientos.

ESTUDIOS PILOTO: tipos y
características

Que es?
• Se refiere a versiones en miniatura de un estudio a gran
escala (también llamados estudios de viabilidad).
• Los estudios piloto son un elemento crucial de un buen
diseño del estudio. La realización de un estudio piloto no
garantiza el éxito en el estudio principal, pero sí aumenta la
probabilidad.
• Los estudios piloto a cumplir una serie de funciones
importantes y pueden proporcionar información valiosa para
otros investigadores.
• Hay necesidad de una mayor discusión entre los
investigadores, tanto del proceso y los resultados de los
estudios piloto.

Prueba Piloto
• Puede referirse a los llamados estudios de factibilidad
que son "versión a pequeña escala, o el juicio de
ejecución, realizadas como preparación para el
importante estudio" (Polit et al, 2001).
• Sin embargo, un estudio piloto también puede ser la
prueba previa o "probar" de un instrumento de
investigación en particular (Baker 1994).
• Una de las ventajas de realizar un estudio piloto es que
se podría dar un aviso por adelantado acerca de dónde
podría fallar el proyecto de investigación, o si los
métodos o instrumentos propuestos son inadecuados
o demasiado complicado.

Razones para la realización de
estudios piloto
1. Desarrollo (validación de novo) de un instrumento de investigación.
2. Prueba de adecuación (validez cultural) de los instrumentos de
investigación.
3. La evaluación de la viabilidad a gran escala del estudio/ aplicación del
instrumento.
4. Estimación del tamaño muestral y/o establecer el diseño muestral.
5. Identificación de problemas logísticos que pueden producirse usando
los métodos propuestos.
6. Determinación de qué recursos (financieros, de personal, etc) son
necesarios para el estudio planificado.
7. Entrenamiento del investigador(es).
8. Evaluación de las técnicas estadísticas propuestas para el análisis de
datos para descubrir problemas potenciales.
9. Convencer a organismos de financiación que el equipo de investigación
es competente y bien informado.
10.Convencer a otros grupos de interés que el estudio principal es digno
de apoyo

Problemas de estudios piloto
• Estos incluyen la posibilidad de hacer predicciones
inexactas o suposiciones sobre la base de los datos de
piloto; los problemas derivados de la contaminación; y
los problemas relacionados con la financiación.
• Una preocupación adicional es el de la
contaminación. Esto puede ocurrir de dos maneras:
– Donde los datos del estudio piloto se incluyen en los
resultados principales.
– Donde los participantes piloto se incluyen en el estudio
principal, pero los nuevos datos se recogen de estas
personas.

Características de la Prueba Piloto para la evaluación
de la confiabilidad del instrumento
• El proyecto piloto permite averiguar la consistencia o confiabilidad
del cuestionario.
• Para ello se utiliza un número de unas 20-25 personas que
representen a los participantes del estudio.
• Se recomienda mayor número al de ítems.
• Algunos recomiendan 5 personas por ítems.
• Idealmente, las personas seleccionadas para el proyecto piloto no
deben participar en el estudio, aunque sí deben poseer
características similares a las de los participantes.
• El procedimiento para la toma de datos podría ser de encuesta, por
teléfono, por correo físico o electrónico. En el caso de
administración directa se deben anotar las observaciones para las
preguntas en las cuales el participante tenga dificultad en
contestar, para efectuar posteriormente las debidas correcciones.

EJEMPLOS DE INSTRUMENTOS
VALIDADOS

Cronbach de 0,804 (>0,8)
Kaiser- Meyer-Olkin fue
de 0,082 y el test de
esfericidad de Bartlett fue
de 0,023, por lo que no
se realizó el análisis
factorial.

ADAPTACIÓN TRANSCULTURAL AL ESPAÑOL DE LA VERSIÓN CORTA
INSTRUMENTO “THE AWARENESS OF INDEPENDENT LEARNING
INVENTORY (AILI)”

Estrategias para incrementar la confiabilidad de los
Cuestionarios
• Alargar el instrumento.
• Efectuar preguntas de mediana dificultad.
• Aumentar el tiempo para contestar el
instrumento.
• Asegurarse que el instrumento sea claro para
el público objetivo.

Si no haces las preguntas correctas, no
obtienes las respuestas correctas... El hacer
preguntas es el ABC del diagnostico. Sólo la
mente que cuestiona resuelve problemas.
- Edward Hodnett

https://dialnet.unirioja.es/descarga/articulo/5178935.pdf

http://www.dynasolutions.com/publicaciones/pdf/30.pdf

http://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S0036-36342013000100

¿Preguntas?
cristiandiazv@hotmail.com

Validez de instrumentos y pruebas piloto

Validez de instrumentos y pruebas piloto

Más contenido relacionado

La actualidad más candente

Similar a Validez de instrumentos y pruebas piloto

Más de Hospital Nacional Almanzor Aguinaga Asenjo

Último

Validez de instrumentos y pruebas piloto