Validacion de instrumentos

VALIDEZ DE UN
ESTUDIO

1 Dra. Ilse Janine Villavicencio Ramírez

Desde la revolución científica ocurrida en el renacimiento en
el siglo XV hasta nuestros días, el hombre se ha valido de la
investigación científica para identificar las causas de las
enfermedades o las mejores formas de tratarlas.

Este elemento es parte integral del paradigma conocido como
la Medicina Basada en la Evidencia. Este paradigma postula
que las decisiones médicas deben basarse en la mejor
evidencia científica disponible, adaptada al caso individual del
paciente mediante la experiencia clínica.


1. La validez interna
Es la credibilidad de sus resultados, o dicho de otra manera
la capacidad de demostrar o refutar la hipótesis propuesta.
Es máxima cuando el estudio carece de sesgos. En términos
generales, los sesgos que afectan la validez interna surgen
siempre que los grupos estudiados difieren en más
características que la exposición.

Por ejemplo, si se está estudiando la frecuencia de infarto de
miocardio en un grupo de sujetos obesos o de peso normal,
cualquier diferencia en la edad de los grupos podría afectar
la relación entre la obesidad y la ocurrencia de infarto de
miocardio. Asimismo, existe sesgo siempre que los grupos
de sujetos no son evaluados de la misma manera.
Dra. Ilse Janine Villavicencio Ramirez
3

2. La validez externa
La aplicabilidad de los resultados del estudio se relaciona con la validez externa
del estudio.

En muchas ocasiones el universo e incluso el marco muestral es demasiado
grande como para ser estudiado e incluso muestreado; es estos casos se realiza
el estudio en una porción deliberada de la población; teniendo en cuenta que el
conglomerado seleccionado es lo suficientemente homogéneo con el resto de la
población; los resultados encontrados en este grupo podrán ser extrapolados a la
población objeto del estudio.

Por ejemplo si tratamos de conocer la satisfacción de la atención en los
pacientes de un servicio de salud; bastará con estudiar a los pacientes que
acudan durante un mes a dicho servicio; otro ejemplo más claro es cuando
tomamos una muestra de sangre con la finalidad de conocer concentración de
gases y asumimos que lo encontrado en 10 mililitros corresponde a los 5 litros
de sistema circulatorio.

Validación de Instrumentos

Si las herramientas de recolección usadas son defectuosas, hay que
olvidarse del éxito de la investigación.
El tratamiento estadístico no conseguirá el milagro de transformar
datos de mala calidad en buenos resultados.

CONSTRUCCIÓN

Elaboración del instrumento preliminar: Definición de las
dimensiones y de los ítems.


1. Validación cualitativa

Se realiza cuando no hay expertos sobre el tema ni
estudios preliminares; por ejemplo se reclutan 10
unidades de estudio a quienes se les hace un
seguimiento durante un tiempo necesario; para
identificar preliminarmente los distintos tópicos del
cuestionario a plantear y sus resultados son
sometidos a un análisis cualitativo de contenido.

6 Dra. Ilse Janine Villavicencio Ramirez

2. Validez de contenido
(Juicio de Expertos o validación por jueces)

Un instrumento de medición debe contener representados a
todos los ítems del dominio de contenido de las variables a
medir. Se refiere al grado en que la medición representa al
concepto medido. Es decir, que el instrumento debe contener
todos los aspectos o ítems del dominio de la variable que se
esta midiendo, y se construye de acuerdo con la teoría. Su
finalidad es garantizar que el test constituye una muestra
adecuada y representativa del contenido que éste pretende
evaluar.

Primero : Identificación de los jueces
Segundo : Revisión de los reactivos por parte de jueces expertos


3. Consistencia interna (Alfa de Cronbach)

Es la fiabilidad en sentido estricto, y requiere de un pretest algunos autores la
denominan Coherencia.
Siendo un procedimiento estadístico se considera la naturaleza de las variables.

a. Para variables numéricas:

Se utiliza el índice de consistencia interna alfa de Cronbach;
su aumenta cuando las correlaciones ítem – total son altas,
por ello, mejores correlaciones, dan mayor fiabilidad al
instrumento. Los ítems cuyos coeficientes de correlación son
menores a 0,35 deben ser o recodificados reformulados o
desechados (Cohen –Manion, 1990). Se recodifican los ítems
cuya varianza se encuentran dentro del rango intercuartílico.


3. Consistencia interna (Alfa de Cronbach)

a. Para variables numéricas:

El coeficiente de fiabilidad es afectado por la heterogeneidad de
los individuos que contestan la prueba; cuanto más heterogéneo
es el grupo de encuestados, mayor es el coeficiente de
fiabilidad.
Así entonces, este coeficiente no es una propiedad exclusiva del
instrumento en si, sino que es del instrumento para un
determinado grupo de personas en una determinada situación
(Lang Silveira, 1993).

Se puede decir también que es un índice de discriminación.
Este método supera ampliamente a la fiabilidad por equivalencia
donde el cuestionario se divide en dos mitades (se divide en 2,
pares e impares) y se aplica una t de student.
En los casos de puntajes generados por instrumentos para
comparar grupos a través de diferencias de medias, se toma 0,7
como valor mínimo aceptable Ilse Janine Villavicencio
9 Dra. (Lang Silveira, 1993).
Ramirez

Alfa de Cronbach
 Él método de fiabilidad más utilizado en psicometría es el Alfa de
Cronbach (desarrollado el año 1951). Se trata de un índice de
consistencia interna que toma valores entre 0 y 1 y que sirve para
comprobar si el instrumento que se está evaluando recopila
información defectuosa y por tanto nos llevaría a conclusiones
equivocadas o si se trata de un instrumento fiable que hace
mediciones estables y consistentes. Alfa es por tanto un coeficiente
de correlación al cuadrado que, a grandes rasgos, mide la
homogeneidad de las preguntas promediando todas las
correlaciones entre todos los ítems para ver que, efectivamente, se
parecen.
 Su interpretación será que, cuanto más se acerque el índice al
extremo 1, mejor es la fiabilidad, considerando una fiablilidad
respetable a partir de 0,80


Formulación
El cálculo del coeficiente de Cronbach puede
llevarse a cabo de dos formas:

 a) Bien mediante la varianza de los  b) o bien mediante la matriz de
ítems y la varianza del puntaje correlación de los ítems:
total: 
 

α=
  Siendo
Siendo
 n el número de ítems,
 la suma de varianzas de cada
ítem.  p el promedio de las correlaciones
lineales entre cada uno de los
 la varianza del total de filas ítems
(puntaje total de los jueces)
 K el número de preguntas o ítems.


4. Validez de criterio (Índice Kappa)
Denominada también fiabilidad como equivalencia o también
precisión: Es el equivalente de la consistencia interna para la
consistencia interna y se calcula con el índice KAPPA de Cohen.

Criterio: es una comparación entre nuestra situación de
medida y un estándar al que se le llama criterio. Es disponer
de otra situación de la que conozco su validez. Pero se
requiere de consenso entre la comunidad científica, se trabaja
en relación al criterio o Gold Standard (patrón de oro). Es el
patrón de comparación de cualquier medida para determinar si
es válida. A éste se deberá comparar cualquier medida que se
aprecie de ser válida.

El índice kappa se le considera como muy bueno a partir de
0,8 y muy malo por debajo de 0,20.

12

4. Validez de criterio (Índice Kappa)

Si se trabaja con variables dicotómicas, el análisis pasa a
llamarse análisis de sensibilidad y especificidad.

Cuando no hay criterios, hay que idearlos o inventarlos, y el
Kappa se calculará para cuantificar el grado de acuerdo entre
los observadores, corrigiendo de esta manera el factor azar.
Solo en este caso se le denomina fiabilidad por equivalencia o
concordancia entre observadores.
El instrumento y el estándar se miden al mismo tiempo, en
cuyo caso se llama “validez de criterio concurrente” y cuando
el instrumento y el estándar no son medidos a la vez se habla
de “validez de criterio predictiva” en este último caso,
debemos conocer previamente los datos del estándar y lo que
se obtiene es la predicción.


5. Validez de constructo (Rotación de Varimax)

En ocasiones tenemos una medición que hay que valorar y
no contamos con un criterio o estándar, el procedimiento
consiste en aplicar el instrumento a dos o más grupos y ver
si discrimina. Para ello hay que contar con una estructura
Factorial del cuestionario.
Por ejemplo en los instrumentos para medir variables
psicológicas no podemos garantizar la existencia de un
constructo psicológico que subyaga y dé sentido y
significado a las puntuaciones del test; por lo mismo que no
tenemos una prueba patrón.


6. Estabilidad (ANOVA)

La Estabilidad o confiabilidad se refiere a la confianza que se
concede a los datos; requiere de un retest en condiciones similares
a la primera evaluación y está relacionada con la estabilidad o
constancia test-retest.

Se trata de ver hasta que punto un conjunto de medidas son
reproducibles en el tiempo, el grado en que las puntuaciones son
estables sería el grado de fiabilidad. Por ello es sinónimo de
estabilidad.

La mayoría de las variables biológicas no admiten este tipo de
fiabilidad. Se viola el supuesto de independencia. Sobrestima la
fiabilidad de la situación de medida. Es imposible decir, que las
circunstancias de la primera medida son idénticas a la segunda
evaluación. Siempre hay cambios.

7. Punto de corte (Curvas ROC)

Muchas variables cuantitativas y continuas se dicotomizan.
Habitualmente requerimos que el instrumento nos conduzca a una
decisión dicotómica (positivo-negativo) para tratar o no a alguien;
Se realizan trazando un diagrama en el que la ordenada es la
sensibilidad y la abscisa la especificidad. En este sentido la curva
ROC nos muestra en un gráfico todos los pares sensibilidad-
especificidad resultantes de la variación continua de los puntos de
corte en todo el rango de resultados observados.

Las Curvas de Roc optimizan el punto de corte.
Cuanto más sensible y especifica sea la prueba (representación:
puntos más hacia arriba y más hacia la izquierda) más se alejará de
la diagonal, el mejor punto de corte es el que más se aleja de la
diagonal.


NOTAS:
Se recomienda aplicar como mínimo a una cantidad
de individuos igual a 5 veces el número de ítems a
efectos de evitar obtener correlaciones ítem – total
espuriamente altas (Hair et al., 1998:99). Esto es
también útil para la rotación de Varimax

En el instrumento debe armarse en función a
núcleos temáticos o dimensiones que conformen
subtests, cada uno de ellos construido por diversos
ítemes, cada uno con su correspondiente puntaje,
que genera a su vez un puntaje total particular para
cada unidad de estudio.


OBJETIVO ESTADÍSTICO

Nivel Investigativo Relacional

Var Numérica


1. COMPARAR (Grupos): Su finalidad es identificar las diferencias entre
los grupos participantes; se puede comparar dos o más grupos y
habitualmente estos grupos se construyen en la etapa de planificación del
estudio. La comparación inicial es a dos colas; pero debe
complementarse con un test de una sola cola. Cuando se comparan mas
de dos grupos, debe realizarse una prueba post Hoc, con la finalidad de
detectarse diferencias entre cada uno de los grupos.

La prueba de hipótesis se realiza con el estadístico: t de Student para
muestras independientes.

Ho: Los promedios de los grupos no son diferentes.
H1: Los promedios de los grupos son diferentes.


2. COMPARAR (Antes - Después): Siempre corresponde a estudios
individuales, es la comparación de un mismo grupo antes y después de
una intervención o de un acontecimiento; la idea de hacer dos medidas
sobre el mismo grupo, es detectar cambios entre una medida y otra;
donde las variaciones pueden adjudicarse a la intervención o al periodo
de seguimiento; por ello corresponden a estudios longitudinales. La
hipótesis habitualmente es de una sola cola.

La prueba de hipótesis se realiza con el estadístico: t de Student para
muestras relacionadas.

Ho: No existe variación entre las medidas antes y después de la intervención.
H1: Existe variación entre las medidas antes y después de la intervención.

20

3. CORRELACIONAR (Unidades): Se puede correlacionar las unidades
de dos variables, incluso de diferente dimensión, para ello hay que definir
las unidades en ambas variables; que habitualmente esta involucra dos
eventos aleatorios. La correlación puede significar el primer paso para la
asociación, muy útil cuando se realiza minería de datos. Ejm.:
Correlacionar los niveles séricos de sodio con los valores de presión
arterial en un grupo de pacientes hospitalizados.

La prueba de hipótesis se realiza con el estadístico: Correlación R de
Pearson.

Ho: Existe independencia entre las dos variables.
H1: Existe dependencia entre las dos variables.


4. CORRELACIONAR (Como valor predictivo): Aquí se tiene por
descontado la presencia de correlación; por lo que su fin es medir el
grado de correlación. Desde el punto de vista de la evaluación de pruebas
diagnósticas se utiliza la correlación para evaluar el valor predictivo de
una variable sobre la otra. Ejm. Hallar el valor predictivo del ponderado
fetal recién nacidos a término. En general para la validación de
instrumentos se puede utilizar para calcular el Alfa de Cronbach:
Correlación Ítem-Total.

La prueba estadística es el Índice Correlación R de Pearson ó el R2

Ho: No existe correlación entre las dos medidas.
H1: Existe correlación entre las dos medidas.

22 Dra. Ilse Janine Villavicencio
Ramirez

ESCALAS DE
MEDICIÓN
DE LAS VARIABLES


VARIABLES CATEGÓRICAS O CUALITATIVAS

1.1 Escala NOMINAL: Posee categorías a las que se
asigna un nombre sin que exista ningún orden
implícito entre ellas. (ningún atributo)

• Género:
Masculino - Femenino

• Estado Civil:
Soltero - Casado - Conviviente

24


1.2 Escala ORDINAL: Posee categorías ordenadas,
pero no permite cuantificar la distancia entre una
categoría y otra. (un atributo - Orden)

• Instrucción:
Primaria - Secundaria - Superior

• Intensidad del dolor:
Leve - Moderado - Severo

25


OBSERVACIONES

Dicotómicas: Tienen solamente dos categorías.
Ejemplos de Ordinal Dicotómica:
Nuevo - Continuador
Vivo - Muerto
Sano – Enfermo

Politómicas: Tienen más de dos categorías.


VARIABLES NUMÉRICAS O CUANTITATIVAS

Escala DE INTERVALO: Tiene intervalos iguales y
medibles. No tiene un origen real, por lo que puede
asumir valores negativos. (dos atributos - Orden y
Distancia)

• Temperatura:
-10OC, 0OC, 20OC, etc.

• Hora del día:
00 horas, 10 horas, 20 horas

Ramirez


Escala DE RAZÓN: Tiene intervalos constantes entre
valores; además de un origen real. El cero significa la
ausencia del individuo. (tres atributos - Orden,
Distancia y Origen)

• Peso:
00.00Kg, 10.24Kg, 20.00Kg, etc.

• Hijos:
Uno, Dos, Tres, etc.

Ramirez


OBSERVACIONES

Continuas: Provienen de medir
– Se pueden representar con números
enteros o fraccionarios
– Entre dos valores siempre existe un
valor intermedio

Discretas: Provienen de contar
– Solamente pueden ser representados
con números enteros


PRUEBAS ESTADÍSTICAS DE ACUERDO
AL TIPO DE VARIABLE

OBJETIVO COMPARATIVO


30

PRUEBAS NO PARAMETRICAS

Variable de
estudio NOMINAL NOMINAL
ORDINAL
Diseño y DICOTOMICA POLITÓMICA
Número de grupos
X2 Bondad de X2 Bondad de
Un X2 Bondad de
Ajuste
grupo Ajuste Ajuste
Binomial
Estudio
Transversal X2 de
Homogeneidad U Mann-
Dos X2 de
Muestras Corrección de Yates
grupos Homogeneidad Withney
Independient Test exacto de
es Fisher
Más de
X2 de X2 de H Kruskal-
dos
Homogeneidad Homogeneidad Wallis
grupos
Ramirez

PRUEBAS NO PARAMETRICAS

Variable de
estudio NOMINAL NOMINAL
DICOTOMICA POLITÓMICA
ORDINAL
Diseño y
Número de grupos
Estudio Dos
Mc Nemar Q de Cochran Wilcoxon
Longitudinal medidas
Más de
Muestras dos Q de Cochran Q de Cochran Friedman
Relacionadas medidas


PRUEBAS PARAMETRICAS

Variable
de estudio
NUMÉRICA
Diseño y
Número de grupos
Un T de Student para
Estudio grupo una muestra
Transversal
Dos T de Student para muestras
Muestras grupos independientes
Independient Más de
es ANOVA con un factor
dos
entre sujetos
grupos

PRUEBAS PARAMETRICAS

Variable de
estudio
NUMÉRICA
Diseño y
Número de grupos
Estudio Dos T de Student para
Longitudinal medidas muestras relacionadas
Más de
Muestras ANOVA para
dos
Relacionadas medidas medidas repetidas


Validacion de instrumentos

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Similar a Validacion de instrumentos

Similar a Validacion de instrumentos (20)

Validacion de instrumentos