LA VALIDEZ
Un aspecto psicométrico
JOSE LIVIA SEGOVIA
DEFINICION
• Los instrumentos tenían como propósito
operacionalizar constructos, o sea, medir
determinados atributos.
• La validez tiene que ver con poder
determinar si el instrumento está midiendo
realmente el atributo que dice medir
DEFINICION
• Poner en evidencia que una prueba mida
lo que realmente pretende medir.
• Anastasi y Urbina (1998) la validez de un
instrumento de medición hace referencia a
lo que miden y que tan bien lo hacen, si
hemos construido una prueba de
depresión, hay que demostrar realmente
que mide ese constructo
• Kaplan y Saccuzzo (2006) la
concordancia entre la puntuación
o medida de un test y la cualidad
que se cree que está midiendo
• Muñiz (2005) define la validez
como el demostrar que las
inferencias realizadas por un test
fiable son correctas. Se
considera que una prueba puede
ser confiable, sin ser valida, pero
no puede ser valida sin ser
confiable
• Lo que se valida no es la prueba sino las
puntuaciones de la prueba, siendo el
problema de investigación: ¿Es válido el uso
o la interpretación de las puntuaciones de
esta prueba?,
• La validez no se sintetiza en un sólo índice
numérico, es acumulativa: evidencia teórica,
estadística, empírica y conceptual del uso de
las puntuaciones, por tanto es un proceso
continuo y dinámico.
• El aspecto teórico
juega un rol
importante, ya que
constituye la guía
tanto del
desarrollo de un
test como de su
proceso de
validación.
Polit y Hungler (1995/1997),
• “no es común encontrar pruebas sólidas que
sustenten la validez de la mayor parte de las
mediciones de carácter psicológico”.
• Esto se debe a que mientras la confiabilidad
sería esencialmente una cuestión empírica; la
validez incluye más elementos teóricos, ya que
la validación persigue la explicación, con todas
las complicaciones que esto implica.
Samuel J. Messick
• Messick (1980) indica que
ha habido muchos términos
para referirse a los tipos de
validez: convergente,
discriminante, factorial,
sustantiva, estructural,
externa, de población, de
tarea, temporal, ecológica
aparente, intrínseca, por
definición, lógica.
(1931-1998)
• Ante esta situación la APA (1954) publicó un manual con
recomendaciones técnicas para el uso y diagnóstico con tests
psicológicos, indicando tres tipos de validez: Contenido, criterio y
constructo, para más adelante establecerse una integración de las
tres formas, unificándose en el concepto de validez de constructo,
que comprende diferentes clases de validez, tal como lo expresa
Messick (1980) «la validez de constructo es el concepto unificador
que integra las consideraciones de validez de contenido y de criterio
en un marco común para probar hipótesis acerca de relaciones
teóricamente relevantes» (p. 1015). Para Weinberg, (2003. En
Muñiz, 2005) ha considerado que la validación de un test es un
caso particular de la contraestación de hipótesis científicas, pero no
existe un método científico claro y universal.
Technical
Recommendations
for Psychological
Tests and Diagnostic
Techniques,
1954 by APA
The second document, Technical
Recommendations for Achievement
Tests,
• Prepared by two
committees, one
representing AERA and
a second committee
representing the National
Council on Measurement
Used in Education
(NCMUE), and was
published in 1955.
• In 1966, the Standards
for Educational and
Psychological Testing was
published jointly by AERA,
APA, and NCME, and
replaced the first two
documents. The 1966
version of the Standards
has undergone revisions in
1974, 1985, and 1999.
Standards for Educational and
Psychological Testing
http://ncme.org/
Primer periodo
• : Denominada operacional, la cual tenía
una visión pragmática que ponía énfasis
en la validez externa, la cual queda
reflejada en la definición de Guilford
(1946) «Un test es válido para aquello con
lo que correlaciona» (p. 429), lo cual
también queda establecida por Gulliksen
(1950) cuando señala que el problema de
la validez se reduce a la correlación entre
el test y el criterio a predecir
Segundo periodo:
• Denominado teórico, por el énfasis en la
verificación de la teoría psicológica. Se da
importancia a la validez de constructo,
como elemento unificador que cubre
aspectos de contenido y de relaciones con
otras variables, tal como, lo demuestra la
apreciación de Cronbach (1984) «.Toda
validación es validación de constructo» (p.
126).
Tercer periodo
• Denominada contextual, donde el objetivo sería
dotar a los tests de respaldo tanto científicos
como éticos. Se incorpora al aspecto teórico el
contexto externo (consecuencias sociales y
éticas). Por lo expuesto, recae en el evaluador
todo el peso del test, ya que es él, quien al
usarlo tiene que interpretarlo y deberá
reconocer los probables factores que pueden
sesgar en cada situación particular,
generándose un aspecto ético como
interpretativo
Messick (1989, 1995) establece los criterios a considerar en la
validez:
• De contenido: relevancia y representatividad del test
• Sustantivo: Criterios teóricos de la consistencia observada de las
respuestas.
• De estructura: configuración interna del test y dimensionalidad
• Generalización: grado en que las inferencias hechas a partir del test
se pueden generalizar a otras poblaciones, situaciones o tareas.
Este aspecto es importante en la adaptación y/o traducción de tests
de una cultura a otra.
• Externo: relaciones del test con otros tests y constructos.
• Consecuencial: consecuencias éticas y sociales del test. Evaluación
del sesgo del test.
• , perspectiva que quedó reflejada en
cuatro tipos de validez: contenido,
predictiva, concurrente y de constructo
(APA, 1954), y que las publicaciones de
1966 y 1974 (APA, AERA, NCME, 1966;
1974) agruparon en tres, uniendo para
ello la validez predictiva y concurrente en
la validez de criterio.
• se puede clasificar la validez en fuentes
de evidencia interna (análisis
individualizado de los ítems) y fuentes de
evidencia externa(análisis del test en
conjunto (Elosua, 2003)
• Señala Muñiz (2005) “… si bien la noción de
una validez unitaria es muy sugerente
teóricamente, hasta la fecha no ha mostrado
una gran utilidad práctica. Los constructores y
usuarios de los tests reclaman reglas más
específicas que les permitan alegar datos que
les ayuden a validar sus inferencias. Las tres
vías clásicas para la recogida de datos, a saber,
la validez de contenido, de criterio y de
constructo siguen siendo feraces,..” (p. 4).
CONSTRUCTO
• Observación
• Teoría-hipotesis-constructo(conceptos)
• Un concepto expresa una abstracción formada
por generalizaciones sustraídas de casos
particulares. “Peso” “Masa”, “energía”, y fuerza”
son conceptos usados por los científicos físicos.
“aprovechamiento”. “Inteligencia”, “agresividad”,
“conformidad” y “honestidad”, todos son
conceptos que se emplean para expresar
variedades de la conducta humana.
Un constructo
• Es un concepto. Sin embargo, tienen un
sentido adicional, el de haber sido
inventado o adoptado de manera
deliberada y consciente para un propósito
científico especial. “Inteligencia”, es un
concepto, una abstracción de la
observación de conductas consideradas
como supuestamente inteligentes o no
inteligentes
Validez de constructo
• Es importante siempre que se diseña una
prueba psicológica para medir algún
atributo o alguna cualidad (constructo) que
se supone poseen las personas. Estos
estudios tratan de responder la pregunta
¿Que constructo mide?, ¿Hasta qué punto
mide bien la prueba psicológica ese
constructo? Así pues, se enfoca la
atención en el constructo, en la
característica de lo que se está midiendo.
Procedimientos para evaluar la
validez de constructo
• Análisis factorial
• Diferenciación entre grupos,
• Correlaciones con otras medidas del
constructo,
• Las Matrices multimétodo-multirasgo
Validez de
constructo
• Correlaciones con
otros test
• Análisis factorial
• Efectos inducidos
experimentalmente
• En la teoria clasica de los test la validez
esta centrada en la correlación del test
con el criterio a predecir
• Cronbach y Meehl(1955) Validez de
constructo RIGUROSIDAD DEL
CONSTRUCTO MEDIDO
• Análisis de los contenido, correlaciones
test criterio y la entidad de los constructos
• Validez como planteamiento unitario
Messick(80,88,89)
• Validez consecuencial
según Kaiser:
1 >= KMO >= 0.9 muy bueno
0.9 >= KMO >= 0.8 meritorio
0.8 >= KMO >= 0.7 mediano
0.7 >= KMO >= 0.6 mediocre
0.6 >= KMO > 0.5 bajo
KMO <= 0.5 inaceptable
KMO and Bartlett's Test
,597
219,312
78
,000
Kaiser-Meyer-Olkin Measure of Sampling
Adequacy.
Approx. Chi-Square
df
Sig.
Bartlett's Test of
Sphericity
Rotated Component Matrixa
,664 -,150 3,253E-02 -,404
,145 7,335E-02 ,827 ,166
,311 4,783E-02 8,163E-02 ,774
,607 6,227E-02 ,189 ,274
,143 ,895 5,236E-02 ,124
,356 ,582 ,454 -,325
-7,44E-02 ,172 ,894 -5,94E-02
-,217 ,707 ,148 -3,86E-04
-,139 ,660 6,432E-02 ,504
,538 ,480 ,280 -,249
,452 ,190 ,328 ,222
,784 -1,55E-02 -6,55E-02 ,139
,806 -7,67E-02 -8,09E-03 7,409E-02
M1
M2
M3
M4
M5
M6
M7
M8
M9
M10
M11
M12
M13
1 2 3 4
Component
Extraction Method: Principal Component Analysis.
Rotation Method: Varimax with Kaiser Normalization.
Rotation converged in 7 iterations.a.
Jose Livia 2008
livsegjo@yahoo.com
3. VALIDEZ DE CONTENIDO
• Especificar correctamente el dominio de
contenido, ya sea a nivel de procesos,
conocimientos o de conductas.
• Es importante en tests de conocimientos.
Jose Livia 2008
livsegjo@yahoo.com
Validez
 Validez de Criterio:Se establece la validez comparándolo con algún criterio
externo. Es un criterio estándar con el que se juzga la validez de un
instrumento.
– Cuando el criterio se fija en el presente se llama validez concurrente.
Cuando el criterio se fija en el futuro se llama validez predictiva.
RESULTADO
DE LAS PRUEBAS
POSITIVO
NEGATIVO
CON ENFERMEDAD SIN ENFERMEDAD
Sensibilidad = Especificidad =
P O B L A C I O N
VP
VP + FN
VN + FP
VN
Enfermedad Positiva
Prueba Positiva
= Verdadero Positivo (VP)
Enfermedad Positiva
Prueba Negativa
= Falso Negativo (FN)
Enfermedad Negativa
Prueba Positiva
= Falso Positivo (FP)
Enfermedad Negativa
Prueba Negativa
= Verdadero Negativo
(VN)

Validez ucv 2013

  • 1.
    LA VALIDEZ Un aspectopsicométrico JOSE LIVIA SEGOVIA
  • 2.
    DEFINICION • Los instrumentostenían como propósito operacionalizar constructos, o sea, medir determinados atributos. • La validez tiene que ver con poder determinar si el instrumento está midiendo realmente el atributo que dice medir
  • 3.
    DEFINICION • Poner enevidencia que una prueba mida lo que realmente pretende medir. • Anastasi y Urbina (1998) la validez de un instrumento de medición hace referencia a lo que miden y que tan bien lo hacen, si hemos construido una prueba de depresión, hay que demostrar realmente que mide ese constructo
  • 4.
    • Kaplan ySaccuzzo (2006) la concordancia entre la puntuación o medida de un test y la cualidad que se cree que está midiendo • Muñiz (2005) define la validez como el demostrar que las inferencias realizadas por un test fiable son correctas. Se considera que una prueba puede ser confiable, sin ser valida, pero no puede ser valida sin ser confiable
  • 5.
    • Lo quese valida no es la prueba sino las puntuaciones de la prueba, siendo el problema de investigación: ¿Es válido el uso o la interpretación de las puntuaciones de esta prueba?, • La validez no se sintetiza en un sólo índice numérico, es acumulativa: evidencia teórica, estadística, empírica y conceptual del uso de las puntuaciones, por tanto es un proceso continuo y dinámico.
  • 6.
    • El aspectoteórico juega un rol importante, ya que constituye la guía tanto del desarrollo de un test como de su proceso de validación.
  • 7.
    Polit y Hungler(1995/1997), • “no es común encontrar pruebas sólidas que sustenten la validez de la mayor parte de las mediciones de carácter psicológico”. • Esto se debe a que mientras la confiabilidad sería esencialmente una cuestión empírica; la validez incluye más elementos teóricos, ya que la validación persigue la explicación, con todas las complicaciones que esto implica.
  • 8.
    Samuel J. Messick •Messick (1980) indica que ha habido muchos términos para referirse a los tipos de validez: convergente, discriminante, factorial, sustantiva, estructural, externa, de población, de tarea, temporal, ecológica aparente, intrínseca, por definición, lógica. (1931-1998)
  • 9.
    • Ante estasituación la APA (1954) publicó un manual con recomendaciones técnicas para el uso y diagnóstico con tests psicológicos, indicando tres tipos de validez: Contenido, criterio y constructo, para más adelante establecerse una integración de las tres formas, unificándose en el concepto de validez de constructo, que comprende diferentes clases de validez, tal como lo expresa Messick (1980) «la validez de constructo es el concepto unificador que integra las consideraciones de validez de contenido y de criterio en un marco común para probar hipótesis acerca de relaciones teóricamente relevantes» (p. 1015). Para Weinberg, (2003. En Muñiz, 2005) ha considerado que la validación de un test es un caso particular de la contraestación de hipótesis científicas, pero no existe un método científico claro y universal.
  • 10.
  • 11.
    The second document,Technical Recommendations for Achievement Tests, • Prepared by two committees, one representing AERA and a second committee representing the National Council on Measurement Used in Education (NCMUE), and was published in 1955.
  • 12.
    • In 1966,the Standards for Educational and Psychological Testing was published jointly by AERA, APA, and NCME, and replaced the first two documents. The 1966 version of the Standards has undergone revisions in 1974, 1985, and 1999.
  • 13.
    Standards for Educationaland Psychological Testing http://ncme.org/
  • 14.
    Primer periodo • :Denominada operacional, la cual tenía una visión pragmática que ponía énfasis en la validez externa, la cual queda reflejada en la definición de Guilford (1946) «Un test es válido para aquello con lo que correlaciona» (p. 429), lo cual también queda establecida por Gulliksen (1950) cuando señala que el problema de la validez se reduce a la correlación entre el test y el criterio a predecir
  • 15.
    Segundo periodo: • Denominadoteórico, por el énfasis en la verificación de la teoría psicológica. Se da importancia a la validez de constructo, como elemento unificador que cubre aspectos de contenido y de relaciones con otras variables, tal como, lo demuestra la apreciación de Cronbach (1984) «.Toda validación es validación de constructo» (p. 126).
  • 16.
    Tercer periodo • Denominadacontextual, donde el objetivo sería dotar a los tests de respaldo tanto científicos como éticos. Se incorpora al aspecto teórico el contexto externo (consecuencias sociales y éticas). Por lo expuesto, recae en el evaluador todo el peso del test, ya que es él, quien al usarlo tiene que interpretarlo y deberá reconocer los probables factores que pueden sesgar en cada situación particular, generándose un aspecto ético como interpretativo
  • 17.
    Messick (1989, 1995)establece los criterios a considerar en la validez: • De contenido: relevancia y representatividad del test • Sustantivo: Criterios teóricos de la consistencia observada de las respuestas. • De estructura: configuración interna del test y dimensionalidad • Generalización: grado en que las inferencias hechas a partir del test se pueden generalizar a otras poblaciones, situaciones o tareas. Este aspecto es importante en la adaptación y/o traducción de tests de una cultura a otra. • Externo: relaciones del test con otros tests y constructos. • Consecuencial: consecuencias éticas y sociales del test. Evaluación del sesgo del test.
  • 18.
    • , perspectivaque quedó reflejada en cuatro tipos de validez: contenido, predictiva, concurrente y de constructo (APA, 1954), y que las publicaciones de 1966 y 1974 (APA, AERA, NCME, 1966; 1974) agruparon en tres, uniendo para ello la validez predictiva y concurrente en la validez de criterio.
  • 19.
    • se puedeclasificar la validez en fuentes de evidencia interna (análisis individualizado de los ítems) y fuentes de evidencia externa(análisis del test en conjunto (Elosua, 2003)
  • 20.
    • Señala Muñiz(2005) “… si bien la noción de una validez unitaria es muy sugerente teóricamente, hasta la fecha no ha mostrado una gran utilidad práctica. Los constructores y usuarios de los tests reclaman reglas más específicas que les permitan alegar datos que les ayuden a validar sus inferencias. Las tres vías clásicas para la recogida de datos, a saber, la validez de contenido, de criterio y de constructo siguen siendo feraces,..” (p. 4).
  • 21.
    CONSTRUCTO • Observación • Teoría-hipotesis-constructo(conceptos) •Un concepto expresa una abstracción formada por generalizaciones sustraídas de casos particulares. “Peso” “Masa”, “energía”, y fuerza” son conceptos usados por los científicos físicos. “aprovechamiento”. “Inteligencia”, “agresividad”, “conformidad” y “honestidad”, todos son conceptos que se emplean para expresar variedades de la conducta humana.
  • 22.
    Un constructo • Esun concepto. Sin embargo, tienen un sentido adicional, el de haber sido inventado o adoptado de manera deliberada y consciente para un propósito científico especial. “Inteligencia”, es un concepto, una abstracción de la observación de conductas consideradas como supuestamente inteligentes o no inteligentes
  • 23.
    Validez de constructo •Es importante siempre que se diseña una prueba psicológica para medir algún atributo o alguna cualidad (constructo) que se supone poseen las personas. Estos estudios tratan de responder la pregunta ¿Que constructo mide?, ¿Hasta qué punto mide bien la prueba psicológica ese constructo? Así pues, se enfoca la atención en el constructo, en la característica de lo que se está midiendo.
  • 25.
    Procedimientos para evaluarla validez de constructo • Análisis factorial • Diferenciación entre grupos, • Correlaciones con otras medidas del constructo, • Las Matrices multimétodo-multirasgo
  • 26.
    Validez de constructo • Correlacionescon otros test • Análisis factorial • Efectos inducidos experimentalmente
  • 28.
    • En lateoria clasica de los test la validez esta centrada en la correlación del test con el criterio a predecir • Cronbach y Meehl(1955) Validez de constructo RIGUROSIDAD DEL CONSTRUCTO MEDIDO • Análisis de los contenido, correlaciones test criterio y la entidad de los constructos
  • 29.
    • Validez comoplanteamiento unitario Messick(80,88,89) • Validez consecuencial
  • 30.
    según Kaiser: 1 >=KMO >= 0.9 muy bueno 0.9 >= KMO >= 0.8 meritorio 0.8 >= KMO >= 0.7 mediano 0.7 >= KMO >= 0.6 mediocre 0.6 >= KMO > 0.5 bajo KMO <= 0.5 inaceptable
  • 31.
    KMO and Bartlett'sTest ,597 219,312 78 ,000 Kaiser-Meyer-Olkin Measure of Sampling Adequacy. Approx. Chi-Square df Sig. Bartlett's Test of Sphericity Rotated Component Matrixa ,664 -,150 3,253E-02 -,404 ,145 7,335E-02 ,827 ,166 ,311 4,783E-02 8,163E-02 ,774 ,607 6,227E-02 ,189 ,274 ,143 ,895 5,236E-02 ,124 ,356 ,582 ,454 -,325 -7,44E-02 ,172 ,894 -5,94E-02 -,217 ,707 ,148 -3,86E-04 -,139 ,660 6,432E-02 ,504 ,538 ,480 ,280 -,249 ,452 ,190 ,328 ,222 ,784 -1,55E-02 -6,55E-02 ,139 ,806 -7,67E-02 -8,09E-03 7,409E-02 M1 M2 M3 M4 M5 M6 M7 M8 M9 M10 M11 M12 M13 1 2 3 4 Component Extraction Method: Principal Component Analysis. Rotation Method: Varimax with Kaiser Normalization. Rotation converged in 7 iterations.a. Jose Livia 2008 livsegjo@yahoo.com
  • 32.
    3. VALIDEZ DECONTENIDO • Especificar correctamente el dominio de contenido, ya sea a nivel de procesos, conocimientos o de conductas. • Es importante en tests de conocimientos.
  • 34.
  • 35.
    Validez  Validez deCriterio:Se establece la validez comparándolo con algún criterio externo. Es un criterio estándar con el que se juzga la validez de un instrumento. – Cuando el criterio se fija en el presente se llama validez concurrente. Cuando el criterio se fija en el futuro se llama validez predictiva.
  • 36.
    RESULTADO DE LAS PRUEBAS POSITIVO NEGATIVO CONENFERMEDAD SIN ENFERMEDAD Sensibilidad = Especificidad = P O B L A C I O N VP VP + FN VN + FP VN Enfermedad Positiva Prueba Positiva = Verdadero Positivo (VP) Enfermedad Positiva Prueba Negativa = Falso Negativo (FN) Enfermedad Negativa Prueba Positiva = Falso Positivo (FP) Enfermedad Negativa Prueba Negativa = Verdadero Negativo (VN)