Este documento trata sobre los instrumentos utilizados en diseños cuantitativos de investigación. Explica que los datos son componentes clave del conocimiento científico ya que les otorgan legitimidad. Además, describe diferentes tipos de instrumentos como encuestas, cuestionarios, tests y escalas, y explica los pasos para elaborar un instrumento válido y confiable como la conceptualización, construcción de ítems, ensayos preliminares y análisis psicométrico.
Lecciones 05 Esc. Sabática. Fe contra todo pronóstico.
Instrumentos diseños cuantitativos
1.
2. Instrumentos en diseños cuantitativos
Ciencia Datos
Componentes
claves del
conocimiento
científico en
tanto le
otorgan
legitimidad.
3. Instrumentos en diseños cuantitativos
DATO:
Antecedente necesario para llegar al conocimiento exacto de algo o para
deducir las consecuencias legítimas de un hecho.
Avala empíricamente las conclusiones teóricas otorgándole estatuto de
certidumbre al conocimiento como saber empíricamente fundamentado.
Información manipulable que puede ser registrada, ordenada, manipulada
y transformada a través de diferentes procedimientos.
4. Instrumentos en diseños cuantitativos
Datos científicos:
información a través de
los cuales se describe,
comprende, simboliza y
comunica una
determinada forma de
concebir los hechos y
fenómenos de la realidad.
5. Instrumentos en diseños cuantitativos
La finalidad del instrumento es obtener información de manera
sistemática y ordenada respecto de lo que las personas:
Son
Hacen
Opinan
Piensan
Sienten
Esperan
Desean
Aprueban
Respecto del tema objeto de investigación.
6. Medir es parte de nuestra vida:
Hora de
despertarnos
Ajustar la
temperatura
del agua para
bañarnos
Cantidad de
café que
colocaremos
en la cafetera
o en la taza
Temperatura
para decidir
atuendo del
día
Evaluamos o
inferimos el
tiempo para
llegar a
nuestro
trabajo
Inferir el
humor de los
compañeros
del trabajo
Cantidad de
tareas
escolares de
nuestros hijos
Personas en la
cola del
supermercado
7. Medición
Todos los campos de la ciencia usan la medición
en alguna forma y cada uno tiene su propio
conjunto de herramientas de medición y
unidades de medida (kilómetros, toneladas,
quilates).
Los profesionales deben conocer los usos
potenciales, beneficios y limitaciones de las
herramientas que usan.
8. Medición
Objetividad:
- Concepto difícil de conseguir, sobre todo, en
las ciencias sociales.
- En ciertas ocasiones se alcanza mediante el
consenso.
- Conducta humana, valores, atribuciones,
percepciones, emociones, opiniones es muy
complejo conseguirla.
- En un instrumento de medición la objetividad
se consigue a través de la administración, la
calificación y la interpretación.
9. Medición en CIENCIAS SOCIALES
Perspectiva empírica: Respuesta observable
(alternativa de respuesta, conducta
grabada, respuesta en una entrevista).
Perspectiva teórica: Concepto subyacente
no observable que se presenta por medio
de la respuesta.
10. Medición en CIENCIAS SOCIALES
Los registros del instrumento de medición
representan valores visibles de conceptos
abstractos.
Un instrumento de medición adecuado es aquel
que registra datos observables que representa los
conceptos o las variables que se quieren estudiar.
11. Medición en CIENCIAS SOCIALES
La función de la medición es establecer una
correspondencia entre el mundo real (provee
evidencia empírica) y el mundo conceptual
(modelos teóricos para encontrar sentido a
ese segmento de realidad que estamos
tratando de describir).
13. Instrumentos en diseños cuantitativos
Necesidad ineludible de la ciencia de que los
datos en los que apoya sus conclusiones y
sustenta sus hallazgos, sean
Válidos Confiables
14. Instrumentos en diseños cuantitativos
El proyecto
de
investigación
debe
contener el
plan de
análisis de
datos.
Prever el
modo en que
se tratarán
los datos.
Nivel de
medición de
cada una de
las variables.
Cantidad y
calidad de la
muestra
Decisión de
las técnicas
estadísticas
de modo
congruente
con el diseño
y con los
objetivos
15. Ejemplo tesista UBA (Interlandi, C. 2018)
Objetivo Tipo de análisis
1 Adaptar y estudiar las propiedades
psicométricas del instrumento Healthy
Pathways Child Report- Scales (Bevans y
col., 2010, 2012) para evaluar la salud
autopercibida en la población infantil de
8-12 años de la Ciudad de Buenos Aires y
el Conurbano Bonaerense.
- Para evaluar las evidencias de validez:
Estudio de Componentes Principales, Análisis
Factorial Exploratorio y Confirmatorio.
- Estudio de las características de los ítems
mediante el cálculo de índices de
discriminación.
- Para obtener evidencias de confiabilidad:
Consistencia interna a través del cálculo del
Alfa de Cronbach.
16. Ejemplo tesista UBA (Interlandi, C. 2018)
2 Analizar la autopercepción sobre las
diferentes dimensiones de la salud de
la población escolarizada, entre los 8
y los 12 años.
Medidas de tendencia central y de
dispersión.
Pruebas de diferencias de media (t o
Anova) de acuerdo a las categorías
definidas en cada variable.
17. Ejemplo tesista UBA (Interlandi, C. 2018)
5 Verificar si existen asociaciones entre
las dimensiones de la autopercepción
de salud y los estilos parentales en
ambos grupos considerados.
Análisis multivariados y regresiones
múltiples.
Pruebas de diferencias de media (t o
Anova) de acuerdo a las categorías
definidas en cada variable
6 Confeccionar baremos regionales para el
constructo salud autopercibida y sus
diferentes dimensiones en niños con IMC
saludable, y en aquellos que presentan
sobrepeso y obesidad, de la Ciudad de
Buenos Aires y el Conurbano Bonaerense.
Calculo de medias, desvíos y puntajes
percentilares correspondientes.
18. Instrumentos en diseños cuantitativos
Aún cuando la información recolectada en el
trabajo de campo pueda ser de tipo cualitativa
(respuestas abiertas, material periodístico,
representaciones sociales) puede transformarse
en números a través del tratamiento y
procesamiento de la misma.
19. Instrumentos en diseños cuantitativos
Encuestas/Cuestionarios
Test
Planillas de registro observacional
Escalas
20. Instrumentos en diseños cuantitativos
Encuestas: técnica de obtención
de datos mediante la interrogación
a sujetos que aportan información
relativa al área de la realidad que
se pretende estudiar.
El instrumento a través del cual se
realiza esta indagación es el
CUESTIONARIO.
21. Instrumentos en diseños cuantitativos
Cuestionarios de
administración directa o
autoadministrables (por
correo, internet, grupales,
entregadas en domicilio).
Cuestionarios de
administración indirecta
(interrogatorio pautado,
dirigido. Censo).
23. Instrumentos en diseños cuantitativos
Tiende a recoger información
sobre aspectos superficiales.
24. Instrumentos en diseños cuantitativos
TEST: dispositivo a partir del cual se obtiene una
muestra del comportamiento de un examinado en un
dominio específico, subsiguientemente puntuado a
través de procedimientos ESTANDARIZADOS.
Objetivo: comparar. Materiales, consignas, ítems,
tiempos, criterios de puntuación, actitud del
examinador.
Volver constantes determinadas variables para captar
diferencias individuales.
25. Elaboración de un instrumento
Conceptualización de una prueba
Construcción
Ensayo
Análisis de reactivos
Revisión de la prueba
26. Definir la Finalidad de la Técnica
Elaboración de test
respondiendo a necesidades
concretas (Binet – Solicitud
del Ministerio de Educación
de Francia)
Elaboración de
instrumentos en el marco
de desarrollos teóricos
(Bender – Función
Gestáltica)
27. Conceptualización de la prueba
¿Para qué construir una prueba?
Debería haber
una prueba
diseñada para…
Existen pruebas
diseñadas para
medir () que
dejan mucho
que desear en
cuanto a solidez
psicométrica
Aparición de
algún fenómeno
social o patrón
de
comportamiento
que pueda
servir como
estímulo
28. Aspectos de diseño preliminares
Tiempo de
administración
Materiales a
emplear
Características
de los sujetos
para los cuales
está destinado
el Test
29. Confección de los ítems
Debe estar guiada por la teoría. Criterio Racional o Clave
de Criterio Empírico.
Debe ser un conjunto numeroso de ítems , generalmente
mucho mayor que la longitud prevista de la técnica.
Deben ser proporcionales los reactivos incluidos en cada
dimensión de la prueba.
Especificar si se ofrece puntaje único y/o varios por
ejemplo uno por dimensión.
30. Ítems con opciones de respuesta
¿Qué
acontecimiento
se conmemora
el 17 de
agosto?
1-
Fallecimiento
del Gral. San
Martín
2- Día del
trabajo
3- Batalla de
Caseros
4- Primera
Invasión
Inglesa
31. Ítems sin opciones de respuesta
¿Qué acontecimiento se
conmemora el 17 de
agosto?
32. Ítems con alternativas
Dicotómico: A menudo
estoy triste (SI – NO).
Tres alternativas: Si
estoy muy enojado (1-
Intento calmarme; 2-
Sigo así hasta que se
me pasa; 3- Me voy
irritando cada vez
más)
Criterios de valoración:
Estoy conforme con la
carrera que elegí (NO;
ALGUNAS VECES;
MUCHAS VECES; CASI
SIEMPRE; SIEMPRE)
33. Juicio Experto – Depuración primaria del instrumento
Someter la prueba a jueces expertos
Personas reconocidas en el ámbito científico por su conocimiento sobre el tema
que trata el instrumento (por publicaciones, disertaciones, etc.) o por su
trayectoria en metodología. Deben ser por lo menos tres
Se solicita que encuadren los ítems en las categorías, dimensiones o áreas
propuestas.
Deben juzgar si todos los aspectos del constructo están incluidos en el
instrumento
Su opinión experta contribuye a la validez de contenido y aparente del
instrumento
34. Ejemplo Juez Experto
INVENTARIO DE PERSPECTIVA TEMPORAL FUTURA
Evaluación por jueces expertos
Lic. María Laura Galarraga
Consigna
Ud. ha sido convocado como juez experto para juzgar el ajuste de los contenidos de los
ítems en adolescentes del Inventario de Perspectiva Temporal Futura que me encuentro
adaptando como parte de mi trabajo de la Maestría en Psicodiagnóstico y Evaluación
Psicológica, de la Universidad de Buenos Aires.
Este Inventario fue elaborado por Zimbardo (Díaz Morales, 2006; Zimbardo y Boyd,
1999), como una operacionalización del constructo de la Perspectiva Temporal Futura.
A continuación, le presento una breve reseña del marco teórico y las diferentes
dimensiones que dieron lugar a las sub-escalas de la técnica. Le solicito que, al lado de
cadaítem, consigneel nombre de ladimensión o sub-escala,segúnconsideren en virtud
de su contenido.
35. Ejemplo Juez Experto
El constructo está integrado por cinco dimensiones, que son las siguientes:
A) Pasado negativo (PN): visión pesimista, negativa y desfavorable del pasado.
B) Pasado positivo (PP): valoración nostálgica y entusiasta del pasado. Permite
considerar la reconstrucción positiva del tiempo ya pasado y de las experiencias
vividas.
C) Presente fatalista (PF): actitud desesperanzada, indefensa y negativa hacia el
futuro y lavida en general. Implica o supone laausenciade orientación temporal.
D) Presente hedonista (PH): actitud hacia el tiempo y la vida basada en el placer, el
disfrute y la realización de experiencias arriesgadas y excitantes.
E) Futuro (F): elementos relacionados con la responsabilidad, la orientación a
metas, el cumplimento de plazos y, en general, con la preocupación por las
consecuencias posteriores de la conducta.
Una vez examinadas las dimensiones descriptas, solicito a Ud. que al lado de cada ítem
consigneel nombre de laescalaodimensión, segúnconsidere en virtud de sucontenido,
empleando las siglas o abreviaturas previstas en las viñetas anteriores para su mayor
comodidad.
Agradezco a Ud. su valiosísimo aporte y quedo a su entera disposición para hacerle
conocer los resultados del presente estudio en el momento en que los mismos se
encuentren disponibles.
36. Inventario de Perspectiva Temporal de Zimbardo (Zimbardo y Boyd, 1999; Díaz Morales
2006)
Escala
01. Pienso que reunirse con los amigos en una fiesta es uno de las
cosas más importes de la vida.
02. Las imágenes, sonidos y olores de la infancia traen lindos
recuerdos.
03. El destino determina mucho de mi vida.
04. A menudo pienso en las cosas que podría haber hecho de modo
diferente en el pasado.
05. Mis decisiones están muy influidas por las personas que me
rodean.
06. Creo que el día de una persona debería planificarse por la
mañana.
07. Me gusta pensar en el pasado.
08. Hago cosas impulsivamente.
09. No me preocupa si las cosas no se hacen a tiempo.
10. Cuando quiero conseguir algo, me fijo metas y considero los
medios para poder conseguirlas.
37. Juicio Experto – Ejemplo DAT
Ïtem del
DAT RV
Palabra versión original Palabra versión adaptada
3 Crin Riendas
4 Gamo Venado
8 Terrier/Hereford/Holandesa Dálmata/Aberdeen-Angus/
Holando
10 Diana Diurno
13 Rosbif Cuadril
19 Gema Piedra Preciosa
20 Libra/Londres/Italia/México
/mandolina
Dólar/Washington/Brasil/
Italia/realeza
24 Yarda Bota
44 Gamo Caballo
44 Venado/corza/asno Potrillo/corcel/jaguar
49 Cita Visita
38. Ensayo – Prueba Pre piloto
Ensayo en pequeños grupos de sujetos similares a los
destinatarios de la prueba.
Objetivo: Identificar reactivos débiles o defectuosos,
elementos con significado ambiguo, así como la adecuación
del lenguaje y las dificultades de comprensión.
Los evaluados realizan comentarios que faciliten la tarea
mediante un cuestionario anexado o en discusiones abiertas
y grupales.
Los examinadores registran los efectos de las condiciones de
administración, los problemas y dificultades observadas.
39. Análisis de Ítems - Dificultad
Un buen reactivo es
capaz de discriminar
entre los sujetos
participantes.
Obtenemos un índice de
dificultad del reactivo. Es
una proporción del
número total de sujetos
que respondieron la
prueba y que tuvieron
correcto el reactivo.
Puede variar de 0 (nadie
lo respondió
correctamente) a 1 (todos
lo contestaron
correctamente).
La dificultad promedio
óptima es .5, variando en
dificultad entre .3 y .8
40. Análisis de Ítems - Dificultad
EDAD
ITEMS ESPERADOS
+ 85% MUESTRA PRESENTE
ITEMS EXCEPCIONALES
-15 MUESTRA PRESENTE
6 AÑOS
CABEZA (1); OJOS (4); BOCA (11); CABELLO (18); BRAZOS
(30): PIERNAS (35); PIES (39); BRAZOS Y PIERNAS (44);
TRONCO (46)
OJO: PROPOR. (7); LABIOS DIM. (12); NARIZ Y LABIOS (13);
MANDÍBULA (16); PUENTE NARIZ (17); CABELLO III (20);
CABELLO IV (21); OREJAS (23); DETALLE DEDOS (26); PULGAR
(27); HOMBROS II (32); CODO (34); CADERA II (37); RODILLA
(38); PIES IV (42); CABEZA II (49); BRAZOS II (52);
PROPORCIÓN PIERNAS (53); MIEMBROS DIM. (54);
VESTIMENTA III (57); VESTIMENTA IV (58); VESTIMENTA V
(59); PERFIL I (60); PERFIL II (61); FRENTE (62).
42. Versión Definitiva de la Técnica
Una vez seleccionados los ítems idóneos se
aplican técnicas para su estandarización
definitiva: formato, consigna, ítems (orden,
intercalamiento), las normas y los estudios de
calidad psicométrica.
Normas: valores que deberán calcularse para
que el usuario final pueda lograr una correcta
valoración e interpretación de los resultados.
43. Además agregar
PORTADA: Atractiva
gráficamente. Nombre
del cuestionario y
logotipo de la
institución que lo
patrocina.
INTRODUCCIÓN:
Propósito general del
estudio. Importancia
de la participación.
Agradecimiento.
Espacio para firma de
consentimiento.
Identificación de los
administradores.
Explicación breve de
cómo se procesarán los
datos y cláusula de
confidencialidad de los
datos individuales.
44. Adaptación de Instrumentos – Revisión de
Instrumentos
Los instrumentos
deben ser
adaptados a cada
cultura en donde
serán utilizados
Toda vez que
cambiemos el
formato, las
instrucciones, el
lenguaje o
contenido de una
prueba tenemos
que validarlo
La validación debe
seguir los pasos del
método científico
porque proporciona
fundamento para
interpretar las
puntuaciones de un
test en un contexto
específico
No se valida el Test
en sí mismo, sino
sus puntuaciones
para usos y
contextos
Tener presente los
conceptos de Émico
y Ético
45. Adaptación de Instrumentos – Revisión de
Instrumentos
Los instrumentos de medición provienen de determinados contextos culturales
y mediante la consideración de ciertas equivalencias se lo trata de convertir en
un test culturalmente justo
Un test culturalmente justo debe asegurar equivalencias:
LINGUISTICAS
CONCEPTUALES
MÉTRICAS
46. Adaptación de Instrumentos – Adaptación lingüística
Procedimientos de traducción
doble (desde el idioma original al
idioma de adaptación y viceversa)
Utilización de jergas y frecuencia
de uso de las palabras.
Tener en cuenta giros idiomáticos,
la idiosincrasia, las creencias y los
valores puestos en juego en los
elementos.
47. Adaptación de Instrumentos – Adaptación
lingüística. Ejemplos
Riesgos de falta de adaptación lingüística:
Los evaluados no comprenden las consignas
Se obtienen puntuaciones más bajas
Se toman decisiones incorrectas (falsos
negativos)
48. Adaptación de Instrumentos – Adaptación
Conceptual
Se requiere que el
constructo a evaluar
tenga significados
equivalentes en las dos
culturas
Riesgos de falta de
adaptación conceptual:
El test mide un constructo
distinto al original o
aspectos parciales de él
Ejemplos:
El concepto/constructo de
sabiduría en Buenos Aires
que en Michigan
El constructo de
obligación hacia la familia
nuclear y extensa que es
diferente entre
anglosajones y
latinoamericanos
49. Adaptación de Instrumentos – Adaptación Métricas
Las calificaciones que los sujetos obtienen deben ser válidas, confiables y
representativas del constructo medido.
Recalcular las propiedades psicométricas
Considerar a los subgrupos implicados
Actualizar normas periódicamente
Riesgos de falta de adaptación conceptual: Sobre calificar o infra clasificar a los
evaluados.
La toma de decisiones es incorrecta (falsos positivos y negativos)
50. Sesgo y Equidad
El sesgo es un error constante o
sistemático que impide la
medición precisa e imparcial del
constructo.
Aunque el instrumento haya sido
estandarizado para un grupo
poblacional dado, un subgrupo
dentro de este generará
respuestas atípicas o no exitosas.
51. Adaptación – Revisión de Instrumentos. Sesgo
Significa que una prueba funciona de manera
diferente con distintos grupos
Existe un instrumento sesgado cuando la diferencia
en los promedios no corresponde a una diferencia
real en el rasgo que se intenta medir
Es un factor inherente dentro de una prueba que de
manera sistemática impide la medición precisa e
imparcial
52. Fuentes de Sesgo
1- SESGO DE CONSTRUCTO
• Muestra: nivel socio cultural y educativo, edad y sexo
• Instrumento: características formales del test
(estímulos y formas de respuestas), el lenguaje
(traducción)
• Administración: Comunicación, instrucciones y tiempo
2- SESGO METODOLÓGICO:
3- SESGO DE ÍTEM
53. Adaptación de Instrumentos – Adaptación lingüística
Procedimientos de traducción
doble (desde el idioma original al
idioma de adaptación y viceversa)
Utilización de jergas y frecuencia
de uso de las palabras.
Tener en cuenta giros idiomáticos,
la idiosincrasia, las creencias y los
valores puestos en juego en los
elementos.
54. Ejemplo tesista UBA (Interlandi, C., 2018)
Luego de contar con el consentimiento de los creadores del test, se comenzaron a
efectuar las investigaciones para obtener las equivalencias conceptuales, lingüísticas,
métricas (Marín, 1986) y de formato (Fernández Liporace, Cayssials y Pérez, 2009).
Se empezó partiendo de dos traducciones independientes y a ciegas de la prueba, del
inglés al español, las mismas fueron realizadas por dos traductores técnico-científicos
de inglés, con lengua materna española, residentes en el Área Metropolitana de
Buenos Aires. Estos intérpretes efectuaron también una evaluación del grado de
dificultad que presentó la traducción de cada uno de los ítems, mediante una escala
que fue del 0 (ninguna dificultad) al 10 (dificultad máxima).
55. Ejemplo tesista UBA (Interlandi, C., 2018)
En relación a la equivalencia de los ítems, en 31 de los
70 reactivos era necesario realizar alguna modificación
para obtener la equivalencia conceptual, lingüística,
métrica o de formato con la versión original. En la
mayoría de los casos, esta apreciación se debió al uso
de términos o productos que no existen, o no son
usuales, en nuestro contexto (como “wine coolers” o
“nachos”), por lo cual, fueron reemplazados en las
preguntas por otros que sí se utilizan en Argentina.
56. Adaptación de Instrumentos – Adaptación
lingüística. Ejemplos
Riesgos de falta de adaptación lingüística:
Los evaluados no comprenden las consignas
Se obtienen puntuaciones más bajas
Se toman decisiones incorrectas (falsos
negativos)
57. Adaptación de Instrumentos – Adaptación
Conceptual
Se requiere que el
constructo a evaluar
tenga significados
equivalentes en las dos
culturas
Riesgos de falta de
adaptación conceptual:
El test mide un constructo
distinto al original o
aspectos parciales de él
Ejemplos:
El concepto/constructo de
sabiduría en Buenos Aires
que en Michigan
El constructo de
obligación hacia la familia
nuclear y extensa que es
diferente entre
anglosajones y
latinoamericanos
58. Adaptación de Instrumentos – Adaptación Métricas
Las calificaciones que los sujetos obtienen deben ser válidas, confiables y
representativas del constructo medido.
Recalcular las propiedades psicométricas
Considerar a los subgrupos implicados
Actualizar normas periódicamente
Riesgos de falta de adaptación conceptual: Sobre calificar o infra clasificar a los
evaluados.
La toma de decisiones es incorrecta (falsos positivos y negativos)
59. Instrumentos en diseños cuantitativos
1- Ordenamiento de la
información:
Identificación de cada
uno de los registros
con números
consecutivos.
- Organiza la carga de
la información.
Revisar la información
en caso de detectarse
errores.
Organizar el trabajo
del equipo de
investigación.
Archivar
ordenadamente los
registros para rutinas
de control.
60. Instrumentos en diseños cuantitativos
2- Codificación
de la
información
Sistema de
traducción de
la información
bruta obtenida
en dato
científico.
Crear códigos
para cada una
de las
variables
- Ofrece
información
sobre la base
de datos.
- Es una guía
para el
proceso de
codificación.
Unifica
criterios entre
investigadores
de un mismo
equipo.
Notas del editor
Ejercicio de definir Problema de aprendizaje y articular indicadores con la definición