Aspectos psicométricos en elanálisis de ítems conel Programado Excel     JULIO E. RODRIGUEZ TORRES
Objetivos• Presentar aspectos sicométricos esenciales en el  análisis de ítems.• Trabajar algunos ejemplos de análisis de ...
Consideraciones generales• Conceptos básicos  • Prueba    • Según Bernard (1999), una prueba es una serie de tareas o     ...
Es una manera de medir el comportamiento o ejecuciónde un individuo en una situación determinada quepermita recoger una in...
Clasificación de las pruebas• Según Anastasi (1968), son medidas normalizadas y objetivas  de una muestra de la conducta. ...
Pruebas de aprovechemiento académico• Es un instrumento diseñado para medir el comportamiento  o logro relativo del estudi...
Pruebas objetivas• Son aquellas cuyos ejercicios o preguntas tienen sólo una  respuesta precisa y en las que el juicio u o...
Prueba subjetiva• Son aquellas cuyos ejercicios o preguntas pueden variar en sus  respuestas y están sujetas tanto a la op...
• El diagnóstico no recibe calificación. Suele usarse  sobre todo en áreas específicas como en la lectura, la  ortografía ...
Resumen del proceso de elaboración de                 las pruebas• Determinar el propósito de la prueba• Preparación de un...
Consideraciones sobre las pruebas• En la administración de una prueba se utilizan  procedimientos uniformes en su administ...
• Los ítemes en una prueba deben organizarse  colocando los ítemes de dificultad menor al inicio e  ir aumentando el nivel...
¿Qué significa un puntaje en una prueba?                                    Xo = Xt + Xe                               Don...
Nivel de dificultad de los ítems               Porcentaje de estudiantes que      Delta      responden correctamente      ...
Validez de contenido• Se refiere al grado en que las preguntas o ítemes de  un instrumento representan las destrezas, cont...
Planilla de cernimiento  Sirve para iniciar el proceso de validación de   un instrumento por los expertos en esa área de ...
Reactivo / Ítem   Adecuado     No es    Observación   Recomendación                                  adecuado             ...
Modelo de planillaNivel /        Memoria   Comprensión   Aplicación   AnálisisContenidoFilosofíaSociologíaMetodologíaEvalu...
Validez de constructo El instrumento mide adecuadamente ese constructo  para el que fue creado. (Ej. Inteligencia, auto c...
Validez predictiva El instrumento de medición predice  adecuadamente (ejecución, éxito académico,  etc.). Se refiere a c...
Confiabilidad Grado de consistencia con que un  instrumento mide lo que intenta medir. Algunos índices:     Kuder – Ric...
Escala para los niveles de confiabilidad     Coeficiente (r)        Interpretación          1.00             Positiva perf...
Análisis de ítemes• Índice de dificultad del ítem (p)  • Nos indica cuán difícil resulta ser el ítem para el grupo de    e...
Índice (p)   Nivel de dificultad  .90 +           Muy fácil .61-.89            Fácil .40-.60     Mediana dificultad  < .39...
Índice de discriminación• Nos indica cuán bien discrimina el ítem entre el grupo  de mayor habilidad y el grupo de menor h...
Fórmula para índice de          discriminación           ID =        (CA – CB)                         N/2Ejemplo: En un g...
Interpretación del índice  Índice          Discriminación  0.40 +      Muy buena discriminación  .30-.39          Discrimi...
Recomendaciones  A la luz del análisis estadístico se pueden eliminar o   revisar los ítemes.  Considerar diferentes enf...
¡Muchas gracias!
Próxima SlideShare
Cargando en…5
×

Presentacion

912 visualizaciones

Publicado el

Publicado en: Educación
0 comentarios
0 recomendaciones
Estadísticas
Notas
  • Sé el primero en comentar

  • Sé el primero en recomendar esto

Sin descargas
Visualizaciones
Visualizaciones totales
912
En SlideShare
0
De insertados
0
Número de insertados
176
Acciones
Compartido
0
Descargas
0
Comentarios
0
Recomendaciones
0
Insertados 0
No insertados

No hay notas en la diapositiva.

Presentacion

  1. 1. Aspectos psicométricos en elanálisis de ítems conel Programado Excel JULIO E. RODRIGUEZ TORRES
  2. 2. Objetivos• Presentar aspectos sicométricos esenciales en el análisis de ítems.• Trabajar algunos ejemplos de análisis de ítems con el Programado Excel.
  3. 3. Consideraciones generales• Conceptos básicos • Prueba • Según Bernard (1999), una prueba es una serie de tareas o conjunto de ítemes, que las personas contestan en forma oral o escrita y que permiten determinar diferencias específicas entre ellas. • Una prueba es un instrumento de medición utilizado para describir numéricamente una característica bajo condiciones uniformes (Thomas Haladyna, 1999).
  4. 4. Es una manera de medir el comportamiento o ejecuciónde un individuo en una situación determinada quepermita recoger una información para usos variadostales como:• Diagnóstico de una situación• Alcance de logros y anticipo de las posibilidades de éxito en nuevas situaciones
  5. 5. Clasificación de las pruebas• Según Anastasi (1968), son medidas normalizadas y objetivas de una muestra de la conducta. Su clasificación se hace a base de lo que se proponen medir así como también del tipo de preguntas o ejercicios que se elaboran. Según el tipo de preguntas o ejercicios, tenemos las pruebas objetivas y las subjetivas. De acuerdo a su propósito, se clasifican como: diagnóstica, de aprovechamiento académico, normativas y estandarizadas, de ejecución y de criterio entre otras.
  6. 6. Pruebas de aprovechemiento académico• Es un instrumento diseñado para medir el comportamiento o logro relativo del estudiante en un área específica de trabajo de una materia o curso. Estas pruebas suelen ser tanto objetivas como subjetivas (o una combinación de ambas). Determinan el progreso alcanzado por los estudiantes a medida que se va llevando a cabo el proceso de enseñanza y aprendizaje.
  7. 7. Pruebas objetivas• Son aquellas cuyos ejercicios o preguntas tienen sólo una respuesta precisa y en las que el juicio u opinión del(la) maestro(a) en nada afecta o influye en las respuestas de los estudiantes. Ejemplos: llenar blancos, pareo, cierto o falso, selección múltiple, definir o todo tipo de ejercicio en que la contestación o respuesta conlleva enumerar o señalar un dato o hecho.
  8. 8. Prueba subjetiva• Son aquellas cuyos ejercicios o preguntas pueden variar en sus respuestas y están sujetas tanto a la opinión del maestro como a la de los estudiantes. En este tipo de prueba tenemos los ejercicios de preguntas abiertas, ensayo, solución de problemas, análisis de situaciones e interpretación de casos, entre otras. Son adecuadas para medir destrezas complejas de pensamiento tales como el análisis, la síntesis y la evaluación.
  9. 9. • El diagnóstico no recibe calificación. Suele usarse sobre todo en áreas específicas como en la lectura, la ortografía o las operaciones matemáticas fundamentales. El diagnóstico se puede hacer de manera formativa.
  10. 10. Resumen del proceso de elaboración de las pruebas• Determinar el propósito de la prueba• Preparación de una planilla de especificaciones (Validación del contenido)• Redacción de reactivos o ítems.• Análisis de los ejercicios .• Administración de la prueba• Análisis de ítemes• Desarrollo de índices (rangos percentiles, media, coeficiente de confiabilidad, error estándar, coeficiente phi, índice de dificultad y discriminación del ítem y otras estadísticas de un nivel de sofisticación alto).
  11. 11. Consideraciones sobre las pruebas• En la administración de una prueba se utilizan procedimientos uniformes en su administración y corrección de tal manera que se asegure comparabilidad en los resultados de sujetos diferentes.• La selección del contenido para las pruebas de se hace sobre la base de “cuán bien discrimina” el ítem entre grupos de diferente nivel de habilidad (los de alto aprovechamiento y los de bajo aprovechamiento).
  12. 12. • Los ítemes en una prueba deben organizarse colocando los ítemes de dificultad menor al inicio e ir aumentando el nivel de dificultad.• El nivel de dificultad promedio de la prueba debe ser moderado. Por ejemplo en una escala Delta de 6 a 19, (donde 6 es el nivel de dificultad menor y 19 es el nivel de dificultad mayor) un nivel moderado es aproximadamente entre 12 y 13.
  13. 13. ¿Qué significa un puntaje en una prueba? Xo = Xt + Xe Donde: Xo = Valor observado Xt = valor verdadero Xe = componente de errorEl propósito básico del desarrollo de pruebas es reducir el componente de error a un mínimo.
  14. 14. Nivel de dificultad de los ítems Porcentaje de estudiantes que Delta responden correctamente 6 95 7 92 Muy Fácil 8 90 9 85 10 80 Fácil 11 70 12 60 13 50 Mediana 14 40 15 30 16 20 17 15 Difícil 18 10 19 5
  15. 15. Validez de contenido• Se refiere al grado en que las preguntas o ítemes de un instrumento representan las destrezas, contenido o conceptos de un área específica.• Se examina el plan o proceso que se siguió en la construcción del instrumento (respaldado por la revisión de literatura, el contenido curricular, etc.)• ¿Representan esos ítemes una muestra adecuada del contenido o rasgo que se desea medir?
  16. 16. Planilla de cernimiento  Sirve para iniciar el proceso de validación de un instrumento por los expertos en esa área de contenido de la disciplina o del constructo que se pretende medir.
  17. 17. Reactivo / Ítem Adecuado No es Observación Recomendación adecuado de cambio1.2.3.4.5.6.7.8.9.
  18. 18. Modelo de planillaNivel / Memoria Comprensión Aplicación AnálisisContenidoFilosofíaSociologíaMetodologíaEvaluaciónCrecimientoy Desarrollo
  19. 19. Validez de constructo El instrumento mide adecuadamente ese constructo para el que fue creado. (Ej. Inteligencia, auto concepto, auto estima, etc.) Es necesario realizar una prueba de análisis de factores (“Factor Analysis”) y un análisis de las intercorrelaciones de los ítemes. Se puede correlacionar con otro instrumento previamente validado en ese mismo constructo (validez concurrente). Para el análisis de factores se necesita tener por lo menos 5 sujetos por ítem. (Ej: si tenemos un instrumento de 50 ítemes, necesitamos para su validación 250 sujetos). ¿Se provee información adecuada y suficiente (válida) que indique que ese constructo está relacionado al propósito de la prueba? ¿Cuán bien apoyan los datos empíricos esas conclusiones?
  20. 20. Validez predictiva El instrumento de medición predice adecuadamente (ejecución, éxito académico, etc.). Se refiere a cuán válidas son nuestras inferencias sobre los resultados de ese instrumento para predecir comportamiento futuro. Se debe recopilar evidencia posterior sobre la ejecución de los individuos y correlacionarla con los resultados de la prueba. Realizar, de ser posible, análisis de regresión y presentar tablas de expectativas.
  21. 21. Confiabilidad Grado de consistencia con que un instrumento mide lo que intenta medir. Algunos índices:  Kuder – Richardson (KR21, KR20)  Estabilidad  Alpha de Cronbach  División por mitades (“Split-Half”)  Consistencia interna  Alpha de Cronbach, KR21, KR20
  22. 22. Escala para los niveles de confiabilidad Coeficiente (r) Interpretación 1.00 Positiva perfecta 0.90 0.80 Positiva alta 0.70 0.60 Moderada 0.50 0.40 0.30 Baja 0.20 0.10 Débil 0.00 Ausencia de confiabilidad
  23. 23. Análisis de ítemes• Índice de dificultad del ítem (p) • Nos indica cuán difícil resulta ser el ítem para el grupo de examinados. • Se determina dividiendo el número de contestaciones correctas entre el total de sujetos que contestaron el ítem. P= # ítems correctos/ Total de estudiantes
  24. 24. Índice (p) Nivel de dificultad .90 + Muy fácil .61-.89 Fácil .40-.60 Mediana dificultad < .39 Difícil
  25. 25. Índice de discriminación• Nos indica cuán bien discrimina el ítem entre el grupo de mayor habilidad y el grupo de menor habilidad.• Para el grupo de mayor y menor habilidad se toma el 27 % más alto y el 27 % más bajo.• CA = Número de sujetos en el grupo de habilidad alta.• CB = Número de sujetos en el grupo de habilidad baja.• N = Número de sujetos que contestó el ítem.
  26. 26. Fórmula para índice de discriminación ID = (CA – CB) N/2Ejemplo: En un grupo 4 estudiantes obtuvieron puntuaciones altasy 2 obtuvieron puntuaciones bajas de un total de 30 sujetos quetomaron la prueba. El índice de discriminación es: 0.11
  27. 27. Interpretación del índice Índice Discriminación 0.40 + Muy buena discriminación .30-.39 Discrimina bien .20-.29 Puede revisarse < .19 No debe usarse Negativo No discrimina y debe eliminarse
  28. 28. Recomendaciones  A la luz del análisis estadístico se pueden eliminar o revisar los ítemes.  Considerar diferentes enfoques en el cómputo de la confiabilidad para determinar la contribución de diferentes fuentes de error de medición.  Considerar tamaños de muestras adecuadas al realizar cómputos estadísticos y análisis de ítemes.  Considerar posibles sesgos culturales al redactar ítemes.  Revisar fuentes de referencia con evidencia técnica y psicométrica (Buros’ Mental Measurement Yearbook)
  29. 29. ¡Muchas gracias!

×