ESCUELA DE
                                            POSTGRADO




          PROCESO DE
         CONFIABILIDAD
                                     ÁREA DE INVESTIGACIÓN




  FUENTE: WALTER IVÁN ABANTO VÉLEZ
http://www.investigacionpostgradoucv.bligoo.pe/
1. Ingresar los datos obtenidos en la aplicación de
                     la prueba
2. Para la columna PAR
3. En la columna IMPAR
4. Colocar el cursor en la celda libre
5. Click en Insertar
6. Seleccionar Función (fx)
7. Seleccionar Estadística
8. Opción Pearson
9. Ingresar datos en matrices
10. Matriz 1: Columna PAR
11. Matriz dos: Columna IMPAR
12. Clic para obtener resultado
13. Fórmula de Spearman-Brown



              r          2r
                  11 =        ½½

                         1+ r
                                ½½




    Pearson                          r = -0. 1893885
14. Mayor a 0.80: Prueba confiable
CONFIABILIDAD
   Es la cualidad, la que hace que una
    misma prueba aplicada dos veces a la
    misma      persona    en     circunstancias
    idénticas,      proporcione        similares
    resultados.
   Se refiere al grado en que su aplicación
    repetida al mismo sujeto u objeto produce
    iguales resultados.
   Una técnica de muestreo es confiable
    cuando varias muestras de una misma
    población arrojan datos similares.
   Es la característica de precisión        de    los
    instrumentos de medición , independiente de lo que
    quiera medir.

   Es un indicador de calidad global de una prueba.

   Indica si los resultados que se obtienen con los
    instrumentos de medición son consistentes en el tiempo
    y entre formas de la prueba. El concepto surge del
    hecho que las variables que se miden en Psicología
    conllevan una importante carga de error.
   El puntaje que se obtiene para una persona a
    partir de la aplicación de una prueba está
    compuesto por el verdadero nivel de la
    variable y por un componente error.

   Se define para la prueba global a partir del
    concepto de varianza de puntajes, como la
    proporción de varianza total de los resultados
    de una prueba que se debe o que es
    varianza verdadera.
1. Obtención de la Confiabilidad.
Puede computarse por medio de métodos
correlacionales, aunque también por métodos no
correlacionales.

Los resultados de los cálculos constituyen el valor
numérico de la confiabilidad, y se denominan
Coeficientes de confiabilidad.

El cálculo de un Coeficiente de confiabilidad
(simbolizado con la sigla rtt ) es la manera precisa
de evaluar la confiabilidad del instrumento (lo que
implica determinar que nivel de error se está
cometiendo al estimar los puntajes).
 Este coeficiente entrega valores que
 fluctúan entre 0 y 1.

 Un   coeficiente igual a 1 indicará
 confiabilidad perfecta, por el contrario,
 un coeficiente igual a 0 señalará una
 total falta de confiabilidad.

 Loserrores condicionan distintos tipos
 de estimaciones de la confiabilidad.
   Existen diversos factores que afectan
    el cálculo de un coeficiente de
    confiabilidad; por ello, se han
    determinado tres        procedimientos
    diferentes para calcularlo:

-   Test–retest
-   Formas paralelas
-   Consistencia Interna.
1.1.- Coeficiente Test–retest:
   Se basa en la aplicación del mismo instrumento,
    a un único grupo de personas, en 2 momentos
    distintos, y sirve para determinar si un
    instrumento mide de forma consistente en
    distintas ocasiones.
   Este procedimiento opera con la creencia de
    que las características medidas son estables en
    el tiempo.
   Es decir, el supuesto es que si efectivamente la
    característica es estable en el tiempo, la
    variación entre un momento y otro NO va a ser
    estadísticamente significativa.
   Desde ésta perspectiva, la falta de
    confiabilidad se podría entender como el
    resultado de los errores que se producen
    por “Estados internos temporales ” de
    las personas que contestan o por
    “Condiciones externas” .

   De esta manera, al calcular la
    confiabilidad Test-retest es importante que
    las condiciones de aplicación sean
    equivalentes en ambos momentos (misma
    hora, mismo lugar, mismo examinadores).
   En casos como las pruebas de
    rendimiento o educacionales, No se
    utiliza el procedimiento test-retest, ya que
    puede existir aprendizaje entre los
    momentos de rendición del test.

   La modalidad para establecer si han
    existido modificaciones en los puntajes
    entre un momento y otro es un coeficiente
    de correlación, que en éste caso se
    denomina Coeficiente de Estabilidad .
   El tiempo mínimo de aplicación para un
    Test – Retest son 15 días, ya que dicho
    período de tiempo sería el necesario para
    que las personas olviden la mayor parte
    de las respuestas que entregaron la
    primera vez.

   De hecho, la magnitud de un coeficiente
    de estabilidad tiende a ser mayor cuando
    el intervalo entre la prueba inicial y la
    segunda es breve, en lugar de
    prolongado.
1.2.- Pruebas Paralelas:
•   Cuando el intervalo de tiempo entre la prueba inicial y la
    segunda es breve, los sujetos pueden responder a la
    segunda evaluación en función de lo que recuerdan
    hicieron previamente (y no según el nivel de la variable
    es ese momento).
•   Para superar este defecto se generó una segunda
    forma de calcular confiabilidad: se puede administrar
    una Prueba Paralela , es decir, una prueba que
    posee reactivos equivalentes a la prueba original pero
    no iguales.
   Dos pruebas pueden ser consideradas paralelas
    cuando miden las mismas variables, bajo los mismos
    principios y de la misma forma.

   En la práctica, esto se determina cuando:

1. El promedio y las varianzas de ambos tests no difieren
   significativamente
2. Los ítems presentan un similar grado de dificultad y
   están distribuidos de manera similar.
3. Las correlaciones ítem – test son equivalentes.
   Es importante destacar que en psicología
    casi no existen pruebas que posean una
    versión paralela, por la dificultad que
    implica cumplir cada uno de los criterios
    estadísticos recién descritos.

   El supuesto que opera a la base de este
    procedimiento es el siguiente: Al aplicar
    una forma paralela después de un
    tiempo,       puede      calcularse     un
    Coeficiente de Equivalencia , que
    refleja los errores de medición debidos a
    distintos reactivos y ocasiones diferentes
    de aplicación.
   Para    obtener     dicho    coeficiente
    simplemente      se     ocupa     algún
    procedimiento correlacional.


   En algunos casos es posible combinar
    las modalidades test–retest y formas
    paralelas, a lo que se llama: Formas
    paralelas con intervalo de tiempo. El
    coeficiente que se obtiene pasa a
    denominarse     “de    estabilidad  y
    equivalencia”.
3.3.- Consistencia
(Homogeneidad) Interna
   Como ya se señaló, la creación de pruebas paralelas es
    costosa y difícil (especialmente en pruebas de
    capacidad). Por ello se desarrolla un método menos
    directo que tome en cuenta los diversos fenómenos que
    afectan a la confiabilidad

   Este método se denomina Consistencia Interna.

   Permite conocer si los resultados son consistentes entre
    dos mitades que comparo (de la misma prueba)
    En otras palabras, responde a la pregunta :
     ¿Son consistentes los resultados en el
     tiempo entre dos mitades del mismo
     instrumento?

    Existen diversas formas de calcularlo
     (y no todas son correlaciones):

1.    Método de Equivalencia Racional o bipartición del
     test.  
2.   Método Kuder – Richardson (Fórmulas 20 y 21).
3.   Alfa de Cronbach.
1) Método de Equivalencia racional de un
   test. (Bipartición o Split – half)
 Consiste en un método para estimar
  directamente          un   coeficiente    de
  confiabilidad sin tener que calcular antes
  una correlación, a partir de la varianza de
  los puntajes de las mitades de prueba.
 Es un método fácil y expedito de cálculo.
 Puede ser conveniente conceptualizar una
  sola prueba como si consistiera en dos
  partes (“paralelas”), cada una de las
  cuales mide lo mismo.
•    En otras palabras, se aplica el instrumento y se
     califican   a cada sujeto con dos puntuaciones
     separadas, pero provenientes de aquella única
     evaluación.
•    Se puede realizar la bipartición de diversas maneras:

1.   Si el test evalúa sólo una variable, se puede dividir el
     test en reactivos pares e impares.
2.   Por el número de variables que posee la prueba
     (Según Tabla de especificaciones)
   El primer método fue desarrollado por Rulon (1939).
   Posteriormente, Guttman (quien fue colaborador de
    Rulon) desarrolla una nueva fórmula para determinar la
    confiabilidad.
   Una única prueba aplicada en una oportunidad se puede
    dividir en sus resultados, en al menos dos partes.

   Lo usual es usar bipartición par – impar , aunque
    pueden hacerse otros tipos de partición.

   La fórmula se basa en el establecimiento de la varianza
    de cada una de las dos mitades del test, relacionándolas
    con la varianza total del test.
   Spearman – Brown trabajan con el
    método de bipartición par – impar.

   Se supone que ambas mitades son
    equivalentes, con medias y varianzas
    iguales.

   Es decir, los autores exigen que las dos
    mitades       resulten     estrictamente
    paralelas (lo cual no es enunciado por
    ninguno de los autores revisados hasta
    aquí).
2) Método derivado de los datos del
   análisis de   ítems: Fórmulas de
   Kuder – Richardson.
   Se aprovechan los resultados del análisis de
    ítems, en que se intentaba calcular el grado de
    consistencia interna de cada reactivo, uniendo
    estos resultados para calcular el grado de
    homogeneidad de todo el instrumento.
   Los métodos más usados son las de Kuder –
    Richardson 20 y 21.
   Suele aplicarse cuando los resultados a un ítem
    sólo pueden ser calificados con valores 0 y 1.
3) Alfa de Cronbach
   Cronbach adapta la fórmula propuesta por
    Guttman para establecer la confiabilidad
    en test que tuvieran más de dos “partes”.

   Ejemplo: Instrumentos que evalúan dos o
    más variables simultáneamente.

   También es posible de obtener mediante
    el uso de una Matriz de correlaciones.
Confiabilidad

Consistencia u obtención de los
      mismos resultados
Confiabilidad de la medición
Medidas de confiabilidad y
                       validez el sistema de
     Confiabilidad de un    Utilizar
       sistema de evaluación  2 o más evaluadores


         Correlación         Alta = sistema confiable


 “Si una prueba es confiable, un sujeto recibirá aproximadamente
 la misma puntuación cada vez que resuelva dicha prueba o una
 equivalente de ésta”

Puntuación alcanzada        Correlaciona con medidas posteriores
                            de conducta
Efectos de la dispersión sobre la
         confiabilidad
Confiabilidad
 Varía según dispersión de los puntajes
No altera el significado directo del coeficiente de Confiabilidad

                                        Proporción entre la
  Proporción pequeña                    varianza de los
                                        puntajes verdaderos
                                        y puntajes obtenidos

     Atenuará la
     correlación con
     otras variables

Proceso de confiabilidad

  • 1.
    ESCUELA DE POSTGRADO PROCESO DE CONFIABILIDAD ÁREA DE INVESTIGACIÓN FUENTE: WALTER IVÁN ABANTO VÉLEZ http://www.investigacionpostgradoucv.bligoo.pe/
  • 2.
    1. Ingresar losdatos obtenidos en la aplicación de la prueba
  • 3.
    2. Para lacolumna PAR
  • 7.
    3. En lacolumna IMPAR
  • 8.
    4. Colocar elcursor en la celda libre
  • 9.
    5. Click enInsertar
  • 10.
  • 11.
  • 12.
  • 13.
    9. Ingresar datosen matrices
  • 14.
    10. Matriz 1:Columna PAR
  • 15.
    11. Matriz dos:Columna IMPAR
  • 16.
    12. Clic paraobtener resultado
  • 17.
    13. Fórmula deSpearman-Brown r 2r 11 = ½½ 1+ r ½½ Pearson r = -0. 1893885
  • 18.
    14. Mayor a0.80: Prueba confiable
  • 19.
  • 20.
    Es la cualidad, la que hace que una misma prueba aplicada dos veces a la misma persona en circunstancias idénticas, proporcione similares resultados.  Se refiere al grado en que su aplicación repetida al mismo sujeto u objeto produce iguales resultados.  Una técnica de muestreo es confiable cuando varias muestras de una misma población arrojan datos similares.
  • 21.
    Es la característica de precisión de los instrumentos de medición , independiente de lo que quiera medir.  Es un indicador de calidad global de una prueba.  Indica si los resultados que se obtienen con los instrumentos de medición son consistentes en el tiempo y entre formas de la prueba. El concepto surge del hecho que las variables que se miden en Psicología conllevan una importante carga de error.
  • 22.
    El puntaje que se obtiene para una persona a partir de la aplicación de una prueba está compuesto por el verdadero nivel de la variable y por un componente error.  Se define para la prueba global a partir del concepto de varianza de puntajes, como la proporción de varianza total de los resultados de una prueba que se debe o que es varianza verdadera.
  • 23.
    1. Obtención dela Confiabilidad. Puede computarse por medio de métodos correlacionales, aunque también por métodos no correlacionales. Los resultados de los cálculos constituyen el valor numérico de la confiabilidad, y se denominan Coeficientes de confiabilidad. El cálculo de un Coeficiente de confiabilidad (simbolizado con la sigla rtt ) es la manera precisa de evaluar la confiabilidad del instrumento (lo que implica determinar que nivel de error se está cometiendo al estimar los puntajes).
  • 24.
     Este coeficienteentrega valores que fluctúan entre 0 y 1.  Un coeficiente igual a 1 indicará confiabilidad perfecta, por el contrario, un coeficiente igual a 0 señalará una total falta de confiabilidad.  Loserrores condicionan distintos tipos de estimaciones de la confiabilidad.
  • 25.
    Existen diversos factores que afectan el cálculo de un coeficiente de confiabilidad; por ello, se han determinado tres procedimientos diferentes para calcularlo: - Test–retest - Formas paralelas - Consistencia Interna.
  • 26.
    1.1.- Coeficiente Test–retest:  Se basa en la aplicación del mismo instrumento, a un único grupo de personas, en 2 momentos distintos, y sirve para determinar si un instrumento mide de forma consistente en distintas ocasiones.  Este procedimiento opera con la creencia de que las características medidas son estables en el tiempo.  Es decir, el supuesto es que si efectivamente la característica es estable en el tiempo, la variación entre un momento y otro NO va a ser estadísticamente significativa.
  • 27.
    Desde ésta perspectiva, la falta de confiabilidad se podría entender como el resultado de los errores que se producen por “Estados internos temporales ” de las personas que contestan o por “Condiciones externas” .  De esta manera, al calcular la confiabilidad Test-retest es importante que las condiciones de aplicación sean equivalentes en ambos momentos (misma hora, mismo lugar, mismo examinadores).
  • 28.
    En casos como las pruebas de rendimiento o educacionales, No se utiliza el procedimiento test-retest, ya que puede existir aprendizaje entre los momentos de rendición del test.  La modalidad para establecer si han existido modificaciones en los puntajes entre un momento y otro es un coeficiente de correlación, que en éste caso se denomina Coeficiente de Estabilidad .
  • 29.
    El tiempo mínimo de aplicación para un Test – Retest son 15 días, ya que dicho período de tiempo sería el necesario para que las personas olviden la mayor parte de las respuestas que entregaron la primera vez.  De hecho, la magnitud de un coeficiente de estabilidad tiende a ser mayor cuando el intervalo entre la prueba inicial y la segunda es breve, en lugar de prolongado.
  • 30.
    1.2.- Pruebas Paralelas: • Cuando el intervalo de tiempo entre la prueba inicial y la segunda es breve, los sujetos pueden responder a la segunda evaluación en función de lo que recuerdan hicieron previamente (y no según el nivel de la variable es ese momento). • Para superar este defecto se generó una segunda forma de calcular confiabilidad: se puede administrar una Prueba Paralela , es decir, una prueba que posee reactivos equivalentes a la prueba original pero no iguales.
  • 31.
    Dos pruebas pueden ser consideradas paralelas cuando miden las mismas variables, bajo los mismos principios y de la misma forma.  En la práctica, esto se determina cuando: 1. El promedio y las varianzas de ambos tests no difieren significativamente 2. Los ítems presentan un similar grado de dificultad y están distribuidos de manera similar. 3. Las correlaciones ítem – test son equivalentes.
  • 32.
    Es importante destacar que en psicología casi no existen pruebas que posean una versión paralela, por la dificultad que implica cumplir cada uno de los criterios estadísticos recién descritos.  El supuesto que opera a la base de este procedimiento es el siguiente: Al aplicar una forma paralela después de un tiempo, puede calcularse un Coeficiente de Equivalencia , que refleja los errores de medición debidos a distintos reactivos y ocasiones diferentes de aplicación.
  • 33.
    Para obtener dicho coeficiente simplemente se ocupa algún procedimiento correlacional.  En algunos casos es posible combinar las modalidades test–retest y formas paralelas, a lo que se llama: Formas paralelas con intervalo de tiempo. El coeficiente que se obtiene pasa a denominarse “de estabilidad y equivalencia”.
  • 34.
    3.3.- Consistencia (Homogeneidad) Interna  Como ya se señaló, la creación de pruebas paralelas es costosa y difícil (especialmente en pruebas de capacidad). Por ello se desarrolla un método menos directo que tome en cuenta los diversos fenómenos que afectan a la confiabilidad  Este método se denomina Consistencia Interna.  Permite conocer si los resultados son consistentes entre dos mitades que comparo (de la misma prueba)
  • 35.
    En otras palabras, responde a la pregunta : ¿Son consistentes los resultados en el tiempo entre dos mitades del mismo instrumento?  Existen diversas formas de calcularlo (y no todas son correlaciones): 1. Método de Equivalencia Racional o bipartición del test.   2. Método Kuder – Richardson (Fórmulas 20 y 21). 3. Alfa de Cronbach.
  • 36.
    1) Método deEquivalencia racional de un test. (Bipartición o Split – half)  Consiste en un método para estimar directamente un coeficiente de confiabilidad sin tener que calcular antes una correlación, a partir de la varianza de los puntajes de las mitades de prueba.  Es un método fácil y expedito de cálculo.  Puede ser conveniente conceptualizar una sola prueba como si consistiera en dos partes (“paralelas”), cada una de las cuales mide lo mismo.
  • 37.
    En otras palabras, se aplica el instrumento y se califican a cada sujeto con dos puntuaciones separadas, pero provenientes de aquella única evaluación. • Se puede realizar la bipartición de diversas maneras: 1. Si el test evalúa sólo una variable, se puede dividir el test en reactivos pares e impares. 2. Por el número de variables que posee la prueba (Según Tabla de especificaciones)
  • 38.
    El primer método fue desarrollado por Rulon (1939).  Posteriormente, Guttman (quien fue colaborador de Rulon) desarrolla una nueva fórmula para determinar la confiabilidad.  Una única prueba aplicada en una oportunidad se puede dividir en sus resultados, en al menos dos partes.  Lo usual es usar bipartición par – impar , aunque pueden hacerse otros tipos de partición.  La fórmula se basa en el establecimiento de la varianza de cada una de las dos mitades del test, relacionándolas con la varianza total del test.
  • 39.
    Spearman – Brown trabajan con el método de bipartición par – impar.  Se supone que ambas mitades son equivalentes, con medias y varianzas iguales.  Es decir, los autores exigen que las dos mitades resulten estrictamente paralelas (lo cual no es enunciado por ninguno de los autores revisados hasta aquí).
  • 40.
    2) Método derivadode los datos del análisis de ítems: Fórmulas de Kuder – Richardson.  Se aprovechan los resultados del análisis de ítems, en que se intentaba calcular el grado de consistencia interna de cada reactivo, uniendo estos resultados para calcular el grado de homogeneidad de todo el instrumento.  Los métodos más usados son las de Kuder – Richardson 20 y 21.  Suele aplicarse cuando los resultados a un ítem sólo pueden ser calificados con valores 0 y 1.
  • 41.
    3) Alfa deCronbach  Cronbach adapta la fórmula propuesta por Guttman para establecer la confiabilidad en test que tuvieran más de dos “partes”.  Ejemplo: Instrumentos que evalúan dos o más variables simultáneamente.  También es posible de obtener mediante el uso de una Matriz de correlaciones.
  • 42.
  • 43.
  • 44.
    Medidas de confiabilidady validez el sistema de Confiabilidad de un Utilizar sistema de evaluación  2 o más evaluadores Correlación Alta = sistema confiable “Si una prueba es confiable, un sujeto recibirá aproximadamente la misma puntuación cada vez que resuelva dicha prueba o una equivalente de ésta” Puntuación alcanzada Correlaciona con medidas posteriores de conducta
  • 45.
    Efectos de ladispersión sobre la confiabilidad
  • 46.
    Confiabilidad Varía segúndispersión de los puntajes No altera el significado directo del coeficiente de Confiabilidad Proporción entre la Proporción pequeña varianza de los puntajes verdaderos y puntajes obtenidos Atenuará la correlación con otras variables

Notas del editor

  • #21 en otras palabras, la confiabilidad indica si la prueba es constante en las mediciones que obtiene de una misma persona, registrando únicamente fluctuaciones de menor importancia ocasionadas por la adquisición de nuevos conocimientos u olvidos durante los intervalos que transcurren entre una y otra aplicación de las pruebas.
  • #36 Los errores de medición provocados por los diferentes momentos de aplicación no se reflejan en un coeficiente de consistencia interna