Rubricas.

1. Validez y fiabilidad de la rúbrica
VALIDEZ Y FIABILIDAD DE LA RÚBRICA
Juan Jesús Torres Gordillo
Universidad de Sevilla
juanj@us.es
Eduardo Alejandro Herrero Vázquez
Universidad de Sevilla
eduardo@us.es
Palabras clave:
Evaluación orientada al aprendizaje, competencias, rúbrica, validez, fiabilidad
Resumen:
Este trabajo presenta un estudio empírico sobre la validez y fiabilidad de las
rúbricas de evaluación en el contexto universitario. Se recurrió a la técnica del
juicio de expertos para su validación. Siete expertos participaron en el proceso
a partir de un protocolo con ocho criterios. Para el cálculo de fiabilidad a través
del alpha de Cronbach se tomó una muestra de 43 estudiantes del último curso
de la licenciatura en Psicopedagogía de la Universidad de Sevilla. Se trabajó
finalmente con 86 casos, ya que se consideraron las respuestas del profesor
para cada uno de los estudiantes. El número de variables analizadas fue de
123. Los resultados revelan que la rúbrica es pertinente, oportuna, coherente,
clara y estructurada. También que abarca un amplio margen de competencias
profesionales, siendo aplicable a otros contextos y con las orientaciones
suficientes. En conclusión, la rúbrica es un instrumento pedagógico válido y
fiable para evaluar el logro de competencias en la universidad.
- 1 -

2. Validez y fiabilidad de la rúbrica
1. INTRODUCCIÓN
Cuando se alude al término rúbrica de evaluación en la universidad son
muchos los profesores que aún no han oído hablar de este concepto y, aún
menos, de conocer las implicaciones que conlleva hacia el aprendizaje del
estudiante. La rúbrica lleva funcionando en otros países, como EE.UU., desde
hace casi dos décadas, aunque comenzó en las escuelas primarias por los
años 60. Desde esta fecha ha ido creciendo el interés sobre su diseño, uso y
aplicación en los sistemas de evaluación en las aulas universitarias.
Compartimos la idea de Jönsson y Svingby (2007) al afirmar que el profesorado
universitario comienza a asimilar el concepto de rúbrica como un instrumento
de evaluación añadido al proceso de enseñanza-aprendizaje, a la vez que
comienza a ser parte integrante del vocabulario profesional. En el contexto
español, la perspectiva no es demasiado halagüeña, por lo que la rúbrica
seguirá siendo, durante algunos años más, una motivación puntual del
profesorado más comprometido con la mejora de los sistemas de evaluación
del aprendizaje. Nos quedarán algunos estudios más y otras reformas
metodológicas en la evaluación del aprendizaje universitario que posicione,
tanto a estudiantes como a profesores, en una dinámica donde la evaluación
orientada al aprendizaje (Carless, 2003, 2007) sea real y donde se empleen
instrumentos que realmente evalúen el aprendizaje alcanzado por los
estudiantes.
Actualmente comienzan a aparecer estudios sobre el uso de rúbricas en la
evaluación del aprendizaje en educación superior que focalizan su objetivo no
solo en la cuantificación o calificación, sino en comprobar la fiabilidad y validez
del instrumento. Así, desde que Jönsson y Svingby (ob. cit.) publicaran su
trabajo de metaanálisis sobre la validez y fiabilidad de la rúbrica, varias han
sido las experiencias que se han presentado posteriormente relacionados con
la problemática (Reddy, 2011; Reddy y Andrade, 2010; Kerby y Romine, 2010;
Rezaei y Lovorn, 2010; Stellmack et al., 2009; Cizek, 2009; Bessell et al.,
2008). En su estudio, estos autores realizaron una revisión de la bibliografía
existente hasta el momento donde encontrar evidencias acerca de la validez y
fiabilidad del instrumento. Realizaron una búsqueda exhaustiva en las bases de
datos más importantes (ERIC, Web of Science, etc.), tomando finalmente un
total de 75 estudios relevantes. De entre los textos seleccionados, la fiabilidad
de las rúbricas que aportan posee un bajo coeficiente de fiabilidad, e
interpretaron que el uso de las rúbricas puede no ser suficientemente fiable
para producir una evaluación sumativa.
La mayor parte de estos trabajos se concentran en el panorama educativo
internacional, aunque en los últimos años ya conocemos algunos trabajos en
- 2 -

3. Validez y fiabilidad de la rúbrica
nuestro contexto más próximo. Torres y Reyes (2011a) obtienen resultados
positivos respecto al logro de competencias empleando la rúbrica como
instrumento de evaluación, donde resultó un factor importante la asimilación
por los estudiantes del concepto de evaluación orientada al aprendizaje. Otros
estudios también señalan experiencias positivas sobre su empleo, al demostrar
evidencias favorables en el logro de competencias de los estudiantes, incluso
de nuevo ingreso (Rodríguez y Gil, 2011). Así, Torres y Reyes (2011b)
entienden que en dichos contextos, la rúbrica hace considerar la evaluación
como un punto de partida para la mejora del aprendizaje del estudiante al estar
en constante crecimiento profesional. Sin embargo, estos estudios no ofrecen
evidencias claras del estudio de la validez o fiabilidad. Este hecho, unido a la
necesidad de disponer de herramientas fiables para la evaluación de
competencias en el nivel universitario, sienta las bases en las que se
fundamenta este trabajo.
Tomando una definición básica de lo que se entiende por rúbrica, se considera
como un “instrumento de evaluación basado en una escala cuantitativa y/o
cualitativa asociada a unos criterios preestablecidos que miden las acciones
del alumnado sobre los aspectos de la tarea o actividad que serán
evaluados” (Torres y Perera, 2010) y que describe diferentes niveles de calidad
en el producto y/o esfuerzo de los estudiantes desde excelente hacia muy
mejorable (Andrade, 2000; Moskal, 2000). La rúbrica puede ser entendida
como un intento de eliminar cualquier indicio de subjetividad en la valoración
cualitativa de los productos de los estudiantes (Reddy, ob. cit.). Por este
motivo, el estudio de la validez y fiabilidad puede ofrecernos un acercamiento
hacia la forma en que realmente se consideran útiles, válidas y fiables para la
evaluación del logro de competencias en el contexto académico universitario.
Partiendo de estas ideas, el objetivo de este trabajo radica en estudiar la
validez y fiabilidad de la rúbrica. Ambos aspectos deben ser considerados cada
vez que se utilicen instrumentos de recogida de información sobre los
estudiantes (Cizek, ob. cit.). Aunque ni la validez ni la fiabilidad dependen del
tipo de rúbrica, sí podría decirse que una rúbrica analítica, holística o de tareas
específicas tiene el potencial de producir resultados válidos y fiables si dichas
herramientas poseen tales características (Moskal, ob. cit.).
2. MÉTODO
En el estudio participaron 43 estudiantes, pertenecientes a un grupo clase del
último curso de la licenciatura en Psicopedagogía de la Universidad de Sevilla,
durante el curso 2010-11. Se empleó una rúbrica analítica con la que debían
evaluar las competencias desarrolladas durante el desarrollo de la asignatura
troncal Modelos de Orientación e Intervención Psicopedagógica. La
- 3 -

4. metodología de la asignatura está basada en el aprendizaje basado en
proyectos colaborativos, donde la competencia principal es adquirir la
capacidad para diseñar, implementar y evaluar proyectos de intervención
psicopedagógica en un contexto de aplicación real. Cada estudiante
cumplimentó la rúbrica, donde existían partes de autoevaluación y también
algún criterio para la evaluación por pares. Esta evaluación por iguales se
fundamenta en la presentación del proyecto que cada equipo de estudiantes
realiza en el aula frente a todo el grupo clase. A su vez, ello era igualmente
evaluado por el profesor, empleando los mismos criterios, la misma rúbrica.
Para comprobar la validez de la rúbrica se atendió al juicio de expertos.
Participaron seis profesores universitarios con amplia experiencia en
investigación sobre evaluación universitaria. Se les presentó un protocolo de
validación con ocho criterios para comprobar el grado de ajuste de la rúbrica en
función de una escala de puntuación que iba de 0 (mínima) a 5 (máxima) (ver
tabla 1):
Tabla 1. Protocolo de validación
1. PERTINENCIA: La rúbrica es interesante de cara a favorecer una
evaluación que prepara profesionalmente al alumnado al integrarse en el
proceso de aprendizaje en el contexto universitario.
Comentarios y sugerencias:
Puntuación
(de 0 a 5)
□
2. COHERENCIA: La rúbrica se ajusta a las exigencias/competencias
necesarias para el futuro profesional del alumno.
Comentarios y sugerencias:
Puntuación
(de 0 a 5)
□
3. ESTRUCTURACIÓN: La estructura de la rúbrica se capta con facilidad,
permitiendo identificar la secuencia criterial y los niveles de calidad
competencial que el alumno posee.
Comentarios y sugerencias:
Puntuación
(de 0 a 5)
□
4. CLARIDAD: La descripción detallada de los niveles progresivos de calidad
que se realiza en la rúbrica está redactada de tal modo que resulta fácil de
comprender.
Comentarios y sugerencias:
Puntuación
(de 0 a 5)
□
5. SUFICIENCIA: La rúbrica aporta la información y orientaciones
necesarias para su aplicación por el alumnado universitario.
Comentarios y sugerencias:
Puntuación
(de 0 a 5)
□
6. APLICABILIDAD: La rúbrica podría ser aplicada en otras asignaturas y
ramas del conocimiento, teniendo en cuenta los condicionantes contextuales
de la enseñanza universitaria.
Comentarios y sugerencias:
Puntuación
(de 0 a 5)
□
Validez y fiabilidad de la rúbrica
- 4 -

5. Validez y fiabilidad de la rúbrica
7. COBERTURA: La rúbrica abarca un amplio margen de competencias
profesionales que engloban el conjunto de aquellas que el estudiante
universitario debe adquirir para su ejercicio profesional futuro.
Comentarios y sugerencias:
Puntuación
(de 0 a 5)
□
8. OPORTUNIDAD: La rúbrica permite avanzar hacia planteamientos
docentes próximos al escenario definido para el sistema universitario en el
EEES en torno a la Evaluación Orientada al Aprendizaje.
Comentarios y sugerencias:
Puntuación
(de 0 a 5)
□
Por otro lado, para el cálculo de la fiabilidad se tuvieron en cuenta las
respuestas otorgadas en la rúbrica por los 43 estudiantes al finalizar el proceso
de evaluación de la asignatura, así como las correspondientes del profesor
para cada uno de esos estudiantes. Por tanto, contamos con 86 casos para un
total de 123 variables analizadas, estructuradas en bloques. Se recurrió al
programa SPSS para el cálculo del coeficiente Alpha de Cronbach.
Los bloques en los que se estructura la rúbrica evaluada son los siguientes:
 Trabajo de Aula (trabajo autónomo y de grupo).
 Aplicación de conceptos teóricos a la intervención realizada.
 Diseño y ejecución del proyecto: aspectos formales.
 Fundamentación teórica sobre la temática específica del proyecto.
 Diseño y ejecución del proyecto: análisis del contexto.
 Diseño y ejecución del proyecto: diseño de la intervención.
 Diseño y ejecución del proyecto: resultados de la intervención.
 Diseño y ejecución del proyecto: control de la intervención.
 Diseño y ejecución del proyecto: evaluación del proyecto de
intervención.
 Uso tecnológico.
- 5 -

6. Validez y fiabilidad de la rúbrica
3. RESULTADOS
Los resultados de las respuestas de los expertos se resumen en la tabla 2:
Tabla 2. Resultados de la validacióóóóóóón de expertos (frecuencias en %)
Criterios
Escala de puntuación
0 1 2 3 4 5
Pertinencia 0 0 0 0 28,6 71,4
Coherencia 0 0 0 0 57,1 42,9
Estructuración 0 0 28,6 0 42,9 28,6
Claridad 0 0 14,3 14,3 42,9 28,6
Suficiencia 0 14,3 14,3 14,3 28,6 28,6
Aplicabilidad 0 0 14,3 28,6 28,6 28,6
Cobertura 0 0 14,3 14,3 28,6 42,9
Oportunidad 0 0 0 0 14,3 85,7
En términos generales, podemos afirmar que los ocho criterios evaluadores
logran una alta puntuación por los expertos. Los dos criterios más valorados
son la pertinencia y, sobre todo, la oportunidad. Por otro lado, la suficiencia ha
sido el criterio menos valorado, aunque los valores más positivos (4 y 5)
alcanzan casi el 60% de las puntuaciones.
Respecto al cálculo del alpha de Cronbach, los resultados nos muestran que la
rúbrica posee una fiabilidad muy alta (α = 0,949). La correlación media de las
puntuaciones otorgadas en las 123 variables, por los 86 casos que componen
la muestra, determina que existe una alta consistencia interna.
4. CONCLUSIONES
La rúbrica es un instrumento pedagógico válido y fiable para evaluar el logro de
competencias en la universidad. Los resultados nos han mostrado que la
rúbrica evaluada es válida, considerando el juicio de los expertos. La rúbrica es
una herramienta de evaluación que prepara profesionalmente al estudiante y
que permite avanzar hacia los planteamientos pedagógicos propios del
enfoque de la evaluación orientada al aprendizaje (Padilla y Gil, 2008;
Rodríguez e Ibarra, 2011), estando así en la línea que marca el actual contexto
universitario. Es coherente por cuanto se ajusta a las competencias necesarias
o exigidas en el futuro profesional del estudiante, recogiendo un amplio margen
de lo que deberá desarrollar en dicho ejercicio profesional, y con una estructura
y redacción fáciles de entender.
- 6 -

7. Validez y fiabilidad de la rúbrica
Otros aspectos positivos, aunque revisables en función de los diferentes
contextos universitarios, son que puede ser igualmente aplicable en otros
escenarios, o que necesita ajustes en las orientaciones que ofrece para su uso.
La rúbrica es igualmente fiable, habiendo obtenido un coeficiente de fiabilidad
muy alto. Esto otorga una consistencia interna que nos asegura que las
puntuaciones no van a variar en función del instrumento.
En este sentido, nuestra rúbrica asume el planteamiento de Cizek (2009) o de
Moskal (2000) respecto a las dos condiciones clave que debe poseer cualquier
instrumento de evaluación: la validez y la fiabilidad. Esto nos asegura unos
resultados válidos y fiables en los procesos de evaluación del logro de
competencias en el contexto universitario.
5. REFERENCIAS BIBLIOGRÁFICAS
Andrade, H. (2000). Using rubrics to promote thinking and learning. Educational
Leadership, 2000, 57, 5, 13-13-18.Andrade, H. G. (2005). Teaching with rubrics:
The good, the bad, and the ugly. College Teaching, 53(1), 27-27.
Bessell, A., Burke, M., Plaza, M., Lee, O., & Schumm, J. (2008). The
educational reform rating rubric: Example of a new tool for evaluating complex
school reform initiatives. Field Methods, 20(3), 283-283-295.
Carless, D. (2007). Learning-oriented assessment: Conceptual bases and
practical implications: Journal of the association for programmed learning ETTI.
Innovations in Education and Teaching International, 44(1), 57-66.
Carless, D. (2003). Learning-oriented assessment. Paper presented at the
Evaluation and Assessment Conference, University of South Australia,
Adelaide, November 25, 2003.
Cizek, G. (2009). Reliability and validity of information about student
achievement: Comparing large-scale and classroom testing contexts. Theory
into Practice, 48(1), 63-71.
Jönsson, A., & Svingby, G. (2007). The use of scoring rubrics: Reliability, validity
and educational consequences. Educational Research Review, 2(2), 130-144.
Kerby, D., & Romine, J. (2010). Develop oral presentation skills through
accounting curriculum design and course-embedded assessment. Journal of
Education for Business, 85(3), 172-172-179.
Moskal, B.M. (2000). Scoring rubrics: what, when and how? Practical
Assessment, Research & Evaluation, 7 (3).
- 7 -

8. Validez y fiabilidad de la rúbrica
Padilla, M.T. y Gil, J. (2008). La evaluación orientada al aprendizaje en la
educación superior: condiciones y estrategias para su aplicación en la docencia
universitaria. Revista Española de Pedagogía, 66(241), 467-486.
Reddy, M.Y. (2011). Design and development of rubrics to improve assessment
outcomes. A pilot study in a master's level business program in India. Quality
Assurance in Education, 19(1), 84-104.
Reddy, M.Y., & Andrade, H. (2010). A review of rubric use in higher education.
Assessment & Evaluation in Higher Education, 35(4), 435-448.
Rezaei, A.R., & Lovorn, M. (2010). Reliability and validity of rubrics for
assessment through writing. Assessing Writing, 15(1), 18-39.
Rodríguez, J. y Gil, J. (2011). Las autoevaluaciones y las rúbricas como
instrumentos reguladores del aprendizaje. En Grupo EvalFor (Ed.).
Experiencias innovadoras en el aprendizaje a través de la evaluación.
EvalTrends 2011: Evaluar para Aprender en la Universidad, 131-145. Cádiz:
Bubok Publishing.
Rodríguez, G. e Ibarra, S. (Eds.) (2011). E-Evaluación orientada al e-
Aprendizaje estratégico en Educación Superior. Madrid: Narcea.
Stellmack, M., Konheim-Kalkstein, Y., Manor, J., Massey, A., & Schmitz, J.
(2009). An assessment of reliability and validity of a rubric for grading APA-style
introductions. Teaching of Psychology, 36(2), 102-102-107.
Torres, J.J. y Perera, V.H. (2010). La rúbrica como instrumento pedagógico
para la tutorización y evaluación de los aprendizajes en el foro online en
educación superior. PíxelBit. Revista de Medios y Educación, 36, 141-149.
Torres, J.J. y Reyes, E.M. (2011a). Entendiendo la evaluación orientada al
aprendizaje desde las bancas del aula. En Grupo EvalFor (Ed.). Experiencias
innovadoras en el aprendizaje a través de la evaluación. EvalTrends 2011:
Evaluar para Aprender en la Universidad, 425-436. Cádiz: Bubok Publishing.
Torres, J.J. y Reyes, E.M. (2011b). Las rúbricas en la evaluación del ABP. En
Grupo EvalFor (Ed.). Experiencias innovadoras en la sistematización de la
evaluación. EvalTrends 2011: Evaluar para Aprender en la Universidad,
337-350. Cádiz: Bubok Publishing.
- 8 -