El documento discute criterios para evaluar la calidad de la investigación educativa. Examina una investigación que analizó reportes de examinadores sobre tesis de "alta calidad" versus "baja calidad". Encontró diferencias significativas en cinco categorías analíticas como marco conceptual, diseño, análisis de datos e importancia de la contribución. La investigación empieza a proporcionar evidencia empírica sobre factores que contribuyen a la calidad.

1. ¿CómoDeterminamos la Calidad en la Investigación Educativa? Lorin W. Anderson Distinguido Profesor Emérito Universidad de Carolina del Sur (EE.UU.) Traducción: Humberto Cervera Rosado

2. Con el paso de varias de las décadas anteriores, ha emergido una serie de criterios para juzgar la calidad de la investigación educativa. Estos criterios representan el “juicio profesional” de quienes los desarrollaron. Se ha llevado a cabo muy poca investigación respecto a su relación con la calidad de la investigación en general. La siguiente diapositiva es un resumen de los criterios desarrollados por tres grupos de participantes: examinadores de tesis o disertaciones, asociaciones profesionales, y revistas arbitradas.

4. Ocho Preguntas Básicas sobre la Calidad de la Investigación en Educación ¿Está situada la investigación dentro de la literatura de investigación pertinente? ¿Hay un marco de referencia conceptual/teórico claramente expresado? ¿Cómo calificaría la originalidad de la investigación? ¿Cómo calificaría la calidad del diseño de investigación en general? ¿Son los datos reunidos y analizados de una manera apropiada y sistemática?

5. Ocho Preguntas Básicas sobre la Calidad de la Investigación en Educación(continuación) ¿Están interpretados los resultados de manera apropiada y lasgeneralizacioneshechascuidadosamente? ¿Qué tan significativa es la contribución que esta investigación hace a la teoría, la práctica, y/o la política? ¿Cómo calificaría la calidad de la redacción, considerando la organización, la claridad, la lógica de la argumentación, y el estilo?

6. Aunque hay un acuerdo general sobre los criterios que se usan para definir la calidad de la investigación educativa, ¿son los criterios igualmente importantes en la determinación de la calidad de la investigación educativa? Esta es la pregunta subyacente en una serie de estudios de investigación conducidos en el Centro para el Estudio de la Formación en Investigación e Impacto (SORTI) (siglas en inglés del Centre fortheStudyof ResearchTraining and Impact) de la Universidad de Newcastle, Australia.

7. La Revisión de la Tesis/Disertación Doctoral Los examinadores externos son solicitados y se les dan instrucciones generales adecuadas sobre los criterios y procedimientos para usar en la evaluación de la tesis. Casi la mitad de los examinadores de tesis doctorales australianas son de otros países. Después de leer una tesis, a cada examinador se le requiere que (1) prepare un reporte narrativo describiendo sus reacciones y comentarios sobre la tesis y (2) que asigne una “calificación” a la tesis.

9. Aceptada sin cambios.

10. Aceptada después de correcciones menores.

11. Aceptada sujeta a correcciones mayores.

12. Se requiere que la tesis sea revisada y presentada de nuevo.

13. Tesis reprobada sin oportunidad de revisión.Como podría esperarse, muy pocas tesis caen en la categoría más baja.

14. De una muestra de 401 tesis, Se identificaron dos grupos de tesis: Las tesis de “alta calidad” fueron aquellas para las cuales la decisión final fue que debían de ser aceptadas tal como se habían presentado. Hubo 24 de estas tesis, con 59 reportes de examinadores. Las tesis de “baja calidad” fueron aquellas para las cuales la decisión final fue que necesitaban una revisión mayor antes de que pudieran ser aceptadas. Hubo 12 de estas tesis, con 35 reportes de examinadores.

15. De estos 94 reportes de examinadores, Los reportes narrativos fueron capturados en un archivo de computadora. Los reportes tenían un rango de 1 a 27 páginas, con un promedio de 2 a 3 páginas. Para cada reporte narrativo se utilizó el software QSR N6 para identificar las unidades de texto (básicamente, oraciones) y para colocar cada unidad de texto dentro de una de cinco categorías. Los datos resultantes fueron representados como el porcentaje de unidades de texto que caía dentro de cada categoría. La relación entre estas categorías y las cinco “preguntas de calidad” mostradas en las diapositivas 4 y 5 se muestra en la siguiente diapositiva.

16. “Preguntas de Calidad” y Categorías de Codificación Preguntas de Calidad Categorías de Codificación Literatura de investigación pertinente Marco de referencia conceptual Originalidad de la investigación Calidad del diseño de investigación Recolección de datos y análisis Interpretación/generalización Contribución significativa Calidad de la redacción Revisión de la literatura NO APLICA NO APLICA Enfoque Análisis y reporte Análisis y reporte Importancia y contribución Competencia comunicativa

17. Hallazgos Mayores Diferencias significativas entre “alta calidad” y “baja calidad”, estas se encontraron para LAS CINCO categorías analíticas. Además, hubo algunos hallazgos “menores” interesantes. Los examinadores tendían a elogiar ciertos aspectos de las tesis de "alta calidad” y a no hacer mención en lo absoluto sobre estos aspectos en las tesis de “baja calidad”. Los comentarios negativos fueron muy infrecuentes. Con respecto a la revisión de literatura, lo importante fue el uso y aplicación de la literatura, más que su “cobertura” o precisión.

18. Hallazgos Mayores (continuación) Algunos más de los hallazgos "menores” interesantes. Con respecto al análisis y reporte, los examinadores comentaron sobre el “cuidado y la atención al detalle” de los autores de las tesis de “alta calidad”. Para las tesis de “baja calidad”, los examinadores comentaron sobre una falta general de análisis critico. Al comentar sobre una tesis de “alta calidad”, los examinadores a menudo hasta ofrecieron sugerencias para hacer las tesis mejores. Tales comentarios no se hicieron para las tesis de “baja calidad”.

19. Resumen Con el paso de los años, ha emergido un consenso sobre los factores que debían de ser considerados al hacer juicios sobre la calidad de la investigación educativa. La investigación, conducida principalmenteen Australia, ha comenzado a proporcionar soporte empírico para muchos de estos factores. A medida que avanzamos, debemos de comenzar a “desempacar” estos factores en los términos de los elementos específicos dentro de cada factor que contribuya a la calidad en general. Una vez que esto se haya hecho, este conocimiento deberá de incorporarse a programas de posgrado, así como listas de cotejo para evaluar la calidad de la investigación.

20. Una buena tesis doctoral es “buena en relación a una comunidad de investigación en particular” (Lyn Yates, 2004).