Este documento presenta un taller sobre la evaluación del impacto de los programas de maestría y doctorado. Se discuten los objetivos, antecedentes y modalidades de evaluación de estos programas. Entre los antecedentes se destacan las exigencias de la sociedad de demostrar la calidad y el impacto de los programas. La evaluación permite medir el impacto y mejorar la calidad. Se analizan variables e indicadores para considerar en la evaluación como el currículo, estudiantes, personal académico y el impacto social de los programas.

1. TALLER
LA EVALUACIÓN DEL IMPACTO DE LOS
PROGRAMAS DE MAESTRÍAS Y
DOCTORADOS
DRA . LIDIA MERCEDES LARA DÍAZ
UNIVERSIDAD DE CIENFUEGOS, CUBA

2. OBJETIVO DEL TALLER
• Debatir en torno a la evaluación del
impacto de los programas
académicos de Maestría y
Doctorado en atención a las
orientaciones metodológicas y
prácticas que se ofrecen y las
experiencias de los participantes

3. ANTECEDENTES
• La sociedad de este mundo globalizado
ha incrementado sus exigencias a las
instituciones de educación superior, no
basta con que sean guardianes y
trasmisoras del conocimiento universal,
la sociedad necesita que ese
conocimiento sea aplicable al entorno en
que se desarrollan y que al aplicarse se
produzca el impacto, cambio necesario
hacia el desarrollo.

4. ANTECEDENTES
• Los retos de la educación superior
en el siglo XXI plantean la
necesidad de un nuevo proceso
educativo, fundamentado en los
principios de excelencia, calidad y
pertinencia. Corresponde a la
evaluación demostrar la existencia
de calidad, evidenciarla e incluso
certificarla socialmente.

5. ANTECEDENTES
• La tendencia a la internacionalización en la
educación superior y el proceso de
globalización reclaman niveles de calidad
contratados y contrastables; todos los
«clientes» de la universidad reclaman su
derecho a conocer datos, especificaciones
acerca de la calidad ofrecida por la
institución a la que ingresa y desarrolla su
formación; las universidades han de ofrecer
evidencias a la sociedad de la calidad de su
acción y gestión. (Castro y Balmaseda, 2002)
• ¿Qué hacer ante esta disposición?

6. ANTECEDENTES
• La sociedades exigen a las universidades
certificar los niveles de calidad en el
desarrollo de sus procesos sustantivos y
con ello surge la necesidad de rendir
cuentas a la sociedad en su quehacer. La
forma más común utilizada es el proceso de
evaluación y acreditación.
• Cada país propone los documentos básicos
del Sistema de Evaluación y Acreditación de
los Programas de Maestría y Doctorado.

7. Modalidades evaluativas
• Autoevaluación: Identificar los problemas, dificultades, aciertos y
logros. Proponer correcciones y comprometerse en la revisión y ajuste
para proceso permanente de mejoramiento cualitativo del programa.
• Evaluación externa: Detecta los problemas y dificultades, propone
cursos o vías alternativas de acción, pero no se compromete con la
introducción de correcciones.
• CERTIFICACIÓN: Certificar públicamente los requerimientos
mínimos de calidad que reúne un programa. Asesorar y apoyar
académicamente. Ofrecer información a los usuarios potenciales para
una acertada toma de decisiones. Propiciar el mejoramiento cualitativo.
El resultado más inmediato de los procesos de
autoevaluación, evaluación externa y acreditación está
dado por el mejoramiento de la calidad del objeto
evaluado (el programa).

8. EVALUACIÓN: CONSTITUYE EL PROCESO EN QUE SE DETERMINA, DE MANERA
SISTEMÁTICA Y OBJETIVA, LA PERTINENCIA, EFICIENCIA, EFICACIA E IMPACTO DE
LAS ACTIVIDADES EN RELACIÓN CON LOS OBJETIVOS PLANTEADOS PARA LA
REALIZACIÓN DE ESTAS (ONU, 1984).
EVALUAR UN PROGRAMA ES DETERMINAR SU VALOR EN RELACIÓN A CIERTOS
CRITERIOS Y ESTÁNDARES DESEABLES
• Proceso mediante el cual se recoge,
interpreta, formal y sistemáticamente,
información pertinente sobre un
programa; se emiten juicios de valor
sobre esa información y se toman
decisiones conducentes a mantener,
reforzar, cambiar, eliminar o innovar
elementos del programa o de su
totalidad.(JAN, 2008)
• El objeto de una evaluación es un
programa o proyecto que se propone
con el fin de mejorar y modificar
distintos factores que hacen a un
funcionamiento insatisfactorio de la
educación y sus instituciones.
•Proceso que trata de valorar de manera
sistemática y objetiva la pertinencia, el
rendimiento y el éxito de los programas y
proyectos concluidos y en curso. Se realiza
para dar respuesta a determinadas preguntas e
impartir orientación a los encargados de tomar
decisiones y los administradores de
programas, así como para obtener información
que permita determinar si las teorías e
hipótesis básicas que se utilizaron al formular
el programa resultaron válidas, qué surtió
efecto o no, y por qué.

9. La evaluación implica una reflexión, esto es,
“tomar distancia de la acción para tomar ésta como
‘objeto’ de análisis, para revisar qué es lo que se
está proponiendo o qué se está haciendo o qué se
ha hecho, analizar las características de las
metodologías de intervención planteadas o
desplegadas, y determinar si la orientación es
efectivamente hacia la direccionalidad deseable,
aclarando cuáles escollos y cuáles facilidades se
presentan y cuáles logros se esperan y/o se han
obtenido”. Nirenberg (2008)

10. EL PROCESO DE EVALUACIÓN SUPONE TODAS O
ALGUNAS DE LAS ACCIONES SIGUIENTES:
•Definir objetivos
•Delimitar el objeto
•Definir componentes o variables, indicadores y los
criterios para establecer el nivel, la calidad y el
funcionamiento del programa
•Recolectar, analizar, interpretar información
•Identificar y analizar el valor que tiene el programa en
su totalidad o algunos de sus componentes
•Recomendar cambios o ajustes
•Establecer procesos de seguimiento y control

11. INDICADORES PARA LA EVALUACIÓN DE PROGRAMAS
EDUCATIVOS DE NIVEL SUPERIOR (MÉXICO)
1. Normatividad y políticas generales
2. Planeación-evaluación
3. Modelo educativo y plan de estudio
4. Alumnos
5. Personal académico
6. Servicio de apoyo a los estudiantes
7. Instalaciones, equipos y servicios
8. Productividad académica (docencia, investigación)
9. Vinculación con sectores de la sociedad
10.Trayectoria, perspectivas, e impacto social del
programa
(CIEES, 2014)

12. VARIABLES A CONSIDERAR EN LA EVALUACIÓN DE
PROGRAMAS ACADÉMICOS DE POSGRADO EN CUBA
(JAN)
M A E S T R Í A
1. Pertinencia social e impacto
2. Tradición de la institución y
colaboración
interinstitucional e
internacional
3. Profesores y tutores
4. Aseguramiento didáctico,
material y administrativo
del programa
5. Estudiantes
6. Currículo
D O C T O R A D O
1. Formación de
doctores
2. Nivel científico del
claustro
3. Respaldo material,
financiero y
administrativo
4. Gestión de la
información y el
conocimiento
5. Impacto

13. PRINCIPIOS PROPUESTOS PARA LA EVALUACIÓN
• Prestar atención a las condiciones previas de la
evaluación
• Fomentar una cultura de evaluación
• Multitud de modos de evaluación
• Necesidad de un amplio campo de aplicación de la
evaluación
• Análisis de procesos y resultados
• Mejora de la autoevaluación mediante el
mejoramiento de la información regular
• Establecimiento de un código de ética en la
evaluación

14. IMPACTO
• “El impacto puede verse como un
cambio en el resultado de un proceso
(producto). Este cambio también puede
verse en la forma como se realiza el
proceso o las prácticas que se utilizan
y que dependen, en gran medida, de la
persona o personas que las ejecutan”
(González, 2003)

15. ¿QUÉ SE ENTIENDE POR IMPACTO EN
CIENCIAS DE LA EDUCACIÓN?
Es un proceso de cambios en los procesos y las relaciones
sociales e interpersonales en la institución educativa en su
relación con la comunidad o la sociedad y en el sistema de
valores en que estas relaciones se expresan.
Los cambios ocurren al incorporarse o constituirse estos
resultados en la esfera del saber; en los hábitos, las
habilidades, los gustos, preferencias y motivaciones; en la
autoestima personal y colectiva.
Los cambios pueden ser a corto, mediano o largo plazo
como efecto del conocimiento y familiarización, la
aplicación y difusión de los resultados obtenidos en las
investigaciones.

16. Impactos
Efectos
directos
Usos de
productos
Productos/
resultados
Actividades
Insumos
Pasos que se repiten
EFECTOS

17. EVALUACIÓN DEL IMPACTO
Proceso continuo dirigido a valorar no solo los resultados, sino
también la calidad de las acciones aplicadas. Debe:
• Ser capaz de valorar si se producen o no los cambios
esperados y la relevancia de los cambios producidos.
• Ofrecer la certeza de que los cambios observados son el
resultado de las acciones cuyo impacto se evalúa.
• Ofrecer información sobre qué segmentos del objeto
evaluado incidieron con mayor intensidad las acciones
aplicadas y en qué medida y qué contribución realizaron
sus distintos componentes al mejoramiento de la calidad.
• Permitir que se obtenga información sobre cambios no
previstos inicialmente. ( Llanio, Dopico, Suros, )

18. EVALUACIÓN DEL IMPACTO
• Se requiere que el programa tenga claramente establecido sus objetivos
para poder identificar los indicadores y variables que se evaluaran.
• Es relevante para evaluar cambios que se quieran introducir en el diseño
de un programa existente; evaluar la sostenibilidad de un programa
ejecutado, evaluar los efectos de un programa.
• El diseño de la metodología de evaluación de impacto del programa
académico, permite la explicación de etapas propuestas para su
implementación, cada una contiene: Momentos, objetivos, descripción de
actividades que se realizan, métodos, técnicas, evaluación, participantes y
responsables.
• Los métodos a emplear deben ajustarse a los cambios cualitativos y
cuantitativos que ha generado el programa en su accionar a lo largo de los
años, deben elegirse los adecuados a una concepción dinámica y
participativa.

19. EVALUACIÓN DEL IMPACTO SOCIAL
• Es un tipo particular de evaluación que intenta responder a
preguntas sobre causa y efecto, se preocupa por saber
cuál es el impacto o efecto causal de un programa,
proyecto de investigación, sobre un resultado de interés.
(Liberta, 2017)
• El Instituto Mexicano para el Desarrollo Comunitario
considera que es "(…) un proceso de investigación
participativo y negociado para identificar y analizar cambios
significativos y/o duraderos en la vida de las personas y
sus contextos, generados por una serie de acciones
intencionadas" (Villaseñor, 2002).

20. EVALUACIÓN DEL IMPACTO SOCIAL
García (2017) parte de una serie de elementos a
tener en cuenta en una evaluación del impacto
y son:
o Identificación de los impactos,
o determinación del área de impacto,
o análisis de las variables a estudiar,
o precisión de los indicadores por variables
o propuesta de algoritmo de estudio de las variables.

21. METODOLOGÍA EVALUATIVA
• Se utilizarán procedimientos evaluativos que integren; la
descripción profunda del objeto evaluado, análisis de los
datos, interpretación global, y emisión de juicios de valor
y de mérito.
• En la recogida de información pueden ser empleados
métodos como: Observación, Análisis de documentos,
Discusión grupal, Entrevistas en profundidad, Encuestas
para valorar el nivel de satisfacción de profesores,
estudiantes, empleadores.

22. EJEMPLO DE CUESTIONARIO
I. IMPACTO DEL PROGRAMA DE LA MAESTRÍA EN
EDUCACIÓN EN LOS PROFESIONALES
1.1 Seleccione de los aspectos que se proponen, los que considere que se relacionan
con el impacto que produce el programa de la Maestría en Educación en su desarrollo
profesional docente. (Marque con una cruz)
_____ Permite la reflexión sobre la práctica docente.
______ Provoca cambios en los modos de actuación como docente.
______ Influye en la preparación científico - metodológica.
______ Influye en la preparación pedagógico - metodológica.
______ Influye en la preparación político-ideológica.
______ Favorece la incorporación de nuevos conocimientos y habilidades para la
transformación del proceso formativo que dirige.
______ Promueve soluciones a los problemas del contexto de su actuación.
______ Promueve la participación en eventos científicos.
______ Contribuye a obtener resultados satisfactorios en las evaluaciones del
desempeño.
______ Facilita la utilización de los fundamentos pedagógicos en la práctica docente.
______ Permite el análisis crítico del programa de la asignatura que imparte.

23. I. IMPACTO DEL PROGRAMA DE LA MAESTRÍA
EN EDUCACIÓN EN LOS PROFESIONALES
1.2. Señale su participación en eventos científicos durante el
desarrollo de la Maestría en Educación.
1.3. Mencione los títulos de las investigaciones científicas en
que participa desde que se encuentra matriculado en la
Maestría en Educación:
1.4. Relacione lo publicado (material, artículo, monografía,
libro), durante el desarrollo del programa de la Maestría en
Educación.

24. II. IMPACTO EN LAS INSTITUCIONES DOCENTES DE LOS
PROFESIONALES VINCULADOS AL PROGRAMA DE LA MAESTRÍA
EN EDUCACIÓN
2.1 Seleccione de los aspectos que se proponen, aquellos indicadores de
impacto de su desempeño docente en las instituciones docentes donde
labora. (Marque con una cruz)
• Educar a los estudiantes para la formación de valores éticos y morales, convicciones
personales, hábitos de conducta y personalidades integralmente desarrolladas que piensen y
actúen creadoramente.
• Planificar, ejecutar y controlar el proceso docente de pregrado en todas sus formas, de
acuerdo con su categoría docente.
• Desarrollar actividades metodológicas inherentes al proceso docente de pregrado, hasta el
nivel de actualización que requiera el desarrollo exitoso de las funciones correspondientes a su
categoría.
• Contribuir como protagonistas, al trabajo metodológico de la institución docente donde labora.
• Desarrollar actividades de superación hasta el nivel de actualización que requiera el desarrollo
exitoso de las funciones correspondientes a su categoría.
• Realizar investigaciones, trabajos de desarrollo y de innovación tecnológica, así como
servicios científico técnicos y de aplicación que contribuyan al desarrollo de las fuerzas
productivas de la sociedad y al perfeccionamiento de la vida social en su conjunto.
• Asumir liderazgo en los equipos inter y multidisciplinarios en las instituciones docentes donde
labora.

25. III SATISFACCIÓN POR EL PROGRAMA DE LA
MAESTRÍA EN EDUCACIÓN
3.1 De acuerdo con una escala de 1 a 4 (donde
4 es el máximo) evalúe el grado de
satisfacción sobre el programa de la Maestría
en Educación
Categorías Escala
Totalmente satisfecho 4
Más satisfecho que insatisfecho 3
Más insatisfecho que satisfecho 2
Totalmente insatisfecho 1

26. 3.2 COLOQUE EL NÚMERO DE LA ESCALA ANTERIOR PARA
EVALUAR LOS CRITERIOS
______ Cumple con mis necesidades personales y profesionales.
______ Posibilita el acceso y la permanencia, en atención a la modalidad empleada.
______ Aporta nuevos conocimientos en función de mi desempeño profesional actual.
______ Mantiene el nivel de motivación por el programa.
______ Posibilita colaborar en proyectos de investigación en el territorio.
______ Posibilita alcanzar competencias en el trabajo docente-metodológico.
______ Permite la aplicación de los fundamentos didácticos, sociológicos, psicológicos,
pedagógicos, metodológicos e investigativos con un enfoque teórico-práctico al
perfeccionamiento de su práctica profesional.
______ Posibilita la participación en los procesos de diagnóstico y evaluación en el ámbito
educativo.
______ Promueve la gestión educacional desde una perspectiva personal e institucional.
----------- Otras. ¿Cuáles? ____________________________________________
¿Qué influencia tiene el programa de la Maestría en Educación en su desarrollo integral como
persona?

27. CONSIDERACIONES FINALES
• La evaluación del impacto del posgrado académico es
un proceso de investigación que requiere para su
fundamentación de enfoques teóricos y de orientaciones
metodológicos y prácticas. Favorece el
perfeccionamiento de los programas formativos.
Constituye uno de los procesos más complejos e
importantes que se realizan en las universidades.
• Es de inestimable valor las posiciones teóricas y la
experiencia acumulada por los investigadores para
evaluar el impacto de los programas formativos de
manera que reflejen en su interior los aspectos
relacionados con el proceso de mejoramiento en los
ámbitos profesional y humano, revelándose el profundo
carácter formativo de este tipo de evaluación.

28. ASPECTOS PARA EL DEBATE
¿Qué hago para transformar?
¿Lo que estoy haciendo está orientado al impacto?
¿Cómo impactó el programa en los egresados?
¿Cuáles impactos ha obtenido el programa de formación
posgraduada en que ha participado?
¿La evaluación de los programas académicos han impactado
suficientemente en la calidad de la enseñanza que se
imparte?
¿Cómo en el proceso de investigación, innovación se logra la
concepción: resultados-transformación-impactos?