3. EL MARCO DEL PROCESO:
A TENER PRESENTE TODO EL TIEMPO
Consistencia interna: grado de ajuste entre las acciones y
resultados de una unidad con los propósitos internamente
definidos. Misión institucional y perfil de egreso.
Consistencia externa: grado de ajuste de una unidad a
criterios previamente definidos por un comité técnico de la
disciplina y aceptados por la comunidad académica o
profesional correspondiente. Criterios de evaluación
4. Perfil de egreso
Debe considerar:
– El estado de desarrollo de los fundamentos científicos, disciplinarios o
tecnológicos.
– Una consulta al medio en que se desempeñan profesionales afines.
– Las orientaciones fundamentales provenientes de la misión
institucional.
EL MARCO DEL PROCESO:
A TENER PRESENTE TODO EL TIEMPO
5. Un proceso de evaluación, mediante el cual una unidad,
programa o institución, reúne y analiza información sustantiva
acerca de sí misma,
la contrasta con sus propósitos declarados, el perfil de egreso y
un conjunto de estándares previamente definidos y aceptados,
con el fin de orientar la gestión de la unidad y la elaboración de
planes de desarrollo.
¿Qué es la Autoevaluación?
6. ¿Qué se espera?
Del proceso de autoevaluación
– Analizar políticas y mecanismos institucionales a partir de revisión
documental y consulta a informantes clave (principales actores).
– Considerar documentación que aporte información sobre
• Propósitos institucionales.
• Políticas y mecanismos de AC.
• Resultados operativos de la institución.
– Establecer la medida en que se aplican de las políticas y mecanismos de
autorregulación en los distintos niveles de la institución.
– Analizar los resultados de procesos de evaluación anterior
– Las conclusiones del proceso de evaluación interna sean concordantes
con los juicios de la comisión de pares.
7. ¿Qué tipo de Información se debe generar?
Se debe generar información sintética y precisa, basada en
evidencias, distinguiendo los siguientes aspectos:
– los responsables de los procesos principales críticos.
– los indicadores y su evolución, a nivel de Facultad, Escuela o
Instituto, según corresponda.
– acciones realizadas para enfrentar y superar las debilidades
detectadas en la autoevaluación.
– estado de los mecanismos de aseguramiento de la calidad.
8. ¿Cómo se inicia el proceso?
La autoevaluación debiera iniciarse con una discusión amplia y
participativa acerca de la misión institucional de la unidad
(departamento, carrera, facultad, etc.), del perfil de egreso de la
carrera y de la forma específica en que ello se concreta en el
quehacer de cada cual en la unidad sometida al proceso.
10. Sugerencias para desarrollar el proceso de
Autoevaluación
El proceso descansa en los equipos de trabajo que llevan a cabo las tareas
de la universidad.
El proceso debiera ser voluntario de modo que participan quienes
realmente están dispuestos a incorporarse al mismo.
El proceso es abierto, en el sentido de que está sintonizado con los
cambios y realidades del entorno de la institución.
El proceso no debería ser amenazante ni ser percibido como tal.
El proceso está sustentado en información empírica, tanto disponible
como generada especialmente para la autoevaluación.
El proceso da origen a instancias y rutinas de seguimiento
11. Condiciones para facilitar el desarrollo del
proceso
• RESPALDO INSTITUCIONAL: para comenzar su desarrollo y apoyos administrativos
para sostenerlo en el tiempo, incluyendo los recursos mínimos para asegurar la
operatividad del mismo.
• PARTICIPACIÓN: proceso participativo, centrado en los equipos de trabajos,
obedeciendo a reglas de voluntariedad, horizontalidad y apertura, el marco
institucional
Participación de Académicos
Participación de estudiantes, egresados y administrativos
• EQUIPO DE CONDUCCIÓN
• DISPONIBILIDAD DE INFORMACIÓN sustantiva y válida
• CAPACIDAD DE ANÁLISIS de la información
• ORIENTACIÓN DEL PROCESO A RESULTADOS CONCRETOS DE MEJORAMIENTO
12. La Autoevaluación
De responsabilidad de la unidad a cargo del programa evaluado, el
proceso debe ser participativo, analítico, crítico. Considera los
siguientes pasos:
1. Recolección de información de acuerdo a guías de formularios.
2. Análisis de la información, evaluación y plan de mejoramiento.
3. Redacción de un informe de autoevaluación.
4. Seguimiento al plan de mejoramiento.
Duración: entre 3 y 8 meses.
SOCIALIZACION
13. Existen responsables identificables de los procesos principales
en los distintos niveles jerárquicos?
¿Se está trabajando sistemáticamente en las debilidades
detectadas?
¿Cómo se separan los roles entre la Gestión Operativa y la
Gestión de Aseguramiento de la Calidad?
¿Se observa en las Facultades contribuciones al
mejoramiento de la Calidad? ¿Cual es la evidencia?
Algunas preguntas a responderse en el proceso
14. 1. Recolección de información: Instrumentos de AE
Son una herramienta y no un fin en sí mismo
Contienen la declaración de la evidencia que sustentan los juicios de
autoevaluación de la carrera
Puede ser completada por personal de apoyo administrativo mientras que
el informe de autoevaluación debiera ser elaborado por académicos
Orientan el levantamiento de información:
– antecedentes cualitativos de la carrera
– resultados de encuestas aplicadas (académicos, estudiantes,
egresados, empleadores, etc.)
– información cuantitativa de la carrera
15. 2. Análisis de la información, evaluación y plan de
mejoramiento
Revisión de información recogida de acuerdo a:
– la misión de la institución
– propósitos y perfil de egreso de la carrera
– criterios de evaluación
Juicios evaluativos: discusión amplia de los resultados obtenidos,
generación de consensos y fortalezas y debilidades consensuadas en la
unidad.
Plan de mejoramiento: acciones remediales, realistas y verificables
16. 3. Redacción del Informe de Autoevaluación
Destinatarios: el programa (instrumento de gestión), el comité de pares y
el Consejo de Ciencias Sociales de Qualitas.
Contenidos: de acuerdo a los criterios de evaluación
– Introducción
– Dimensión Perfil de Egreso y sus Resultados
– Dimensión Condiciones de Operación
– Dimensión Capacidad de Autorregulación
– Plan de mejora
Carácter del informe: equilibrado (ni autocomplaciente ni autoflagelante)
17. Información cuantitativa básica sobre las características centrales de la
institución
Marco de Referencia Institucional: breve descripción de la institución, sus
funciones y autoridades; metas y objetivos institucionales, forma en que
éstas se traducen en las distintas instancias institucionales, estructura de
gobierno, (órganos unipersonales y colegiados y las relaciones entre ellos)
Análisis crítico de los resultados de la autoevaluación: vigencia, aplicación
y resultados de los mecanismos de aseguramiento de la calidad para cada
una de las áreas en evaluación.
Avances y ajustes implementados por la institución sobre la base de
procesos de evaluación anteriores.
Ajustes previstos o planes de mejoramiento destinados a perfeccionar las
políticas y mecanismos de aseguramiento de la calidad, identificando áreas
prioritarias, acciones previstas, resultados esperados, plazos y mecanismos
de verificación establecidos.
Documentos anexos de respaldo, de acuerdo a lo indicado en la guía
correspondiente.
¿Qué debe incluir el IAE?
18. 18
Para garantizar un buen proceso e informe
autoevaluación se requiere
Amplia y activa participación de:
Académicos
Profesionales –en funciones
adminsitrativas
Estudiantes
Informantes externos
(empleadores,
clientes/beneficiarios de
servicios UCB, ex alumnos)
Liderazgo de:
Autoridades UCB
Equipo conductor
19. Calidad de la documentación (IAE)
CARACTERÍSTICAS DE UN BUEN INFORME:
– ANÁLISIS
• ...buen nivel de análisis y triangulación de datos.
• ...un buen nivel de autocrítica
• Capacidad de reflexión y proposición
• ...centrado en evidencias que permitan establecer juicios de naturaleza
evaluativa.
• Debe realizar análisis y conclusiones correspondientes y no sólo presentar
“datos desnudos”, dejando el análisis a la comisión de pares evaluadores.
– FORMATO
• Utiliza un formato que favorece la lectura
• índice, letra no muy pequeña, buena presentación.
• Tiene las páginas enumeradas
20. Calidad de la documentación (IAE)
CARACTERÍSTICAS DE UN “MAL” INFORME:(1)
– CONTENIDO
• Introducciones débiles que no permiten entender adecuadamente las
características propia de la carrera
• Redacción verborreica
• No se clarifica el perfil de egreso.
• No se clarifica el marco en el cual se otorga la Licenciatura
• Desorden de la información
• Información incompleta sin explicación
• Información excesiva o a veces repetida, poca relación entre los anexos y
el contenido
• informe preparado para aparecer bien, y tanto sus debilidades como sus
fortalezas se exponen para obtener una acreditación externa.
– PLAN DE MEJORAS
• débiles en especial en cuanto a los indicadores
• incompletos y desvinculados de las debilidades detectadas.
21. Calidad de la documentación (IAE)
CARACTERÍSTICAS DE UN “MAL” INFORME: (2)
– ANÁLISIS
• Datos dispersos e incoherentes
• Juicios sin fundamentos
• Falta de análisis crítico de la información obtenida
• Falta de datos empíricos para respaldar afirmaciones
• ... tratar de no dejar en evidencia las debilidades, mostrando una imagen
demasiado positiva que muchas veces puede no ser la realidad… quitándole
credibilidad al informe
• Naturaleza descriptiva y no evaluativa
• Problemas de coherencia interna por datos obtenidos en diferentes momentos de
un proceso y que no son actualizados
• Procesos de autoevaluación poco rigurosos y a veces improvisados
• Autocomplaciente y poco autocrítico
– ELABORACION
• Informe realizado por un externo a la unidad de análisis
• Informe elaborado por directivos de unidad sin consulta a otros actores
(estamentos)del programa
– FORMATO
• Falta de formalidad, descuido en la presentación.
22. Anexos que debería contemplar el IAE (1)
Proyecto de carrera
Malla curricular clara y bien explicada en cada uno de sus elementos (Si
hay dos o más mallas vigentes, incluirlas todas)
Reglamentos
Programas de asignaturas (Si hay transición curricular, incluir un ejemplo
de programa antiguo y nuevo de la misma asignatura)
Curriculum Vitae de docentes y directivos
Detallar carga académica de los académicos de planta
Síntesis de fortalezas y debilidades detectadas en procesos de
acreditación anteriores y la forma cómo las debilidades han sido
superadas
23. Anexos que debería contemplar el IAE (2)
Estado de avance en el plan de mejoras actual
Plan de mejora anterior (si lo hubo)
Indicadores de impacto del proceso formativo
Plan de desarrollo institucional
Organigramas y estructura internas de funcionamiento de la unidad y
programa evaluado
Cuadros con información clara acerca del régimen contractual de los
académicos vinculados al plan de estudios evaluado que indique el año de
incorporación a la unidad
Pauta de evaluaciones estudiantes
Pauta de evaluación docente
24. 4. Plan de mejoramiento
Cada ciclo del proceso debiera culminar con la priorización de
recursos y acciones para superar las debilidades identificadas en el
plan de mejoramiento
Seguimiento desde que se entrega el informe a la Agencia
Ajustes de acuerdo a observaciones del Acuerdo de Acreditación
Revisar estado de avance y cumplimiento al momento de
someterse a un nuevo proceso de acreditación
25. Cual es el valor de un proceso de AE
Oportunidad para hacer un alto y hacer una “auto-inspección”
Oportunidad de identificar desde perspectivas y fuentes diversas, aquellos
aspectos que se deben ajustar mejorar, reforzar, e innovar
Oportunidad de exponernos a evaluación de externos con referencia a
criterios aplicables a todas las universidades
Oportunidad de “consolidar” una marca de calidad
Pero, especialmente se debe generar un proceso que convoque y se realice
con altos niveles de PARTICIPACIÓN y trabajo de EQUIPO:
26. Dificultades frecuentes
En el diseño del proceso: la representatividad de los distintos
sectores de la unidad en el Comité.
Escepticismo del mundo académico: otro proceso más, sin cambios
ni consecuencias.
Desconocimiento de la misión, perfil de egreso de la carrera o de
los criterios de evaluación.
Superposición de otros procesos con objetivos distintos y
perturbadores.
Proceso más descriptivo que analítico
Plan de desarrollo que no prioriza acciones.
27. Logros del proceso
El proceso de autoevaluación permite:
Afianzar una cultura crítica de autoevaluación, orientada hacia el
mejoramiento de la unidad
Desarrollar un proceso objetivo y honesto de revisión de fortalezas y
debilidades, reconocido y validado por pares externos
Estimular la participación de la comunidad (académicos, estudiantes y
administrativos) en un diagnóstico común
Corregir falencias, a medida que se identifican
28. Logros del Proceso (cont.)
Organizar la información de la carrera, tendiendo al establecimiento de
un sistema de información para la gestión de la calidad
Reunir antecedentes importantes para las autoridades, con
recomendaciones de cambio necesarios para el progreso institucional,
validados por la opinión de los pares externos
Mejorar la capacidad de gestión de la unidad y potenciar el aporte de los
académicos a ella
Desarrollar una actividad necesaria desde el punto de vista de la garantía
pública de la calidad - Acreditación