Este documento describe los diferentes niveles de evaluación de la formación en las organizaciones, incluyendo la evaluación, valoración y auditoría. Explica que la evaluación mide el logro de objetivos formativos, la valoración emite juicios sobre los resultados de la formación para la empresa, y la auditoría evalúa todo el sistema de formación. Además, detalla los cinco niveles del modelo de Kirkpatrick para la valoración de la formación: reacción, aprendizaje, transferencia, resultados e impacto.
1. TEMA 5: EVALUACIÓN DE LA FORMACIÓN EN LAS ORGANIZACIONES
CONCEPTO DE EVALUACIÓN Y AUDITORÍA DE LA FORMACIÓN.
Es la última etapa de todo plan de formación que puede perseguir distintas
finalidades, cada una de las cuales da lugar a distintos niveles de análisis. Entre esas
finalidades destacan las siguientes:
Simplemente constatar la validez técnica de la formación suministrada,
comprobando el grado de logro de los objetivos formativos para reorientarla y
modificarla. Se trata de un nivel de evaluación de la formación.
Emitir juicios sobre la formación proporcionada, basados en el análisis de los
resultados que ha supuesto para la empresa, que le permitan decidir sobre las
políticas de formación y desarrollo de los recursos humanos. Se trata de un
nivel de valoración de la formación.
Emitir un dictamen sobre todo el sistema de formación de la entidad,
basándose en la obtención de información cuantitativa y cualitativa sobre el
esfuerzo, el proceso y los resultados obtenidos. Se trata de un nivel de auditoría
de la formación.
Estos tres niveles de análisis (evaluación, valoración y auditoría) son
complementarios. De ellos, el más amplio sería el último, ya que, además de estudiar
el esfuerzo y proceso de formación, también analiza los resultados logrados con ella,
asimismo estos últimos se analizan en el nivel de valoración de la formación; lo mismo
ocurre con la valoración de la formación en la que el análisis de los resultados logrados
por ella permite comprobar el logro de los objetivos y constatar su validez técnica
gracias a los resultados más o menos positivos alcanzados. Esto último se lleva a cabo
en el nivel de evaluación de la formación.
De acuerdo con esto, desde el punto de vista de la inversión en formación, a la
organización le interesa obtener un rendimiento y una rentabilidad de la misma, por lo
que el nivel de análisis recomendable sería el de valoración.
Respecto a la forma de llevar a cabo esta valoración se han elaborado distintos
modelos. El más aceptado es el propuesto por Kirkpatrick (1994) quien agrupa los
datos que deben recogerse para valorarse en cuatro niveles:
Nivel 1. Reacción de los participantes ante el programa de formación.
Nivel 2. Aprendizaje de los contenidos, habilidades y/o actitudes objeto del
curso-programa.
2. Nivel 3. Transferencia o comportamiento profesional del empleado una vez
finalizada la formación gracias a la transferencia de lo aprendido al puesto de
trabajo.
Nivel 4. Resultados, repercusiones o efectos que ha supuesto para la propia
organización la realización de la formación.
A estos cuatro niveles, Phillips (1997) le añade un quinto:
Nivel 5. Consistente en el cálculo de la rentabilidad de la inversión aplicando
distintos métodos disponibles para cualquier tipo de inversiones.
Estos cinco niveles permiten realizar una valoración profunda y exhaustiva de la
formación proporcionada. Sin embargo, la práctica empresarial no se caracteriza por la
búsqueda del rigor científico en sus actividades y, consecuentemente, mucho menos
en la valoración de la formación, que no constituye su actividad principal sino un
medio del que se vale para lograr la eficiencia empresarial. Por esto último, desde el
punto de vista de la inversión, los tres últimos niveles son los más relevantes para la
empresa.
EVALUACIÓN DE LA REACCIÓN.
La evaluación de la reacción trata de apreciar el grado en que disfrutaron los
participantes de un curso y/o programa de formación, utilizando como medida la
satisfacción obtenida. Este nivel de evaluación se basa en las opiniones de los alumnos
sobre aspectos relacionados con:
Los contenidos impartidos, como su sencillez, interés, amenidad, utilidad,
suficiencia teórica y práctica, etc.
El comportamiento del formador durante el desarrollo del curso, valorando
elementos como su capacidad para mantener el interés, incitar al recuerdo,
accesibilidad, sensibilidad, seguridad, conocimiento de la materia, etc.
La metodología aplicada, como su adecuación al tipo de contenido de la acción
formativa, la variedad en la utilización de material didáctico, el tipo de
recompensas aplicadas para estimular el aprendizaje, etc.
La utilidad y aprovechamiento que han obtenido los alumnos a través de la
satisfacción de sus expectativas iniciales, la sensación de no haber perdido el
tiempo, su utilidad para el trabajo, el ascenso profesional, etc.
Las condiciones ambientales tales como las instalaciones y condiciones físicas
en que se ha impartido el curso, esto es, la calidad de las instalaciones, la luz y
espacio físico, temperatura, las sillas y mesas, el horario de las sesiones, etc.
Los métodos para obtener información sobre las apreciaciones u opiniones de
satisfacción generada en los alumnos son varios, como las entrevistas personales, esto
3. es, conversaciones más o menos estructuradas entre el alumno y un entrevistador; los
grupos de discusión, donde los alumnos, bajo la dirección de un moderador que
estimula e incita al grupo, manifiestan su opinión en los aspectos clave de la
valoración, y los cuestionarios de opinión, consistentes en un conjunto de preguntas
sobre los aspectos clave que van a valorarse y sobre los que se pide a los alumnos que
valoren en una escala que vaya de uno a cinco o a diez (de poco a mucho) si su
formación ha sido interesante, útil, satisfactorio, etc.
Las entrevistas y los grupos de discusión, en comparación con los cuestionarios,
son métodos subjetivos, más difíciles de cuantificar y más costosos en tiempo y
esfuerzo de realización, además deben aplicarlos especialistas, por lo que este último
es el método más aplicado en la práctica, dada su sencillez, rapidez y economicidad de
aplicación, ya que se puede aplicar a un gran número de personas.
Sin embargo, el cuestionario tiene sus limitaciones, ya que se basa en las
opiniones subjetivas de los participantes. Para salvar este tipo de limitaciones, así
como dotarlo de validez y fiabilidad, debe elaborarse cuidadosamente, evitando
preguntas vagas y difusas.
La opinión de los alumnos, suele completarse con una evaluación de la opinión
del profesorado sobre los mismos aspectos, así como otros relacionados con el tiempo
disponible para organizar el curso, si se dispuso del material didáctico necesario, el
clima general del curso, su programación, etc.
La evaluación de la opinión-satisfacción obtenida por los participantes en un
curso o programa de formación es útil para mejorar las acciones formativas que se
emprendan en un futuro. Este nivel es el que aplican los centros de formación para
incrementar su competitividad a través de la mejora de la calidad percibida por sus
alumnos, también es el nivel de evaluación que utilizan las organizaciones
empresariales y sindicales que imparten acciones de formación continua mediante
planes de formación agrupados, sectoriales e intersectoriales, para evaluarlas y
mejorarlas. Desde el punto de vista de la empresa, la satisfacción de los participantes
en un curso o programa de formación resulta insuficiente para comprobar su eficacia,
por lo que, este nivel debe practicarse complementariamente a los restantes niveles si
verdaderamente se quiere comprobar la eficiencia lograda.
EVALUACIÓN DEL APRENDIZAJE.
La evaluación del aprendizaje trata de medir el grado en que se han adquirido
y/o desarrollado los conocimientos, habilidades y/o actitudes perseguidos con la
impartición de un curso-programa de formación. El logro del objetivo del aprendizaje
requiere de una adecuada organización del curso, su metodología, material didáctico,
4. etc. Esta evaluación se practica al finalizar el curso-programa de formación, aplicando
el método más adecuado a la finalidad perseguida con él, por lo que cuanto más claros
y especificados estén estos objetivos, más fácil será la aplicación de este nivel de
evaluación.
1. Evaluación de conocimientos.
Las técnicas que se utilizan para evaluar el aprendizaje de conocimientos son
las pruebas de conocimiento, también conocidas como pruebas de lápiz y
papel. Existen varias formas de aplicar estas pruebas, como la elaboración y
redacción de informes donde los participantes expresen los conocimientos
adquiridos, su utilidad y aplicación con su trabajo, los relacionen con sus
conocimientos previos, etc.; también pueden elaborarse cuestionarios que
deben contestar los alumnos asistentes al curso. Las preguntas de estos
cuestionarios pueden ser:
- Abiertas. Se desarrolla algún contenido objeto de aprendizaje.
- Cortas. Se solicita que se expongan los conceptos, principios,
enumeraciones u otros conocimientos adquiridos de forma breve y
concisa.
- Cerradas. Presentan un número limitado de respuestas sobre las que el
alumno deberá seleccionar una o varias para demostrar los
conocimientos adquiridos. Estas preguntas pueden ser de:
Selección múltiple. Varias alternativas contienen la respuesta/s
correcta/s.
Verdadero o falso.
Completar huecos en blanco con los términos aprendidos.
Relacionar parejas de palabras, imágenes, números, etc. que se
presentan en bloques o columnas distintos.
De todas estas técnicas, las más fáciles de utilizar, de corregir y objetivas son
los cuestionarios con preguntas cortas y cerradas, mientras que los informes y
cuestionarios con preguntas abiertas proporcionan respuestas extensas con
información amplia y no relevante para la evaluación del aprendizaje, requieren
bastante tiempo para su corrección y propician la subjetividad en las
valoraciones, puesto que cada respuesta es diferente.
2. Evaluación de habilidades.
Las habilidades pueden ser motoras, intelectuales e interpersonales. Se
adquieren y, consecuentemente, se demuestra su aprendizaje mediante la
práctica, por lo que la técnica más oportuna para evaluarlas son las pruebas
situacionales. Éstas imitan las circunstancias del trabajo en que los alumnos
tendrán que aplicar las habilidades adquiridas durante el desarrollo de la
acción-programa. Una vez diseñada la prueba situacional durante su aplicación
5. se llevará a cabo una observación del alumno para analizar la conducta
obtenida y compararla con la conducta deseable para poder valorar el grado de
aprendizaje de las habilidades.
3. Evaluación de actitudes.
Las actitudes reflejan la posición mental, afectiva y actitudes de un individuo
ante un determinado hecho, producto, cliente, idea, etc. Se aprenden por la
imitación de personas con capacidad de influir en el alumno.
Las actitudes de las personas se manifiestan frecuentemente a través de su
comportamiento, aunque hay algunas que están ocultas. Precisamente la
dificultad para comprobarlas hace que la técnica más adecuada para valorar su
adquisición sean las escalas de actitud. Éstas consisten en un cuestionario
donde se presentan una serie de afirmaciones sobre las que el alumno deberá
emitir un juicio de valor u opinión, mostrarse de acuerdo o en desacuerdo, de
modo que permiten determinar su disposición positiva, negativa o neutra ante
un tema u objeto determinado.
La utilidad de la evaluación del aprendizaje reside en que permite a los
responsable del curso-programa de formación determinar el grado de
complimiento de los objetivos de aprendizaje planteados, predecir la
efectividad de la formación en el puesto de trabajo, adaptar el curso-programa
para mejorar la asimilación de sus participantes y contribuir a evaluar el
potencial de desarrollo profesional de sus beneficiarios. Sin embargo, el
aprendizaje no garantiza la aplicación de lo aprendido al trabajo por lo que se
deberá complementarse con los restantes niveles de evaluación existentes.
EVALUACIÓN DE LA TRANSFERENCIA, LOS RESULTADOS Y LA RENTABILIDAD DE LA
FORMACIÓN.
1. Evaluación de la transferencia.
La evaluación de la transferencia trata de comprobar si los trabajadores han
aplicado lo aprendido a su puesto de trabajo y en qué grado lo han hecho, es
decir, el cambio de comportamiento que han manifestado los asistentes a un
curso-programa de formación tras su incorporación efectiva al trabajo.
Existen una serie de factores que dificultan la transferencia de lo aprendido al
puesto de trabajo tales como la existencia de actitudes negativas ante la
formación, la falta de los medios en la organización para poner en práctica los
conocimientos y/o habilidades aprendidas, las exigencias del trabajo diario, etc.
En este sentido, pueden y deben tomarse medidas para facilitar la
transferencia, como informar al empleado sobre el objetivo perseguido con la
misma y de los comportamientos o resultados que se esperan de él para
implicarle en ella, generar una cultura en la que la dirección de la empresa
propicie la transferencia y realice un apoyo o coatching al empleado durante la
6. aplicación de lo aprendido, darle un margen de tiempo para aplicar lo
aprendido una vez incorporado el puesto de trabajo, dotarle de los medios
técnicos precisos para transferir lo aprendido e implicarle en el aprendizaje y
transferencia.
La evaluación de la transferencia supone tomar decisiones sobre cuándo
evaluar, con qué frecuencia y cómo evaluar. Respecto al momento y la
frecuencia de las evaluaciones, es conveniente conceder un cierto margen de
tiempo para que se presente la ocasión y puedan ir aplicándose los
conocimientos o habilidades adquiridas, pero al mismo tiempo, esta evaluación
es necesario practicarla de forma periódica para asegurarse de que la
transferencia no es algo pasajero derivado del entusiasmo inicial del empleado,
sino que ha logrado una mejora permanente en su comportamiento
profesional.
Los procedimientos habitualmente empleados para comprobar si la
transferencia ha tenido lugar, el grado, así como los problemas o barrearas que
la han dificultado, esto es, cómo se evalúa la aplicación de lo aprendido al
puesto de trabajo, son varios:
- La observación directa del empleado.
- Las entrevistas estructuradas o semiestructuradas.
- El seguimiento de alguno/s de los indicadores de comportamiento
profesional.
2. Evaluación de los resultados.
La evaluación de los resultados trata de comprobar en qué medida la formación
suministrada a los trabajadores, gracias a la transferencia y mejora en su
comportamiento, ha contribuido a mejorar indicadores de rendimiento
empresarial tales como la producción, calidad del servicio prestado y ahorro en
tiempos. Estos resultados se expresan en cantidades, índices, plazos, etc.
El procedimiento propuesto por Kirkpatrick para evaluar tanto la transferencia
como los resultados es el siguiente:
- Usar un grupo de control si es posible.
- Dejar cierto tiempo para que el cambio de comportamiento tenga lugar
y se produzcan los resultados.
- Evaluar el comportamiento y/o resultados antes y después del
programa.
- Investigar y/o entrevistar a los alumnos, su supervisor inmediato, sus
subordinados y otras personas que a menudo observen su
comportamiento.
- Aplicarlo, si es posible, a todo el personal que haya participado en el
curso/programa.
- Repetir el proceso las veces que se estime conveniente.
7. - Considerar los costes y los beneficios que reporta hacer este tipo de
evaluación.
Por último, la información obtenida con la evaluación de los resultados permite
comprobar en términos cuantitativos el impacto logrado con la formación en la
empresa, pero además es posible valorar ese impacto en términos económicos
y de la rentabilidad obtenida con la inversión realizada.
3. Evaluación de la rentabilidad.
Es un nivel de evaluación propuesto por Phillips, con el que se trata de estimar
la rentabilidad económica obtenida con la inversión realizada.
Este nivel de evaluación asigna valores monetarios a las mejoras logradas en los
comportamientos profesionales y resultados de explotación de la empresa.
Para finalizar, cabe decir que la aplicación de los niveles de evaluación de
resultados y rentabilidad, al contemplar los resultados obtenidos con la
formación, permite aplicar lo que se denominó valoración de la formación.
AUDITORÍA DE LA FORMACIÓN.
Una auditoría es un conjunto de técnicas de información y de evaluación
aplicado por un profesional en el seno de un proceso corriente con el fin de adoptar un
juicio de referencia a unas normas y de formular una opinión sobre el procedimiento
y/o modalidades de realización de una operación determinada.
La auditoría es una forma de investigación que consiste en comparar una
situación real con una situación deseada con el fin de evidenciar posibles desviaciones
y emitir propuestas de mejora. Su campo de aplicación más común es el mundo
empresarial.
Los aspectos que pueden ser objeto de análisis de una auditoría son muy
diversos. Se identifican los siguientes:
- La calidad de la información producida y utilizada.
- La fiabilidad de los procedimientos utilizados en la organización.
- La eficacia de los sistemas de organización y de los sistemas de gestión.
- La optimización en la utilización de los recursos y la adecuación de los
resultados a los objetivos perseguidos.
- La pertenencia de las elecciones y la oportunidad de las decisiones.
8. Las tipologías de auditoría existentes están relacionadas con el objeto de
análisis, distinguiéndose entre:
- Auditoría financiera. Información contable y de los estados financieros.
- Auditoría operacional. Auditoría de todas las funciones u operaciones
de la empresa.
- Auditoría integrada. Integra el conjunto de aspectos de gestión de la
empresa y consiste en verificar que las prescripciones de una delegación
determinada son respetadas.
Por otra parte, dentro de la auditoría social que es la capacidad de una empresa
para superar los problemas humanos o sociales del entorno y de ella misma, y que
forma parte de unos de los tipos de auditorías operacionales, se encuentra la
auditoría de la formación. Ésta es un análisis metódico de las actividades formativas
que se dan en el seno de la empresa. Este análisis se basa en criterios explícitos y,
mediante el establecimiento de indicadores, pone de manifiesto las diferencias,
disfunciones y contradicciones observadas en ellos, con relación a referenciales
previamente fijados.
Con la auditoría de la formación se persiguen los siguientes objetivos:
- Comprobar el cumplimiento de las normativas internas y externas
existentes en materia de formación.
- Evaluar su eficacia global.
- Evaluar la eficiencia social, técnica y económica de la formación
impartida.
- Emitir recomendaciones y propuestas de mejora realistas y acordes
para superar las limitaciones detectadas y elaborar estrategias de
futuro.
Pineda (1995) propone un modelo de auditoría de la formación que denomina
modelo MAFDENA. Este modelo se fundamenta en tres ejes: las dimensiones, los
espacios y los niveles de análisis, a través de los cuales analiza el sistema de formación
de una empresa desde una perspectiva global e integral.
1. Dimensiones de análisis. Estas dimensiones son cuatro: externa, interna, de
eficacia y de eficiencia. Estas cuatro dimensiones de análisis están presentes en
todos los espacios y niveles de la auditoría.
2. Espacios de análisis. Se refieren al conjunto de elementos que integran y/o
influyen en la formación de la empresa. Estos espacios son: legal, social,
económico, pedagógico y organizativo. Cada uno de estos espacios se analiza,
por separado, a través de las dimensiones de análisis que resulten
9. convenientes, y posteriormente se relacionan los resultados obtenidos para
analizar las causas y efectos de los hechos detectados.
3. Niveles de análisis. Estos son los diferentes epígrafes en que se divide cada
espacio de la auditoría, por ejemplo, en el espacio económico, los niveles de
análisis son los costes, los beneficios y la rentabilidad obtenida con la
formación.
La aplicación de este modelo se realiza siguiendo la metodología general de las
auditorías. Esta metodología es una gestión inductiva, objetiva e
independiente, que implica la ausencia de todo a priori. Se basa en la
constatación de los hechos, los cuales serán juzgados por el auditor, analizando
e interpretando, para posteriormente dar las oportunas recomendaciones con
el fin de eliminar los problemas encontrados. Candau (1985) distingue cinco
fases para llevar a cabo el proceso de auditor:
- Recogida de información. En esta fase es fundamental la separación y
ordenación apropiada de los datos.
- Verificación. La eficiencia del proceso auditor está en función de la
validez, exactitud y calidad de la información recogida, por lo que su
verificación es de vital importancia para su desarrollo.
- Análisis de la información. Consiste en un examen detallado de la
información recopilada, aislando los fenómenos observados,
identificarlos, cuantificarlos y compararlos con los referenciales,
previamente establecidos junto con los indicadores, para identificar los
problemas significativos.
- Evaluación. Consiste en emitir un juicio sobre los fenómenos
observados, tratando de apreciar las diferencias de los resultados de la
fase anterior, evaluar los problemas allí identificados y diagnosticar sus
causas.
- Recomendaciones y propuestas de acción correctora con la finalidad de
corregir las disfunciones identificadas. Se harán siempre de forma
positiva y precisa, estableciéndose en términos de costes, beneficios
esperados y rapidez de ejecución, en relación con los resultados
acumulados en las fases anteriores.