SlideShare una empresa de Scribd logo
1 de 16
Descargar para leer sin conexión
Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el
ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.
http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm


                                                              Revista ELectrónica de Investigación
                                                                    y EValuación Educativa




             REVISIÓN DE MODELOS DE EVALUACIÓN
             DEL IMPACTO DE LA FORMACIÓN EN EL
            ÁMBITO SANITARIO: DE LO GENERAL A LO
                         ESPECÍFICO
             (Review of evaluation models on the impact of training in
                    the health field: from general to specific)

                                                            por
  Article record                                                                                   Ficha del artículo
                                       Chantal Biencinto (alameda@edu.ucm.es)
  About authors                                                                                    Sobre los autores
                                        Rafael Carballo (rafacar@edu.ucm.es)
  HTML format                                                                                      Formato HTML



                      Abstract                                                      Resumen
                                                              El presente artículo tiene como objetivo hacer una revi-
The objective of the present article is to review the
                                                              sión de los modelos de evaluación del impacto de la for-
evaluation models on the impact of training in the health
                                                              mación en ámbito sanitario. Esta revisión comenzará por
field. This review will begin with the most general mod-
                                                              los modelos más generales de evaluación para, a conti-
els of evaluation and continue with the models used in
                                                              nuación, continuar con los modelos más utilizados en la
the evaluation of the impact of training in the health
                                                              evaluación del impacto de la formación en el ámbito sani-
field.
                                                              tario.

                      Keywords                                                    Descriptores
Evaluation, impact, models, training                          Evaluación, impacto, modelos, formación




  El objetivo de este artículo es lograr una                      componen el impacto, entendido como pro-
definición del impacto de la formación en el                      ducto mediato de la formación, tanto desde
desarrollo laboral de los sujetos. Para lograr                    la perspectiva individual, como desde un
este objetivo, nos hemos acercado al marco                        punto de vista social. Estas dimensiones teó-
conceptual, a través de la revisión teórica de                    ricas, implicadas en los diferentes modelos
los diferentes modelos de evaluación de im-                       analizados, son: la satisfacción de expectati-
pacto que se encuentran en la literatura revi-                    vas respecto a la formación (se considera uno
sada. La conclusión que obtenemos de esta                         de los productos esenciales de cualquier ac-
revisión de modelos, va encaminada a la de-                       ción formativa), el valor añadido (entendido
finición de las diferentes dimensiones que                        como el incremento en lo a que a conoci-


Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ]                        pag. 101
Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el
ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.
http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm

mientos se refiere), y, como tercera dimen-              fallo en la detección de necesidades son más
sión a considerar, las mejoras que se produ-             difíciles de corregir que los que se producen
cen en la empleabilidad. .                               durante el proceso formativo.
  Los modelos de evaluación se inscriben en                A estas características generales adaptadas
un contexto de calidad concreto y, por tanto,            a la formación, podemos añadir las conside-
en la primera parte de este artículo analiza-            raciones que Le Boterf (1993) hace sobre el
remos diferentes modelos de evaluación de                Ciclo de Deming. El Ciclo o rueda de De-
la calidad para, a continuación, hacer un                ming, plantea cuatro acciones fundamentales
breve repaso de los modelos de evaluación                que tienen como consecuencia la calidad;
del impacto de la formación y terminar con               éstas son: Planificar (P), Realizar o ejecutar
la revisión de los modelos de evaluación del             (D), Controlar o verificar (C) y Mejorar (A).
impacto de la formación en el ámbito sanita-
rio. De esta forma, la revisión comenzará por            1.2. Modelo Enfoque de Inversión de
lo más general hasta llegar a un ámbito más              Mamolar
específico.                                                Como alternativa al modelo de adquisición
                                                         y mantenimiento de competencias desarro-
1. Modelos de evaluación de la calidad                   llado en párrafos anteriores, encontramos un
                                                         modelo que pretende ser integrador y nove-
1.1. Modelo de evaluación de la calidad
                                                         doso denominado enfoque de inversión. Se
de Le Boterf
                                                         trata de un modelo generado por y para la
  Le Boterf, Barzucchetti y Vincent (1993)               empresa que tiene como objetivo la evalua-
identifican tres características clave de la             ción de la formación desde una perspectiva
calidad:                                                 de rentabilidad de la inversión en este terre-
 1. El control de la calidad significa domi-             no. Aunque aparentemente la relación con el
 nar la calidad del conjunto de las funcio-              ámbito que nos ocupa parece lejana, este
 nes de la empresa, incluyendo funciones                 modelo incorpora una serie de indicaciones y
 administrativas.                                        recomendaciones que parecen aptas para
 2. El dominio de la calidad total es una                incorporar en el modelo evaluativo que pro-
 búsqueda que no tiene un final determina-               pondremos posteriormente.
 do.
                                                           En primer lugar, la correcta definición y
 3. La dificultad de enmendar posibles
                                                         detección de necesidades, de esta forma el
 errores se incrementa en función del mo-
                                                         programa de formación puede considerarse
 mento y lugar en el que se produzca.
                                                         adecuado a los intereses y demandas de los
  Estas tres características se pueden imple-            profesionales. En segundo lugar, este modelo
mentar en el proceso de calidad de la forma-             propone, la especificación de las competen-
ción teniendo en cuenta los siguientes aspec-            cias, habilidades y conductas que van a ad-
tos: en primer lugar, es imprescindible tener            quirir los participantes y, por último, la se-
en cuenta todas y cada una de las fases que              lección de los indicadores que nos permitan
concurren en el proceso formativo, incluyen-             recoger información que resulte relevante
do selección de los asistentes y planificación           para poder evaluar tanto el proceso como los
de la acción formativa; en segundo lugar, el             resultados de la formación.
grado de satisfacción de los asistentes, la
evaluación de las competencias adquiridas y                Las conclusiones más relevantes de este
el índice de readaptación, considerados como             modelo están en la línea de resaltar la impor-
feedback de la formación impartida, condu-               tancia de adaptar los procesos formativos, no
cen a una búsqueda permanente de la cali-                sólo al mantenimiento de competencias, sino
dad; y, en tercer lugar, los errores como el             también a la continua transformación y adap-


Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ]             pag. 102
Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el
ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.
http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm

tación de esas competencias a situaciones de             tentes multidimensionales con mayor poder
continuo cambio.                                         explicativo que las variables observadas.

1.3. Modelo de calidad orientado a la                    1.4. Modelo Europeo de Gestión de la
satisfacción de Martínez-Tur                             calidad
  En la línea de modelos de calidad orienta-               Otro de los modelos de calidad revisado es
dos a la satisfacción, Martínez-Tur y Tordera            el Modelo Europeo de Gestión de la calidad,
de la Universidad de Valencia (1995), elabo-             que edita la Fundación Europea para la Ges-
ran un modelo causal basado en modelos                   tión de la Calidad; en él se ven recogidas
clásicos sobre la medida de la satisfacción.             unas directrices generales que se pueden
La novedad que introducen estos autores                  adaptar a múltiples contextos. Este tipo de
versa sobre la revisión del modelo de alta               modelo nace concebido para el ámbito de la
implicación (MAI), que hipotetiza relaciones             empresa y, en el caso de España, es el Minis-
causales entre la calidad, las expectativas del          terio de Educación Cultura y Deporte el en-
usuario ante el producto que consume, la                 cargado de adaptarlo al medio educativo o
desconfirmación [1], la satisfacción y las               formativo. Adaptado a la formación el Mo-
intenciones conductuales. Los resultados más             delo Europeo de Gestión de la Calidad se
relevantes de este estudio radican en la signi-          resume de la siguiente forma: la satisfacción
ficatividad de los parámetros del modelo,                de los usuarios del servicio Público sanitario
una vez revisado. La revisión del MAI, con               de Formación, de los coordinadores y el im-
la consiguiente modificación de relaciones               pacto en la sociedad se consigue mediante un
causales (inclusión de un efecto directo de la           liderazgo (entiéndase como la implicación de
calidad percibida sobre la satisfacción), re-            la Administración) que impulse la planifica-
sulta un modelo que se ajusta a los datos,               ción y la estrategia, la gestión del personal
pero sin embargo tiene deficiencias aprecia-             sanitario implicado, de los recursos y sus
bles que los mismos autores señalan en las               procesos hacia la consecución de la mejora
conclusiones. En primer lugar, podemos des-              permanente de los resultados. El sistema de
tacar la unidimensionalidad de la variable               evaluación por puntuaciones responde a una
satisfacción, sólo se ha utilizado una medi-             consulta efectuada a un conjunto de organi-
ción de esta variable y hubiese sido deseable            zaciones europeas. A continuación repasa-
utilizar más de un indicador. La satisfacción            remos los conceptos básicos del Modelo que
es un constructo multidimensional y como                 como se puede comprobar están estrecha-
tal está contemplado en este trabajo. En se-             mente relacionados con los postulados teóri-
gundo lugar, y quizá como crítica más im-                cos del Modelo de Calidad Total. Estos con-
portante, nos encontramos con la imposibili-             ceptos son: orientación al cliente, relaciones
dad de generalizar los resultados a otros sec-           de asociación con proveedores, desarrollo e
tores. Esta limitación es común a muchos de              involucración del personal, procesos y
los artículos revisados y viene dada por una             hechos, mejora continua e innovación, lide-
serie de características tales como la utiliza-          razgo y coherencia con los objetivos, ética y
ción de muestras reducidas o la escasa for-              responsabilidad y orientación hacia resulta-
malización de los modelos presentados, así               dos.
como la falta de adecuación de los criterios
de valoración. Por último, reseñar que la
metodología utilizada para intentar explicar
                                                         1.5. Modelo Relacional de Calidad de De
las relaciones causales entre las variables, se
                                                         la Orden
ha superado ya con técnicas LISREL que
permiten utilizar variables o constructos la-              Otro de los modelos que puede contribuir a
                                                         contextualizar las distintas teorías asociadas
                                                         a los modelos de evaluación es el modelo

Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ]             pag. 103
Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el
ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.
http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm

relacional de calidad planteado por De la                mento, no suelen establecer una metodología
Orden (1988; 1990; 1997), establece las rela-            concreta de evaluación. Sin embargo, encon-
ciones entre los distintos elementos de un               tramos el modelo de Evaluación de la Ges-
sistema: objetivos y metas, recursos, proce-             tión de Procesos en Recursos Humanos de
sos, entradas, contexto y productos, de estas            Olaz (2000) que sí propone una metodología
relaciones, el autor establece tres criterios de         de análisis concreta. En este modelo se abo-
calidad como son la eficacia, eficiencia y               ga por una metodología e interpretación
funcionalidad, en función de los cruces entre            cuantitativa de los datos obtenidos en la eva-
elementos. La evaluación consiste en identi-             luación. Siguiendo una metodología cuantita-
ficar las posibles deficiencias de este sistema          tiva, el primer paso sería establecer las va-
así como los productos que se derivan del                riables representativas y cuantificables como
mismo dentro de un proceso continuo de                   elemento de referencia válido. Entre ellas,
retroalimentación. Cada uno de los elemen-               encontramos la variable que hace referencia
tos del modelo vienen justificados por una               a la formación. Esta variable trata de deter-
teoría subyacente sobre la evaluación en ge-             minar el grado de conocimientos imprescin-
neral y sobre la evaluación de programas en              dibles que permitirán desarrollar las tareas
particular. Se trata de un modelo sistemático            del proceso en términos de eficiencia opera-
y a su vez completo que puede ser “aplica-               tiva. En segundo lugar se propone relacionar
do” a cualquier sistema evaluable. Permite               los factores que genéricamente han sido pre-
elaborar indicadores para evaluar tres dimen-            sentados, con las variables representativas.
siones: eficacia, eficiencia y funcionalidad,            En el caso de la formación se establecen tres
las cuales, en su conjunto, son el reflejo de la         factores relacionados con las técnicas, las
Calidad. El profesor De la Orden define cali-            habilidades directivas y aspectos formativos.
dad como: “La Calidad aparece como un                    Una vez identificadas las variables y los fac-
continuo escalar cuyos puntos representan                tores asociados, se puede construir un siste-
combinaciones de funcionalidad, eficacia y               ma de valoración que debe contemplar as-
eficiencia, mutuamente implicados. Su grado              pectos como la objetividad para conseguir
máximo, la excelencia, supone un óptimo                  fines explicativos, interpretabilidad de los
nivel de coherencia entre todos los compo-               datos, causalidad de las relaciones entre las
nentes principales representados en el mode-             variables y /o factores así como fiabilidad y
lo sistémico” (De la Orden Hoz, 1997). Los               representatividad de los datos con los que se
indicadores se plantean de forma diferente               pretende obtener información del proceso de
para cada dimensión.                                     evaluación. Este modelo está centrado en los
                                                         procesos internos de una organización em-
  La eficiencia pone de manifiesto la rela-              presarial, la contribución a nuestro estudio
ción de entradas y procesos con los produc-              radica en la utilización de una metodología
tos. De la Orden (1997) afirma: “La cohe-                cuantitativa y de relaciones causales entre
rencia entre, por un lado, inputs y procesos             variables.
y, por otro lado, productos”. La eficacia, por
su parte, supone coherencia en la relación               1.7. Modelo de Barbier
entre entradas o inputs y productos, y por                 Ahondando en el tema de la evaluación de
último, la funcionalidad, supone la coheren-             la formación, esta vez desde el énfasis en los
cia entre metas/objetivos generales y produc-            procesos, encontramos la aportación de Bar-
tos.                                                     bier (1993). Este autor analiza desde una
1.6. Modelo de Evaluación de la Gestión                  perspectiva pedagógica los procesos de la
de Olaz                                                  evaluación de la formación. En aras a facili-
                                                         tar su comprensión y justificar su utilización
  Los modelos de evaluación de los procesos
formativos que hemos revisado hasta el mo-


Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ]             pag. 104
Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el
ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.
http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm

vamos a proceder a definir brevemente cada                 Este tipo de evaluación es lo que Barbier
uno de los términos utilizados.                          denomina evaluación instituida. Se trata de
                                                         un tipo de evaluación donde los juicios de
   En primer lugar, cuando hablamos de eva-              valor se realizan de forma explícita a través
luación de agentes nos estamos a refiriendo a            de un proceso de diseño a priori, con objeti-
todas evaluación que haga referencia a ad-               vos bien definidos, metodología científica y
quisición de conocimientos, aptitudes, habi-             evaluación de resultados entendida como
lidades, tanto a nivel individual como de                consecución de metas.
grupos u organizaciones. Por otro lado, para
este autor la evaluación de acciones hace                2. Modelos de evaluación de impacto
referencia a la evaluación de la metodología
utilizada, las actividades, los sistemas y todo            En este epígrafe realizaremos una revisión
aquello que se relaciona con los procesos de             de algunos de los modelos utilizados en la
formación. Por último, señalar que para Bar-             práctica para evaluar el impacto de la forma-
bier (1993), la elaboración de criterios a par-          ción.
tir de objetivos permite poner en relación los
objetivos con la información relativa a la                 La evaluación de impacto es una forma de
consecución de los mismos. Podemos desta-                evaluación que poco a poco ha ido ganando
car la referencia explícita al trabajo pedagó-           aceptación entre los encargados de planificar
gico que conlleva la formación.                          e impartir formación continua para adultos.
                                                         Vamos a presentar seis modelos de evalua-
   En este sentido seria importante añadir qué           ción del impacto de la formación. Cada uno
entiende el autor por el proceso de adquisi-             de ellos lo comentaremos teniendo en cuenta
ción de conocimientos, destrezas o habilida-             dos aspectos: en primer lugar una descrip-
des pedagógicas. En primer lugar empeza-                 ción detallada del modelo y seguidamente un
remos por definir lo que entiende por perfil:            análisis crítico en base a ventajas e inconve-
conjunto de capacidades individuales sobre               nientes de cada uno de los modelos analiza-
las cuales se apoya la actividad formativa.              dos.
Entendemos pues que la formación debe par-
tir de la individualidad y adaptarse a las ca-           2.1. Modelo de evaluación de cuatro ni-
pacidades de cada sujeto. Este proceso for-              veles de Kirkpatrick
mativo debe contar con una serie de medios                 Descripción del modelo
específicos, adecuados a los objetivos previs-
tos, que faciliten la relación pedagógica, en-              El Modelo de Evaluación de Programas de
tendida como la distribución de roles en la              Formación que plantea Kirkpatrick (1959,
interacción profesor-alumno. Asimismo, el                1996, 1999), establece diez factores a consi-
proceso formativo debe contar con tres fases             derar a la hora de planificar y poner en mar-
diferenciadas:                                           cha cualquier acción formativa. El primero
                                                         de ellos sería la detección de necesidades.
 1. Determinación de objetivos: Estos deben              Este primer paso está consolidado en esta
 estar definidos en función de las capacida-             posición como podemos comprobar en la
 des individuales y deben ser operativos.                literatura sobre evaluación revisada hasta el
 2. Construcción de mecanismos o secuen-                 momento. Si la acción formativa que quere-
 cias que conduzcan el proceso de adquisi-               mos llevar a la práctica no se adecua a las
 ción de destrezas.                                      necesidades, tanto de los asistentes a la mis-
 3. En una tercera fase se procede a la eva-             ma como de los demás grupos implicados,
 luación del proceso pedagógico, así como                no conseguiremos que la formación sea de
 la consecución de los objetivos fijados en              calidad ya que no cumpliría el criterio de
 la primera fase.                                        funcionalidad. El segundo factor a tener en


Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ]             pag. 105
Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el
ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.
http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm

cuenta es el establecimiento de objetivos. En            de estos niveles, el autor, propone una serie
tercer lugar, la determinación de los conteni-           de condiciones e indicadores que facilitan y
dos, resulta del establecimiento de los dos              estructuran la evaluación. En cuanto al pri-
factores anteriores. Además de determinar                mero de los niveles denominado reacción,
las materias a impartir, en este paso se deben           hemos de fijar nuestra atención sobre aspec-
jerarquizar los contenidos en función de la              tos del programa formativo relacionados con
relevancia en base a los objetivos y las nece-           el tema, con la persona encargada de impartir
sidades detectadas. El siguiente factor a tener          la formación y con el programa en su
en cuenta en el diseño de una acción forma-              conjunto. Reacción es básicamente medir la
tiva será la selección de los participantes.             satisfacción de cliente. Para ello se debe
Esta selección debe hacerse en función de                construir un cuestionario de satisfacción ad
unos criterios bien definidos y explícitos, es           hoc que contenga tanto cuestiones
decir que los criterios sean públicos y cono-            valorativas como la posibilidad de que el
cidos con anticipación por los sujetos sus-              encuestado exprese su opinión personal así
ceptibles de participar en la formación. Los             como comentarios y sugerencias. Este
siguientes cuatro factores están íntimamente             cuestionario de satisfacción debe cuantificar
relacionados entre sí y forman parte del pro-            las reacciones inmediatas de los asistentes
pio proceso. El primero de ellos es la elec-             tras finalizar la sesión formativa. Otra de las
ción del plan de trabajo a seguir, es decir              razones para medir la reacción es la
determinar horarios y duración del curso.                motivación y el interés de los asistentes a los
Esto debe hacerse en función de los partici-             cursos formativos. En cuanto al segundo
pantes de los formadores. En segundo lugar,              nivel denominado aprendizaje, la medida se
la selección de la infraestructura adecuada a            centra en la adquisición de conocimientos,
los contenidos y al plan de trabajo. El si-              mejora de las habilidades y cambio de
guiente factor es la selección y contratación            actitudes. Este tipo de conocimientos que se
del personal docente encargado de llevar a               adquieren durante la formación deben ser
cabo la formación. Este es un punto en el que            evaluados a través de pruebas post-
suele aparecer problemas sobre todo de índo-             formación y medir los logros obtenidos y el
le económica. No siempre el docente con                  cumplimiento de objetivos fijados a priori.
más calidad y que más se ajusta al perfil tan-           Normalmente el aprendizaje va acompañado
to de los asistentes como de los contenidos a            de uno o más de estos indicadores. El tercer
impartir, resulta ser el más caro. Hoy muchas            nivel se relaciona con los comportamientos o
empresas u organismos valoran a los docen-               conductas que pueden medirse durante el
tes por la cuantía de sus honorarios, sin tener          curso o una vez finalice. Si el propósito de la
en cuenta su adecuación o no a las caracterís-           formación es un cambio en las pautas de
ticas del curso. El siguiente factor hace refe-          comportamiento, muchos estudios han
rencia a la selección y preparación de mate-             comprobado que este tipo de cambios se
riales audiovisuales. Por último en este blo-            producen muy lentamente y que sólo la mera
que que henos denominado de proceso, cabe                adquisición de conocimientos no resulta
destacar el papel de la coordinación de la               suficiente para que los cambios resulten
formación. Se dan varias situaciones en este             estables. Por último el nivel de resultados, en
aspecto, puede que algún docente haga la                 este nivel se van a medir los resultados
función de coordinador o este papel lo des-              finales de la formación donde se incluyen
empañe otra persona.                                     como indicadores el incremento del salario,
                                                         aumento de la productividad, mayores
  Sobre el décimo factor, denominado eva-                beneficios, reducción de costos, estabilidad
luación, se estructura el Modelo de cuatro               en el puesto de trabajo y mejora de la
niveles: Reacción, Aprendizaje, Comporta-                calidad.
mientos/conductas y Resultados. En cada una                Ventajas e inconvenientes


Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ]             pag. 106
Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el
ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.
http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm

  El modelo presenta varios puntos fuertes.              back de la acción formativa no es inmediato
El primero de ellos reside en su viabilidad              o directo. Normalmente los contenidos, habi-
práctica, existe un consenso entre los forma-            lidades y actitudes adquiridos durante la
dores y evaluadores en la capacidad del mo-              formación no se ponen en práctica de forma
delo para llevarlo a la práctica sin dificultad.         inmediata y es en este periodo de tiempo
Esta ventaja reside en la excelente estructu-            transcurrido donde puede perderse gran par-
ración del mismo, así como de lo pormenori-              te de la información recibida. Por último, se
zado de cada acción a seguir para evaluar un             hace referencia a la no-adecuación de los
programa formativo. Otra de las ventajas de              Modelos de Análisis Económicos como mo-
este modelo es su carácter pionero, es decir,            delos de evaluación de la formación en re-
resulta la base de la evaluación de impacto              cursos humanos. En esta crítica estamos to-
de la formación. Hace cuarenta años, la eva-             talmente de acuerdo ya que es una forma
luación de impacto apenas estaba en sus al-              simplista y reduccionista de los elementos
bores, el modelo de Kirkpatrick resultó toda             que pueden estar influyendo en la calidad de
una revolución en este ámbito.                           esa formación. Del mismo modo no podemos
                                                         medir el impacto de la formación en térmi-
  Del mismo modo, este modelo ha recibido                nos meramente económicos, ya que dejaría-
varias críticas y se considera superado en               mos de lado los verdaderos elementos que
muchos aspectos, de cualquier forma nos                  influyen en le mantenimiento y puesta en
parece acertado incluirlo en esta revisión ya            práctica de los conocimientos adquiridos
que sienta las bases de la implantación defi-            durante el proceso formativo.
nitiva de la evaluación de programas forma-
tivos como herramienta de cambio y mejora                2.2. Modelo de evaluación del impacto
de la calidad. Pasamos a señalar algunas de              de Chang
las críticas más comunes que se le atribuyen
                                                           Descripción del modelo
al Modelo de Kirkpatrick. La primera de
ellas formulada por Adams (2001), considera                Modelo planteado por Chang (2000) desde
el modelo defectuoso. Se trata, según el au-             un punto de vista práctico como material de
tor, de un modelo simplista que no cuantifica            apoyo a los responsables de planificar, im-
el impacto real de la formación ya que la                partir y evaluar la formación.
consecuencia o resultado de la evaluación
rara vez podemos observarlo como impacto.                  Describiremos cada una de las fases del
Habitualmente, en las organizaciones, la eva-            Modelo IDEAMS de forma pormenorizada.
luación de la formación se estanca en el se-             La primera fase consiste en identificar las
gundo nivel que propone Kirkpatrick (apren-              necesidades de formación (I), para ello se
dizaje) y no se llega al nivel 4 donde se mide           debe decidir si la formación puede mejorar el
el impacto propiamente dicho. Por tanto no               rendimiento laboral y como puede lograrlo.
podemos decir que la formación ha sido                   En esta fase se tendrán que definir y deter-
efectiva. Otra de las críticas que se le hacen a         minar las metas a conseguir por medio del
este modelo (Brinkerhoff, 1987) pone de                  proceso de formación. La segunda fase hace
manifiesto las ventajas e inconvenientes de              referencia a la elección y diseño (D) del en-
la utilización de modelos como el de Kirkpa-             foque de formación más adecuado a los pro-
trick, la primera de estas limitaciones hace             pósitos definidos en la primera fase para, de
referencia a la unidimensionalidad del mode-             esta forma, conseguir mejorar el rendimiento
lo, los resultados se traducen en términos               laboral de los profesionales a quienes va di-
meramente económicos, dejando de lado                    rigida la formación. En la tercera fase se de-
aspectos muy importantes que no pueden                   ben elaborar (E) las herramientas necesarias
definirse con estos términos. La segunda                 para llevar a cabo la formación o entrena-
limitación se refiere a que el posible feed-             miento de los asistentes. En este punto con-


Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ]             pag. 107
Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el
ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.
http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm

viene diseñar y construir tanto el material              supone que el evaluador debe tener un gran
bibliográfico como audiovisual o de apoyo.               conocimiento sobre cada una de las fases ya
En cuarto lugar nos encontramos con la fase              que no de dan claves para desarrollarlas.
de puesta en práctica de lo diseñado ante-
riormente, propiamente la fase de aplicación             2.3. Modelo de Cervero para evaluar la
(A) de las técnicas de formación. Aunque se              Formación Continua de profesionales en
trata de un proceso flexible y abierto, no por           ejercicio
ello hay a dejar de lado la rigurosidad a la               Descripción del modelo
hora de seguir los pasos que se fijan en el
diseño. Cabe destacar que la improvisación                 El modelo que presentamos a continuación
en este tipo de procesos de evaluación de la             lo desarrollan Cervero y Rottet en 1984 y
formación puede llevar al fracaso y a la no-             posteriormente Dimmock lo completa en
consecución de los objetivos planteados a                1993. El propósito fundamental del modelo
priori. La quinta fase que plantea Chang alu-            es enlazar la formación continua con el desa-
de a la evaluación y medición (M) de los                 rrollo profesional de los sujetos.
resultados de la formación, aquí se evaluará
la consecución de objetivos y los logros en la             El modelo de Cervero y Rotter (1984,
mejora del rendimiento actual. Asimismo,                 1986) se constituye en base a una serie de
éste será el momento de rectificar posibles              constructos o bloques que se consideran va-
deficiencias halladas durante el proceso. Es             riables independientes. En primer lugar, el
en la sexta fase donde encontramos alusiones             programa de formación continua que se di-
explícitas a la evaluación del impacto a me-             seña y planifica en función de las necesida-
dio y largo plazo. Mediante el seguimiento               des de los sujetos. En segundo lugar, el pro-
(S) y la consolidación de las adquisiciones,             pio profesional en ejercicio con sus caracte-
tanto a nivel individual como de organiza-               rísticas diferenciales y propias. En tercer
ción, se consigue que los efectos positivos,             lugar, la naturaleza del cambio que se pro-
fruto del proceso de formación, se manten-               pone producir mediante el programa de for-
gan en el tiempo.                                        mación y, en cuarto lugar, el sistema social
                                                         de referencia de los sujetos objeto de la eva-
  Ventajas e inconvenientes                              luación. Estos cuatro bloques actúan de va-
                                                         riables independientes y como variable de-
  Como se ha podido comprobar en el desa-                pendiente el desarrollo profesional del suje-
rrollo de las características fundamentales              to. Cada uno de esos bloques se subdivide, a
del modelo, se trata de un modelo diseñado               su vez, en distintos indicadores.
en base a un proceso sistemático con la des-
cripción de cada una de las fases de forma                 Ventajas e inconvenientes
pormenorizada con lo que posee gran aplica-
ción práctica y resulta esencial para evalua-              Aunque en la validación empírica del mo-
dores que se enfrenten por primera vez a la              delo los autores, a través de la técnica de
tarea de valorar un programa de formación.               regresión múltiple, encontraron que las cua-
Por otra parte se trata de un proceso que con-           tro variables/bloques independientes expli-
tiene una fase de evaluación del impacto                 can del 63% a 81% de la varianza de la va-
propiamente dicho y en él se describen deta-             riable dependiente, se trata de un estudio
lladamente las acciones a lleva a cabo para              muy limitado y basado sólo en las medicio-
que los efectos positivos que hemos conse-               nes post-test. Los autores recomiendan utili-
guido con el programa se mantengan en el                 zar una muestra mayor para poder generali-
tiempo. Uno de los posibles inconvenientes               zar resultados y, a su vez, recomiendan el
de la aplicación de este modelo es el desarro-           uso de técnicas estadísticas multivariantes
llo detallado de cada una de las fases. Esto             para validar los datos obtenidos. De cual-


Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ]             pag. 108
Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el
ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.
http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm

quier manera, existe un consenso que apoya                 Ventajas e inconvenientes
la validación de este modelo y es que la eva-
luación del programa es una parte esencial                 Este modelo presenta una serie de incon-
del propio programa. Ésta es la gran conclu-             venientes que radican fundamentalmente en
sión o aportación que podemos destacar de                la falta de consideración de elementos como
este modelo junto con la adaptabilidad a                 la detección de necesidades o el propósi-
cualquier profesión, en lo que a evaluación              to/meta del programa objeto de evaluación.
del impacto de la formación continua se re-              Estos elementos resultan esenciales en cual-
fiere.                                                   quier evaluación. Por otro lado, la gran ven-
                                                         taja que supone el modelo estriba en el ca-
2.4. Modelo de evaluación de Grotelues-                  rácter externo de la evaluación que, por un
chen                                                     lado, consigue un alto grado de objetividad
                                                         por parte de los evaluadores y, por otro, im-
  Descripción del modelo
                                                         plica en el proceso evaluativo a los potencia-
  Tienen su base teórica en Tyler, este autor            les usuarios del programa.
complementa la definición que Tyler hace de
evaluación incluyendo y proponiendo una                  2.5. Modelo de evaluación orientado a
serie de categorías. La primera de las catego-           los resultados de Jackson
rías hace referencia a la evaluación sumativa              Descripción del modelo
o de rendición de cuentas. La segunda cate-
goría se refiere a la evaluación formativa                 Jackson (1994), hace un recorrido por los
como la describe Scriven (2000). Por último,             diferentes modelos de evaluación de impacto
la tercera categoría hace referencia a las futu-         desarrollados en el ámbito de la empresa. En
ras acciones y decisiones a tomar acerca de              ese análisis llega a la conclusión de que los
la planificación de programas formativos.                encargados de diseñar e impartir la forma-
                                                         ción a los trabajadores deben tener en cuenta
  El autor propone (Grotelueschen, 1980) te-             los objetivos que se persiguen para poder
ner en cuenta tres dimensiones a la hora de              medir los resultados obtenidos.
evaluar un programa formativo: propósito de
la evaluación (esta dimensión debe estar cla-             Las siete etapas que identifica el autor co-
ramente especificada y definida a priori),               mo elementos del proceso de formación son:
elementos del programa y características o                 1) Identificación de necesidades
componentes del programa. A su vez, estas                  2) Análisis de las necesidades de forma-
dimensiones se concretan en ocho cuestiones                ción
fundamentales a considerar tanto en la plani-              3) Explicitar por escrito los objetivos del
ficación como en la evaluación de programas                programa de formación
de formación. Estas cuestiones son: propósi-               4) Desarrollo del programa
to de la evaluación, audiencias implicadas,                5) Llevar a cabo el programa
usos de la evaluación, recursos disponibles,               6) Evaluación del programa
colección de evidencias, recogida de datos,                7) Comunicación de resultados
análisis de la evidencia y transmisión de los
                                                           Estas etapas nos conducen al análisis de re-
hallazgos encontrados tras la evaluación.
                                                         sultados en términos de coste-beneficio en
  El modelo, en líneas generales, presenta el            base a dos caminos diferenciados, por un
proceso de enjuiciamiento y toma de deci-                lado el asesoramiento del proceso de adqui-
siones encaminadas a, por un lado, la rendi-             sición de habilidades y por otro la medida de
ción de cuentas; y por otro, a la reestructura-          los resultados en términos de número de
ción o propuestas de mejoras sobre un de-                ítems completados para determinar los es-
terminado programa.                                      tándares de rendimiento.


Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ]             pag. 109
Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el
ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.
http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm

  Ventajas e inconvenientes                              rior. La coherencia entre los objetivos pro-
                                                         puestos y los resultados obtenidos darán co-
  Los puntos fuertes de este modelo radican,             mo resultado la medida del impacto en la
por una parte, en el énfasis que se hace en la           organización. En el siguiente gráfico queda
detección de necesidades formativas en un                reflejado el modelo de evaluación de impac-
colectivo de trabajadores como primer paso               to de la formación que propone el autor:
y, por otro, la operacionalización del proceso
y la medición del rendimiento en base a es-                La medida de los resultados de impacto se
tándares autoreferenciales. Cabe destacar,               realiza en base a una serie de preguntas:
asimismo, el carácter práctico del modelo y                     ¿Sabemos qué habilidades o destrezas
la especificación minuciosa de las diferentes              se transfieren a través de la formación?
fases de la evaluación, desde una evaluación                    ¿Sabemos cuánta gente aprende?
diagnóstica hasta la evaluación basada en la                    ¿Son las necesidades que se detectan
consecución de objetivos (impacto).                        las que se desean satisfacer a priori?
  Por contra, podemos encontrar asimismo                   Ventajas e inconvenientes
algunas deficiencias en el modelo que plan-
tea Jackson, como por ejemplo: la no inclu-                Las características de este modelo son al
sión en el proceso de evaluación de variables            mismo tiempo su punto fuerte y su punto
relacionadas con la cultura de la organiza-              débil. En este sentido, se presentan como
ción o empresa donde desarrollan su labor                puntos fuertes del modelo la identificación
los trabajadores objeto de estudio, las habili-          de necesidades de formación en la organiza-
dades de los trabajadores, o el pasado profe-            ción y, la relación de colaboración entre los
sional de los mismos, todas ellas, como se               formadores, los profesionales y la persona
puede observar, constructos complejos.                   encargada de planificar la formación. Estas
                                                         características se convierten a su vez en difi-
2.6. Modelo de evaluación del impacto                    cultades si tenemos en cuenta que las rela-
de la formación de Robinson & Robin-                     ciones de colaboración entre los implicados
son                                                      dependen de la intensidad de la relación con
                                                         el cliente. Como conclusión a este modelo
  Descripción del modelo
                                                         podemos decir que su mayor ventaja radica
  Los postulados teóricos de este modelo es-             en su capacidad para consolidar las relacio-
tán recogidos en el libro “Formación para el             nes entre los formadores, los profesionales y
impacto” (Robinson y Robinson, 1989). Este               el cliente.
modelo se compone de 12 fases orientadas a
la evaluación de resultados y que directa-               3. Modelos de evaluación del impacto
mente enlazan con los cursos de formación.               de la formación en el ámbito sanitario
Se podría decir que el modelo de Robinson
                                                            A continuación se van a analizar modelos
& Robinson se concreta en la siguiente fór-
                                                         adaptados al ámbito sanitario que están en
mula:
                                                         consonancia con el objeto de estudio. Cabe
                                                         señalar que la revisión de la literatura en este
 Experienciasde aprendizaje X contexto =                 aspecto, aunque minuciosa, sólo aporta unos
               resultados                                pocos modelos que están referenciados como
                                                         tales, ya que en la mayoría de los casos son
  Esta fórmula recoge las relaciones entre el            experiencias concretas que responden a teo-
programa de formación para profesionales en              rías genéricas sobre evaluación o sobre adap-
ejercicio, el contexto de aprendizaje y los              taciones al terreno sanitario.
resultados que se derivan de la relación ante-


Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ]             pag. 110
Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el
ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.
http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm

3.1. Modelo SM/PI (System Model of                       dremos como ejemplo el modelo elaborado
policy indicators)                                       en Suecia (Modelo INC). En este modelo
                                                         cada componente de calidad posee una serie
  Comenzamos esta revisión teórica de los
                                                         de atributos concretos y medibles que van
modelos utilizados para evaluar programas
                                                         asociados a cada una de las variables: así, los
de salud con el modelo que plantea el Institu-
                                                         atributos de la variable calidad percibida
to Politécnico y la Universidad del Estado de
                                                         son: general, adecuación al uso y fiabilidad;
Virginia para evaluar la política de un siste-
                                                         de la variable valor percibido: precio dada la
ma sanitario. El modelo SM/PI (System Mo-
                                                         calidad y calidad dado el precio; de la varia-
del of policy indicators) tiene sus inicios en
                                                         ble expectativas: general, adecuación al uso
la década de los 70, siendo en este período
                                                         y fiabilidad; de la variable satisfacción del
donde se empieza a incorporar a las ciencias
                                                         usuario: satisfacción propiamente dicha,
sociales en un intento de conceptualizar un
                                                         confirmar/anular expectativas y comparación
proceso cíclico de inputs-outputs-feedback.
                                                         con ideal; de la variable quejas: en función
  En este modelo se barajan dos tipos de sis-            del nivel de satisfacción; y de la variable
temas de indicadores. Por un lado, el sistema            lealtad a la empresa: fidelidad hacia la em-
de entradas basado, fundamentalmente, en                 presa por parte del trabajador que ha sido
las demandas y que en este modelo responde               objeto de formación continua por parte de la
a un sistema centralizado de relación única              empresa.
con los sistemas locales (SWM) y, por otro,
                                                           Este modelo permite determinar la puntua-
los resultados como las decisiones y las ac-
                                                         ción en cada uno de los atributos de calidad y
ciones a tomar. Se considera fundamental la
                                                         a partir de estas puntuaciones estimar el im-
retroalimentación o feedback ya que hace
                                                         pacto que tienen estos atributos sobre los
posible la consecución de los resultados. En
                                                         componentes de calidad. Del mismo modo la
este modelo se ha utilizado el procedimiento
                                                         puntuación de los componentes de calidad,
estadístico de regresión simple para estudiar
                                                         determina el impacto que estos tienen sobre
lo que explica cada una de las variables de
                                                         la satisfacción.
entrada de las variables de resultados, que en
este caso son las acciones y decisiones.                   Este tipo de metodología QSP supone un
                                                         avance muy importante a la hora de resolver
3.2. Modelo QSP-INC (Fornell, Univer-
                                                         ecuaciones estructurales de relaciones causa-
sidad de Michigan)
                                                         les en cadenas largas, ya que otro tipo de
  En este modelo, a diferencia de otros,                 metodologías como la regresión o el análisis
hacen uso de una metodología causal, en un               factorial no responden al objetivo de
intento de avanzar en el terreno del contraste           “...medir una secuencia de percepciones que
y validación de teorías, que es esencial a la            se tiene que valorar de forma simultanea con
hora de establecer relaciones de causa-efecto            la restricción de maximizar la relación entre
entre la calidad, la satisfacción de los usua-           el índice de satisfacción y las variables de
rios, los resultados, y el impacto.                      comportamiento objetivo” (Friberg, 1995).
  El modelo QSP-INC para medir la calidad                  Desde un punto de vista de la amplitud del
percibida de un servicio hospitalario lo ha              ámbito de acción de la evaluación, podemos
desarrollado el Catedrático Fornell de la                clasificar los enfoques de medida de la satis-
Universidad            de          Michigan              facción en: enfoque macro (un sistema sani-
(http://directory.umich.edu/;                            tario completo), enfoque intermedio (pro-
www.cfigroup.com/bios/cfornell.htm). Este                grama de asistencia) y enfoque micro (servi-
Modelo permite, en base a la metodología                 cio ambulatorio u hospitalario concreto).
utilizada, elaborar modelos más concretos en
función de las variables a examinar. Pon-

Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ]             pag. 111
Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el
ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.
http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm

  La metodología utilizada se establece en               Valor Añadido
base a unas escalas de valoración en las que               El primer gran factor, común a muchos de
se contemplan aspectos como la accesibili-               los modelos analizados sería la adquisición
dad al programa o la viabilidad del mismo.               de conocimientos. Es decir, el producto más
El problema asociado a este tipo de medidas              inmediato de un programa de formación es,
radica en la imposibilidad de comparar pro-              sin duda, los conocimientos adquiridos y
gramas ya que al incorporar expectativas no              representa un claro indicador de la calidad
se distingue claramente si los efectos produ-            del programa en sí. El concepto de valor
cidos se deben a las propias expectativas o              añadido se acuñó, originalmente, en térmi-
simplemente a un incremento en la calidad                nos económicos: “incremento de valor que
del servicio. Para intentar subsanar este in-            experimenta un bien en su proceso de trans-
conveniente metodológico se elabora un mo-               formación” (Diccionario de la Lengua Espa-
delo que incorpora multitud de variables co-             ñola, 2001). En nuestro caso, trasladado al
mo posibles causas que influyen en la satis-             ámbito de la formación continua, hablaremos
facción, de manera que la tarea se centra en             de valor añadido como incremento en lo que
identificar los efectos de cada una de esas              conocimientos se refiere, que experimenta un
variables sobre la satisfacción y el impacto             sujeto tras haber participado en un programa
que tienen determinados programas formati-               de formación.
vos.
                                                         Satisfacción
3.3. Modelo de Ubillos
                                                           La satisfacción es una dimensión funda-
  Retomando el tema de la problemática aso-              mental en la explicación del impacto de la
ciada a la evaluación de impacto de progra-              formación. Costa Font (1999) entiende por
mas formativos, Ubillos (1994) analiza dos               satisfacción:
tipos de diseños quasi-experimentales para
comparar el poder evaluativo de cada uno de                “…adecuación de sus expectativas con la
ellos. Por un lado el diseño de grupos no-               percepción final del servicio sanitario (con-
equivalentes, en el que se compara la medida             cepto que procede de la calidad percibida
post-test del grupo experimental con la me-              del servicio)” (pp. 79-80)
dida post-test del grupo de control, se trata
del diseño quasi-experimental más válido y                 La satisfacción es un índice de calidad del
el que posee mayor validez externa. Por otro             servicio y de correcto funcionamiento, así
lado los diseños quasi-experimentales de                 como un indicador de resultados. En la defi-
línea base no causal construida, estos dise-             nición del profesor Costa Font, aparece el
ños tienen su base en la comparación de la               término expectativas como un elemento fun-
medida post-test del grupo de tratamiento                damental a la hora de poder evaluar el grado
con un grupo apareado disfuncional o fun-                de satisfacción del cliente. Podemos clasifi-
cional, es decir, se compara con una norma               car las expectativas en relación a su tipolo-
(en la mayoría de los casos perceptibles de              gía, estas pueden ser: ideales o deseos, pre-
una población comparable).                               decibles o basadas en la experiencia, norma-
                                                         tivas e inexistencia de expectativas. Está
Conclusiones                                             demostrado que la satisfacción está relacio-
                                                         nada con multitud de variables entre ellas la
  La revisión de la literatura sobre modelos             calidad del servicio, la cantidad de informa-
de evaluación del impacto, nos da idea de las            ción recibida y variables sociodemográficas
grandes dimensiones que tienen relación con              (Hall y Dornan, 1988).
el mismo. De esta forma, y como conclusión,
pasamos a definir las grandes dimensiones                Mejora del status profesional
que explican el impacto de la formación:


Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ]             pag. 112
Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el
ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.
http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm

  La presente dimensión teórica que se plan-             Berstein, D. J. (1999). Comments on Perrin's
tea como efecto del programa formativo,                   "Effective use and misuse of performance
forma parte de la mayoría de estudios sobre               measurement". American Journal of Eva-
la rentabilidad e impacto de la formación. Si             luation, 20, 85-93.
nos hacemos eco de lo reflejado en el cuarto             Blasco Sánchez, B. (1991). El control de la
nivel del modelo de Kirkpatrick la adquisi-               formación. ¿Auditoria, evaluación? Aula
ción de capacidades, habilidades y conoci-                Abierta, 58, 59-84.
mientos sobre un tema determinado, deberí-               Brinkerhoff, O. (1987). Achieving Results
an repercutir sobre la empleabilidad de un                from Training: How to Evaluate Human
sujeto.                                                   Resource Development to Strengthen Pro-
                                                          grams and Increase Impact. San Francisco:
  De esta forma quedan definidas las dimen-               Jossey-Bass.
siones que, extraídas de la revisión teórica de          Brinkerhoff, R. O., et al. (1983). Program
modelos de evaluación del impacto de pro-                 Evaluation. A practitioner's guide for train-
gramas de formación, configuran el impacto                ers and educators. Boston: Kluver-Nijhoff
que tiene la formación en el desarrollo profe-            Publishing.
sional de los sujetos que asisten a un pro-              Carballo Santaolalla, R. (1990). Evaluación
grama de formación.                                       de un programa de formación ocupacional.
                                                          Revista de Investigación educativa, 8(15),
BIBLIOGRAFÍA                                              93-95.
Adams, J. D., (1999). The formulation, de-               Carballo Santaolalla, R. (1991). Introducción
 velopment and testing of an impact evalua-               a la evaluación de programas de acción so-
 tion model for continuing professional edu-              cial: decisiones para su realización. Revista
 cation. Pennsylvania: The Pennsylvania                   Complutense de Educación, 2(1), 111-126.
 State University.                                       Carrasco, M., Mallén, D. y Escanero Mar-
Adams, J. D., (2001). Reinterpreting Evalua-              cén, J. F. (1994). Necesidades sentidas de
 tion Classics in the Modern Age. Journal of              formación continuada de los médicos de
 Continuing Higher Education, 49, 2, 14-22.               atención primaria. Madrid: Ministerio de
Adams, L., et al. (2002). Promoting Health:               Sanidad y Consumo, Dirección General de
 Politics and Practice. London: Sage Publi-               Ordenación Profesional.
 cations.                                                Cervero, R.M. and Wilson, A.L. (Eds.)
Aday, L. A., et al. (1998). Evaluating the                (1996). New Directions for Adult and Con-
 Healthcare                           System:             tinuing Education: What Really Matters in
 Effectiveness, Efficiency, and Equity. Uni-              Adult Education Program Planning, No. 69.
 versity of Michigan: Health Administration               San Francisco: Jossey-Bass.
 Press.                                                  Cervero, R.M. and Wilson, A.L. (1994).
Antoñanzas Villar, F. y Rovira Forns, J.                  Planning Responsibly for Adult Educa-
 (1998). El debate de la estandarización me-              tion.San Francisco: Jossey-Bass.
 todológica de la evaluación de Proyectos                Cervero, R.M. (1988). Effective Continuing
 sanitarios: el caso de la tasa de descuento.             Education for Professionals. San Francisco:
 Papeles de economía española, 76, 159-                   Jossey-Bass.
 164.                                                    Cervero, R.M., and Scanlan, C.L. (eds.)
Aragón Marín, L. (1997). Modelo Europeo                   (1985). New Directions for Continuing
 de Gestión de la Calidad: Guía para la au-               Education. Problems and Prospects in Con-
 toevaluación. Madrid: MEC.                               tinuing Professional Education. No. 27. San
Barbier, J. M. (1993). La evaluación en los               Francisco: Jossey-Bass.
 procesos de formación. Barcelona: Paidós;               Cervero, R.M.; Azzaretto, J. F.; and other.
 Madrid: Ministerio de Educación y Ciencia,               (1990). Visions for the Future of Continuing
 Centro de Publicaciones.

Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ]             pag. 113
Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el
ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.
http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm

 Professional Education. Athens: University              Grembowski, D. (2001). The Practice of
 of Georgia.                                              Health Program Evaluation. London: Sage
Chang, E. C. (2000). Perfectionism as a Pre-              Pub.
 dictor of Positive and Negative Psychologi-             Grotelueschen, A.D. (1980). "Program
 cal Outcomes: Examining a Mediation                      Evaluation." In A.B. Knox (Ed.), Develop-
 Model in Younger and Older Adults. Jour-                 ing, Administering, and Evaluating Adult
 nal of Counseling psychology, 47, 1, 18-26.              Education. San Francisco: Jossey-Bass.
Costa Font, J. (1998). Técnicas de evalua-               Hall, J. A. and Dornan, M. C. (1988a). Meta-
 ción económica de programas sanitarios:                  Analysis of satisfaction with medical care:
 ¿Qué método de evaluación económica apli-                Description of reserch domain and analysis
 car?, Jano, LIV, 1275, 79-80.                            of overall satisfaction levels. Social Science
Costa Font, J. (1998). Técnicas de evalua-                and Medicine, Vol. 27, No 6, pp. 637-644.
 ción económica de programas sanitarios:                 Hall, J. A. and Dornan, M. C. (1988b). What
 ¿Qué método de evaluación económica apli-                patients like about their medical care and
 car?, Jano, LIV, 1275, 79-80.                            how often they are asked: A meta-analysis
Cummings, L. E. (1993). Hospitality`s solid               of the satisfaction literature.” Social Science
 waste policy patchwork: A study of states´s              and Medicine, Vol. 27, No. 9, pp. 935-939.
 regulatory environments. Journal of inter-              Jackson, C. (1984). Evaluation studies: re-
 national academy of hospitality research,                view annual. Beverly Hills; London: Sage
 16, 1-24.                                                pub.
De la Orden Hoz, A. (1990). Evaluación de                Jackson, L. and Caffarella, R.S. (Eds.)
 los efectos de los programas de interven-                (1994). New Directions for Adult and Con-
 ción. Revista de Investigación Educativa, 8,             tinuing Education: Experiential Learning.
 16, 61-76.                                               No. 62. San Francisco: Jossey-Bass.
Fernández-Ballesteros, R. (1996). Evalua-                Juran, J. M. y Gryna, F. M. (1995). Análisis
 ción de programas. Una guía práctica en                  y planeación de la calidad: del desarrollo
 ámbitos sociales, educativos y de salud.                 del producto al uso. Buenos Aires: McGraw
 Madrid: Síntesis.                                        Hill.
Fink, A. (1993). Evaluation Fundamentals:                Katz, F. M. (1981). Pautas para la evalua-
 Guiding Health Programs, Research, and                   ción de programas de personal de salud.
 Policy. London: Sage pub.                                Washington: Organización panamericana de
Friberg, U. (1995). II Jornadas sobre Ges-                la Salud.
 tión y Evaluación de la Calidad en los Ser-             Kellaghan, T. y Madaus, G. F. (2000). Out-
 vicios Públicos. Madrid.                                 come evaluation. En D. L. Stufflebeam, G.
Glanz, K., Lewis, F. M., y Rimer, B. K.                   F. Madaus, y T. Kellaghan (eds.). Evalua-
 (1997). Health Behavior and Health Educa-                tion models: Viewpoints on educational and
 tion: Theory, Research and Practice (2nd                 human services evaluation (pp. 97-112).
 ed.). San Francisco: Jossey-Bass.                        Boston: Kluwer Academic Publishers.
Goldie, J. (2000). Review of ethics curricula            Kirkpatrick, D. L. (1996). Great ideas revis-
 in undergraduate medical education. Medi-                ited. Training and Development, 50, 1, 54-
 cal Education, 34(2), 95-102.                            65.
Gomm, R., et al. (2000). Evaluating Re-                  Kirkpatrick, D. L. (1999). Evaluación de
 search in Health and Social Care. London:                acciones formativas: los cuatro niveles.
 Sage pub.                                                Barcelona: Gestión 2000.
Green, R. S. y Newman, F. L. (1999). Total               Klein, R. E. (1982). Evaluación del impacto
 quality management principles promote in-                de los Programas de nutrición y salud.
 creased utilization of client outcome data in            Washington: OMS.
 behavioral health care. Evaluation and Pro-
 gram Planning, 22, 179-182.

Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ]             pag. 114
Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el
ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.
http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm

Le Boterf, G., Barzucchetti, S. y Vincent, F.                   luación de tecnologías y programas sanita-
 (1993). Cómo gestionar la calidad de la                        rios. Madrid: Ministerio de Sanidad y Con-
 formación. Barcelona: Gestión 2000.                            sumo.
Llorens Montes, J. F. (1996). Una evaluación                   Scriven, M. (2000). Evaluation models:
 de la relación entre calidad del servicio, sa-                 viewpoints on educational and human ser-
 tisfacción y actitud del cliente. ESIC Mar-                    vices evaluation. Boston: Kluwer Academic
 ket, Jul-Sep, 93, 121-132.                                     Press, cop.
Marzo, J.C., Martínez-Tur, V., Ramos, J. y                     Stufflebeam, D. L. (2001). Evaluation Mod-
 Peiró, J.M. (2002). La satisfacción del usua-                  els. New Directions for Evaluation, 89 Spr.
 rio desde el modelo de la confirmación de                    Sussman, S. (2000). Handbook of Program
 expectativas: respuesta a algunos interro-                    Development for Health Behavior Research
 gantes. Psicothema, Vol. 14, 765-770.                         and Practice. London: Sage pub.
Piédrola Gil, G., et al. (1991). Medicina pre-                 Tyler, R. (1969). Educational evaluation:
 ventiva y salud pública. Barcelona: Edicio-                    new roles, new means. Chicago: The Na-
 nes científicas y técnicas.                                    tional Society for the Study of Education.
Pineault, R. y Daveluy, V. (1989). La plani-                   Veney, J. y Kaluzny, A. (1998). Evaluation
 ficación sanitaria: conceptos, métodos y es-                   and Decision Making for Health Services.
 trategias. Barcelona: Masson.                                  University of Michigan: Health Administra-
RAE (2001). Diccionario de la Real Acade-                       tion Press.
 mia de la Lengua. Madrid: Espasa Calpe.                       Wade, P. (1998). Cómo medir el impacto de
Reed, C. S. y Brown, R. E. (2001). Outcome-                     la formación. Madrid: Editorial Centro de
 asset impact model: linking outcomes and                       Estudios Ramón Areces S.A.
 assets. Evaluation and program planing, 24,                   Worthen, B.R., Sanders, J.R., y Fitzpatrick,
 287-295.                                                       J.L. (1997). Program Evaluation: Alterna-
Robira, J. (1994). Estandarización de algu-                     tive Approaches and Practical Guidelines.
 nos aspectos metodológicos de los análisis                     2d ed. New York: Longman.
 coste-efectividad y coste-utilidad en la eva-


[1] Paradigma que nace en los años 70 y entre sus ideas principales define satisfacción como la evaluación de la dis-
crepancia entre las expectativas previas y el rendimiento percibido del producto que consume el usuario (en nuestro
caso formación)




                         ABOUT THE AUTHORS / SOBRE LOS AUTORES

Chantal Biencinto (alameda@edu.ucm.es). Profesora Doctora en el Dpto. MIDE de la Facultad
de Educación de la Universidad Complutense de Madrid (C/ Rector Royo Villanova, s/n. 28040
Madrid).
Rafael Carballo (rafacar@edu.ucm.es). Profesor Titular del Dpto. MIDE de la Facultad de Edu-
cación de la Universidad Complutense de Madrid (C/ Rector Royo Villanova, s/n. 28040 Madrid )




Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ]                       pag. 115
Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el
ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.
http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm

                             ARTICLE RECORD / FICHA DEL ARTÍCULO

Reference /         Biencinto, Chantal y Carballo, Rafael (2004). Revisión de modelos de evaluación del impacto de la formación en el
                    ámbito sanitario: de lo general a lo específico. Revista ELectrónica de Investigación y EValuación Educativa, v. 10, n. 2.
Referencia          http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm. Consultado en (poner fecha).
                    Revisión de modelos de evaluación del impacto de la formación en el ámbito sanitario: de lo ge-
Title / Título      neral a lo específico [Review of evaluation models on the impact of training in the health field:
                    from general to specific ]
Authors / Au-       Chantal Biencinto y Rafael Carballo
tores
Review /            Revista ELectrónica de Investigación y EValuación Educativa (RELIEVE), v. 10, n. 2
Revista
ISSN                1134-4032
Publication
date /              2004 (Reception Date: 2003 March 31; Approval Date: 2004 Dec 1; Publication Date: 2004
Fecha de pu-        Dec 2)
blicación
                     The objective of the present article is to review the evaluation models on the impact of training in
                    the health field. This review will begin with the most general models of evaluation and continue
                    with the models used in the evaluation of the impact of training in the health field.
Abstract /
                      El presente artículo tiene como objetivo hacer una revisión de los modelos de evaluación del
Resumen             impacto de la formación en ámbito sanitario. Esta revisión comenzará por los modelos más gene-
                    rales de evaluación para, a continuación, continuar con los modelos más utilizados en la evalua-
                    ción del impacto de la formación en el ámbito sanitario.
Keywords            Evaluation, impact, models, training
Descriptores        Evaluación, impacto, modelos, formación
Institution /       Universidad Complutense de Madrid (España)
Institución
Publication
site /              http://www.uv.es/RELIEVE
Dirección
Language /           Español (Title, abstract and keywords in english )
Idioma




             Revista ELectrónica de Investigación y EValuación Educativa
                                                         (RELIEVE)
                                                    [ ISSN: 1134-4032 ]

 © Copyright, RELIEVE. Reproduction and distribution of this articles it is authorized if the content is no modified
 and their origin is indicated (RELIEVE Journal, volume, number and electronic address of the document).
 © Copyright, RELIEVE. Se autoriza la reproducción y distribución de este artículo siempre que no se modifique el
 contenido y se indique su origen (RELIEVE, volumen, número y dirección electrónica del documento).




Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ]                                                 pag. 116

Más contenido relacionado

La actualidad más candente

Cartografía Conceptual de Competencias
Cartografía Conceptual de CompetenciasCartografía Conceptual de Competencias
Cartografía Conceptual de Competenciasguest705aff
 
Presentacion diseño curricular 13 03 (1)
Presentacion diseño curricular 13 03 (1)Presentacion diseño curricular 13 03 (1)
Presentacion diseño curricular 13 03 (1)teoriapraxis
 
Metodologia de diseño curricular
Metodologia de diseño curricularMetodologia de diseño curricular
Metodologia de diseño curricularMiguel Del Rio
 
Evaluación de los aprendizajes
Evaluación de los aprendizajesEvaluación de los aprendizajes
Evaluación de los aprendizajesGisselle Castro
 
Diferencias entre propósito, objetivo y competencia
Diferencias entre propósito, objetivo y competencia Diferencias entre propósito, objetivo y competencia
Diferencias entre propósito, objetivo y competencia Olimpia Hernandez
 
El diseño curricular sus tareas, componentes y niveles
El diseño curricular sus tareas, componentes y nivelesEl diseño curricular sus tareas, componentes y niveles
El diseño curricular sus tareas, componentes y nivelesManduk Padron
 
Enfoque tecnologico
Enfoque tecnologicoEnfoque tecnologico
Enfoque tecnologicoAbigail Hdz
 
Santamaria, ramirez y jimenez. introduccion al diseno_curricular_en_el_posgrado
Santamaria, ramirez y jimenez. introduccion al diseno_curricular_en_el_posgradoSantamaria, ramirez y jimenez. introduccion al diseno_curricular_en_el_posgrado
Santamaria, ramirez y jimenez. introduccion al diseno_curricular_en_el_posgradoMaría Janeth Ríos C.
 
6.2.3 cuadro compativo felix adam - maslow
6.2.3 cuadro compativo felix adam - maslow6.2.3 cuadro compativo felix adam - maslow
6.2.3 cuadro compativo felix adam - maslowRoberto San Juan
 
Ejemplo de un programa de estudio
Ejemplo de un programa de estudioEjemplo de un programa de estudio
Ejemplo de un programa de estudioVero Gardea
 
Evaluación parte 1
Evaluación parte 1Evaluación parte 1
Evaluación parte 1S MD
 
Formato planificación microclase
Formato planificación microclaseFormato planificación microclase
Formato planificación microclasesolmar
 
Organización y estructuración curricular
Organización y estructuración curricularOrganización y estructuración curricular
Organización y estructuración curricularCARLOS MASSUH
 
PROGRAMA DE ENRIQUECIMIENTO INSTRUMENTAL
PROGRAMA DE ENRIQUECIMIENTO INSTRUMENTALPROGRAMA DE ENRIQUECIMIENTO INSTRUMENTAL
PROGRAMA DE ENRIQUECIMIENTO INSTRUMENTALLycer
 
Aspectos de la Evaluación
Aspectos de la EvaluaciónAspectos de la Evaluación
Aspectos de la Evaluacióntoyofemi
 
Modelo Curricular de Mauritz Johnson
Modelo Curricular de Mauritz JohnsonModelo Curricular de Mauritz Johnson
Modelo Curricular de Mauritz JohnsonDanny Sayago
 
Diseño curricular basado en competencias
Diseño curricular basado en competenciasDiseño curricular basado en competencias
Diseño curricular basado en competenciasmbulas
 

La actualidad más candente (20)

Cartografía Conceptual de Competencias
Cartografía Conceptual de CompetenciasCartografía Conceptual de Competencias
Cartografía Conceptual de Competencias
 
Presentacion diseño curricular 13 03 (1)
Presentacion diseño curricular 13 03 (1)Presentacion diseño curricular 13 03 (1)
Presentacion diseño curricular 13 03 (1)
 
Metodologia de diseño curricular
Metodologia de diseño curricularMetodologia de diseño curricular
Metodologia de diseño curricular
 
Evaluación de los aprendizajes
Evaluación de los aprendizajesEvaluación de los aprendizajes
Evaluación de los aprendizajes
 
Diferencias entre propósito, objetivo y competencia
Diferencias entre propósito, objetivo y competencia Diferencias entre propósito, objetivo y competencia
Diferencias entre propósito, objetivo y competencia
 
El diseño curricular sus tareas, componentes y niveles
El diseño curricular sus tareas, componentes y nivelesEl diseño curricular sus tareas, componentes y niveles
El diseño curricular sus tareas, componentes y niveles
 
Enfoque tecnologico
Enfoque tecnologicoEnfoque tecnologico
Enfoque tecnologico
 
Mapa conceptual aprendizaje
Mapa conceptual aprendizajeMapa conceptual aprendizaje
Mapa conceptual aprendizaje
 
Santamaria, ramirez y jimenez. introduccion al diseno_curricular_en_el_posgrado
Santamaria, ramirez y jimenez. introduccion al diseno_curricular_en_el_posgradoSantamaria, ramirez y jimenez. introduccion al diseno_curricular_en_el_posgrado
Santamaria, ramirez y jimenez. introduccion al diseno_curricular_en_el_posgrado
 
6.2.3 cuadro compativo felix adam - maslow
6.2.3 cuadro compativo felix adam - maslow6.2.3 cuadro compativo felix adam - maslow
6.2.3 cuadro compativo felix adam - maslow
 
Fuentes del currículum
Fuentes del currículumFuentes del currículum
Fuentes del currículum
 
Ejemplo de un programa de estudio
Ejemplo de un programa de estudioEjemplo de un programa de estudio
Ejemplo de un programa de estudio
 
Evaluación parte 1
Evaluación parte 1Evaluación parte 1
Evaluación parte 1
 
Formato planificación microclase
Formato planificación microclaseFormato planificación microclase
Formato planificación microclase
 
Organización y estructuración curricular
Organización y estructuración curricularOrganización y estructuración curricular
Organización y estructuración curricular
 
PROGRAMA DE ENRIQUECIMIENTO INSTRUMENTAL
PROGRAMA DE ENRIQUECIMIENTO INSTRUMENTALPROGRAMA DE ENRIQUECIMIENTO INSTRUMENTAL
PROGRAMA DE ENRIQUECIMIENTO INSTRUMENTAL
 
Aspectos de la Evaluación
Aspectos de la EvaluaciónAspectos de la Evaluación
Aspectos de la Evaluación
 
Modelo curricular de josé arnaz
Modelo curricular de josé arnazModelo curricular de josé arnaz
Modelo curricular de josé arnaz
 
Modelo Curricular de Mauritz Johnson
Modelo Curricular de Mauritz JohnsonModelo Curricular de Mauritz Johnson
Modelo Curricular de Mauritz Johnson
 
Diseño curricular basado en competencias
Diseño curricular basado en competenciasDiseño curricular basado en competencias
Diseño curricular basado en competencias
 

Destacado

Propuesta de Evaluacion
Propuesta de EvaluacionPropuesta de Evaluacion
Propuesta de Evaluacionguested7395
 
Propuesta para evaluar y reportar el desarrollo de competencias
Propuesta para evaluar y reportar el desarrollo de competenciasPropuesta para evaluar y reportar el desarrollo de competencias
Propuesta para evaluar y reportar el desarrollo de competenciasPatrimonio Nacional
 
LIBRO DE TÉCNICAS E INSTRUMENTOS DE EVALUACIÓN
LIBRO DE TÉCNICAS E INSTRUMENTOS DE EVALUACIÓNLIBRO DE TÉCNICAS E INSTRUMENTOS DE EVALUACIÓN
LIBRO DE TÉCNICAS E INSTRUMENTOS DE EVALUACIÓNrosaangelica30
 
EVALUACION DE IMPACTO DE LA FORMACION DE LOS PROFESIONALES SANITARIOS
EVALUACION DE IMPACTO DE LA FORMACION DE LOS PROFESIONALES SANITARIOSEVALUACION DE IMPACTO DE LA FORMACION DE LOS PROFESIONALES SANITARIOS
EVALUACION DE IMPACTO DE LA FORMACION DE LOS PROFESIONALES SANITARIOSaromrod
 
Modelo Ciclico de Grantia de Calidad
Modelo Ciclico de Grantia de CalidadModelo Ciclico de Grantia de Calidad
Modelo Ciclico de Grantia de CalidadJuan Carlos Fernandez
 
Modelos de Evaluación
Modelos de EvaluaciónModelos de Evaluación
Modelos de Evaluaciónchicabonsay
 
Modelos de la evaluacion educativa
Modelos de la evaluacion educativaModelos de la evaluacion educativa
Modelos de la evaluacion educativaVero Cortes
 
Resumen de Videos
Resumen de VideosResumen de Videos
Resumen de VideosTheVendors
 
Cómo llegar al cumpleaños de Nadima
Cómo llegar al cumpleaños de NadimaCómo llegar al cumpleaños de Nadima
Cómo llegar al cumpleaños de NadimaAbril Mejías Romhany
 
4 Conseguir Ideas
4 Conseguir Ideas4 Conseguir Ideas
4 Conseguir IdeasOscarTM
 
Cuaderno Y Ejercicio De Trabajo
Cuaderno Y Ejercicio De TrabajoCuaderno Y Ejercicio De Trabajo
Cuaderno Y Ejercicio De TrabajoOscarTM
 
7 wcag2.0 para comunicadores - Accesibilidad parte 3
7   wcag2.0 para comunicadores - Accesibilidad parte 37   wcag2.0 para comunicadores - Accesibilidad parte 3
7 wcag2.0 para comunicadores - Accesibilidad parte 3tayzee
 

Destacado (20)

Propuesta de Evaluacion
Propuesta de EvaluacionPropuesta de Evaluacion
Propuesta de Evaluacion
 
Propuesta para evaluar y reportar el desarrollo de competencias
Propuesta para evaluar y reportar el desarrollo de competenciasPropuesta para evaluar y reportar el desarrollo de competencias
Propuesta para evaluar y reportar el desarrollo de competencias
 
LIBRO DE TÉCNICAS E INSTRUMENTOS DE EVALUACIÓN
LIBRO DE TÉCNICAS E INSTRUMENTOS DE EVALUACIÓNLIBRO DE TÉCNICAS E INSTRUMENTOS DE EVALUACIÓN
LIBRO DE TÉCNICAS E INSTRUMENTOS DE EVALUACIÓN
 
Roi Formación
Roi FormaciónRoi Formación
Roi Formación
 
Propuesta Evaluacion I.E. Crvantes
Propuesta Evaluacion I.E. CrvantesPropuesta Evaluacion I.E. Crvantes
Propuesta Evaluacion I.E. Crvantes
 
EVALUACION DE IMPACTO DE LA FORMACION DE LOS PROFESIONALES SANITARIOS
EVALUACION DE IMPACTO DE LA FORMACION DE LOS PROFESIONALES SANITARIOSEVALUACION DE IMPACTO DE LA FORMACION DE LOS PROFESIONALES SANITARIOS
EVALUACION DE IMPACTO DE LA FORMACION DE LOS PROFESIONALES SANITARIOS
 
Modelo Ciclico de Grantia de Calidad
Modelo Ciclico de Grantia de CalidadModelo Ciclico de Grantia de Calidad
Modelo Ciclico de Grantia de Calidad
 
Modelo Kirkpatrick
Modelo KirkpatrickModelo Kirkpatrick
Modelo Kirkpatrick
 
Modelos de Evaluación
Modelos de EvaluaciónModelos de Evaluación
Modelos de Evaluación
 
Modelos de la evaluacion educativa
Modelos de la evaluacion educativaModelos de la evaluacion educativa
Modelos de la evaluacion educativa
 
Resumen de Videos
Resumen de VideosResumen de Videos
Resumen de Videos
 
Cómo llegar al cumpleaños de Nadima
Cómo llegar al cumpleaños de NadimaCómo llegar al cumpleaños de Nadima
Cómo llegar al cumpleaños de Nadima
 
4 Conseguir Ideas
4 Conseguir Ideas4 Conseguir Ideas
4 Conseguir Ideas
 
Cuaderno Y Ejercicio De Trabajo
Cuaderno Y Ejercicio De TrabajoCuaderno Y Ejercicio De Trabajo
Cuaderno Y Ejercicio De Trabajo
 
7 wcag2.0 para comunicadores - Accesibilidad parte 3
7   wcag2.0 para comunicadores - Accesibilidad parte 37   wcag2.0 para comunicadores - Accesibilidad parte 3
7 wcag2.0 para comunicadores - Accesibilidad parte 3
 
El Plan Estratégico de Formación Integral del SSPA
 El Plan Estratégico de Formación Integral del SSPA El Plan Estratégico de Formación Integral del SSPA
El Plan Estratégico de Formación Integral del SSPA
 
Edición 6 suplemento cultural rezistencia
Edición 6    suplemento cultural rezistenciaEdición 6    suplemento cultural rezistencia
Edición 6 suplemento cultural rezistencia
 
Patrón de mapa de competencias del docente de formación continuada
 Patrón de mapa de competencias del docente de formación continuada Patrón de mapa de competencias del docente de formación continuada
Patrón de mapa de competencias del docente de formación continuada
 
Redes
RedesRedes
Redes
 
Proceso asistencial integrado - Riesgo vascular
Proceso asistencial integrado - Riesgo vascularProceso asistencial integrado - Riesgo vascular
Proceso asistencial integrado - Riesgo vascular
 

Similar a Revision de modelos de evaluacion del impacto de la formacion en el ambito sanitario de lo general

Sistema de calidad en la educacion superior
Sistema de calidad en la educacion superiorSistema de calidad en la educacion superior
Sistema de calidad en la educacion superiorElkin Tqm Danielitha
 
descargable Unidad 2 Talento humano.pdf
descargable Unidad 2 Talento humano.pdfdescargable Unidad 2 Talento humano.pdf
descargable Unidad 2 Talento humano.pdfYulianaOchoa8
 
Competencias actividad 16
Competencias actividad 16Competencias actividad 16
Competencias actividad 16chipohersisher
 
Metodología de Evaluación de Impacto de Estrategias de Imagen Corporativa Art...
Metodología de Evaluación de Impacto de Estrategias de Imagen Corporativa Art...Metodología de Evaluación de Impacto de Estrategias de Imagen Corporativa Art...
Metodología de Evaluación de Impacto de Estrategias de Imagen Corporativa Art...Carolina C.
 
Modelos de Criterios Mixtos e Integradores
Modelos de Criterios Mixtos e IntegradoresModelos de Criterios Mixtos e Integradores
Modelos de Criterios Mixtos e IntegradoresDonePerez
 
Modelo de evaluación institucional
Modelo de evaluación institucionalModelo de evaluación institucional
Modelo de evaluación institucional123pucca
 
Modelos Centradosen los Aspectos Culturales
Modelos Centradosen los Aspectos CulturalesModelos Centradosen los Aspectos Culturales
Modelos Centradosen los Aspectos CulturalesDonePerez
 
Academic evaluation instruments (esp)
Academic evaluation instruments (esp)Academic evaluation instruments (esp)
Academic evaluation instruments (esp)josetoledocruzz
 
Tte1 riojas actividad 2.1
Tte1 riojas actividad 2.1Tte1 riojas actividad 2.1
Tte1 riojas actividad 2.1denissriojas
 
Enfoque de analisis de sistemas
Enfoque  de analisis de sistemasEnfoque  de analisis de sistemas
Enfoque de analisis de sistemasYOVAS81
 
Modelo para el desarrollo de competencias
Modelo para el desarrollo de competenciasModelo para el desarrollo de competencias
Modelo para el desarrollo de competenciasAlejandro Arbelaez
 

Similar a Revision de modelos de evaluacion del impacto de la formacion en el ambito sanitario de lo general (20)

Foro4 sem5 heraa
Foro4 sem5  heraaForo4 sem5  heraa
Foro4 sem5 heraa
 
Sistema de calidad en la educacion superior
Sistema de calidad en la educacion superiorSistema de calidad en la educacion superior
Sistema de calidad en la educacion superior
 
Referentes Conceptuales
Referentes ConceptualesReferentes Conceptuales
Referentes Conceptuales
 
descargable Unidad 2 Talento humano.pdf
descargable Unidad 2 Talento humano.pdfdescargable Unidad 2 Talento humano.pdf
descargable Unidad 2 Talento humano.pdf
 
Competencias actividad 16
Competencias actividad 16Competencias actividad 16
Competencias actividad 16
 
Metodología de Evaluación de Impacto de Estrategias de Imagen Corporativa Art...
Metodología de Evaluación de Impacto de Estrategias de Imagen Corporativa Art...Metodología de Evaluación de Impacto de Estrategias de Imagen Corporativa Art...
Metodología de Evaluación de Impacto de Estrategias de Imagen Corporativa Art...
 
Modelos de Criterios Mixtos e Integradores
Modelos de Criterios Mixtos e IntegradoresModelos de Criterios Mixtos e Integradores
Modelos de Criterios Mixtos e Integradores
 
1. proceso administrativo
1. proceso administrativo1. proceso administrativo
1. proceso administrativo
 
Stakeholders
StakeholdersStakeholders
Stakeholders
 
Ensayo La Evaluación de Competencias
Ensayo La Evaluación de CompetenciasEnsayo La Evaluación de Competencias
Ensayo La Evaluación de Competencias
 
Modelo de evaluación institucional
Modelo de evaluación institucionalModelo de evaluación institucional
Modelo de evaluación institucional
 
Modelos Centradosen los Aspectos Culturales
Modelos Centradosen los Aspectos CulturalesModelos Centradosen los Aspectos Culturales
Modelos Centradosen los Aspectos Culturales
 
Academic evaluation instruments (esp)
Academic evaluation instruments (esp)Academic evaluation instruments (esp)
Academic evaluation instruments (esp)
 
Tte1 riojas actividad 2.1
Tte1 riojas actividad 2.1Tte1 riojas actividad 2.1
Tte1 riojas actividad 2.1
 
Enfoque de analisis de sistemas
Enfoque  de analisis de sistemasEnfoque  de analisis de sistemas
Enfoque de analisis de sistemas
 
Modelo para el desarrollo de competencias
Modelo para el desarrollo de competenciasModelo para el desarrollo de competencias
Modelo para el desarrollo de competencias
 
Unidad_1.pdf
Unidad_1.pdfUnidad_1.pdf
Unidad_1.pdf
 
Modelos de evaluación
Modelos de evaluaciónModelos de evaluación
Modelos de evaluación
 
Modelos
ModelosModelos
Modelos
 
Trab05
Trab05Trab05
Trab05
 

Más de Desarrollo profesional en salud - Agencia de Calidad Sanitaria de Andalucía

Más de Desarrollo profesional en salud - Agencia de Calidad Sanitaria de Andalucía (20)

Recomendación para la evaluación de la satisfacción del alumnado
Recomendación para la evaluación de la satisfacción del alumnadoRecomendación para la evaluación de la satisfacción del alumnado
Recomendación para la evaluación de la satisfacción del alumnado
 
Recomendacion para la identificación de expectativas
Recomendacion para la identificación de expectativasRecomendacion para la identificación de expectativas
Recomendacion para la identificación de expectativas
 
Itinerarios formativos: rutas de desarrollo para los profesionales sanitarios
Itinerarios formativos: rutas de desarrollo para los profesionales sanitariosItinerarios formativos: rutas de desarrollo para los profesionales sanitarios
Itinerarios formativos: rutas de desarrollo para los profesionales sanitarios
 
Tipología, satisfacción y componente cualitativo en actividades formativas en...
Tipología, satisfacción y componente cualitativo en actividades formativas en...Tipología, satisfacción y componente cualitativo en actividades formativas en...
Tipología, satisfacción y componente cualitativo en actividades formativas en...
 
Recomendación para la planificación de acciones tutoriales
Recomendación para la planificación de acciones tutorialesRecomendación para la planificación de acciones tutoriales
Recomendación para la planificación de acciones tutoriales
 
Estrategias para la certificación de competencias de los profesionales sanita...
Estrategias para la certificación de competencias de los profesionales sanita...Estrategias para la certificación de competencias de los profesionales sanita...
Estrategias para la certificación de competencias de los profesionales sanita...
 
Elementos claves en la elaboración de itinerarios formativos a través de la e...
Elementos claves en la elaboración de itinerarios formativos a través de la e...Elementos claves en la elaboración de itinerarios formativos a través de la e...
Elementos claves en la elaboración de itinerarios formativos a través de la e...
 
Definición de puestos de trabajo
Definición de puestos de trabajoDefinición de puestos de trabajo
Definición de puestos de trabajo
 
La experiencia de Andalucía en la gestión por competencias en salud
La experiencia de Andalucía en la gestión por competencias en saludLa experiencia de Andalucía en la gestión por competencias en salud
La experiencia de Andalucía en la gestión por competencias en salud
 
16. Indicaciones para Responsables de formación: elaborar el plan de necesida...
16. Indicaciones para Responsables de formación: elaborar el plan de necesida...16. Indicaciones para Responsables de formación: elaborar el plan de necesida...
16. Indicaciones para Responsables de formación: elaborar el plan de necesida...
 
Analizando el cómo de nuestra evaluación formativa. Fiabilidad y validez de u...
Analizando el cómo de nuestra evaluación formativa. Fiabilidad y validez de u...Analizando el cómo de nuestra evaluación formativa. Fiabilidad y validez de u...
Analizando el cómo de nuestra evaluación formativa. Fiabilidad y validez de u...
 
Guía del usuario para la Certificación de competencias profesionales
Guía del usuario para la Certificación de competencias profesionalesGuía del usuario para la Certificación de competencias profesionales
Guía del usuario para la Certificación de competencias profesionales
 
Modelo de gestión por competencias del SSPA
Modelo de gestión por competencias del SSPAModelo de gestión por competencias del SSPA
Modelo de gestión por competencias del SSPA
 
Las personas factor clave del éxito
Las personas factor clave del éxitoLas personas factor clave del éxito
Las personas factor clave del éxito
 
eValúa - Guía rápida
eValúa - Guía rápidaeValúa - Guía rápida
eValúa - Guía rápida
 
15. Nueva funcionalidad para responsables de unidad: abrir nueva evaluación p...
15. Nueva funcionalidad para responsables de unidad: abrir nueva evaluación p...15. Nueva funcionalidad para responsables de unidad: abrir nueva evaluación p...
15. Nueva funcionalidad para responsables de unidad: abrir nueva evaluación p...
 
Evaluación del impacto de la formación
Evaluación del impacto de la formaciónEvaluación del impacto de la formación
Evaluación del impacto de la formación
 
La evaluación del impacto de la formación
La evaluación del impacto de la formaciónLa evaluación del impacto de la formación
La evaluación del impacto de la formación
 
Análisis de las Buenas Prácticas con mayor potencial de desarrollo en el cole...
Análisis de las Buenas Prácticas con mayor potencial de desarrollo en el cole...Análisis de las Buenas Prácticas con mayor potencial de desarrollo en el cole...
Análisis de las Buenas Prácticas con mayor potencial de desarrollo en el cole...
 
Análisis de la competencia "Capacidad para la toma de decisiones clínicas, di...
Análisis de la competencia "Capacidad para la toma de decisiones clínicas, di...Análisis de la competencia "Capacidad para la toma de decisiones clínicas, di...
Análisis de la competencia "Capacidad para la toma de decisiones clínicas, di...
 

Revision de modelos de evaluacion del impacto de la formacion en el ambito sanitario de lo general

  • 1. Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116. http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm Revista ELectrónica de Investigación y EValuación Educativa REVISIÓN DE MODELOS DE EVALUACIÓN DEL IMPACTO DE LA FORMACIÓN EN EL ÁMBITO SANITARIO: DE LO GENERAL A LO ESPECÍFICO (Review of evaluation models on the impact of training in the health field: from general to specific) por Article record Ficha del artículo Chantal Biencinto (alameda@edu.ucm.es) About authors Sobre los autores Rafael Carballo (rafacar@edu.ucm.es) HTML format Formato HTML Abstract Resumen El presente artículo tiene como objetivo hacer una revi- The objective of the present article is to review the sión de los modelos de evaluación del impacto de la for- evaluation models on the impact of training in the health mación en ámbito sanitario. Esta revisión comenzará por field. This review will begin with the most general mod- los modelos más generales de evaluación para, a conti- els of evaluation and continue with the models used in nuación, continuar con los modelos más utilizados en la the evaluation of the impact of training in the health evaluación del impacto de la formación en el ámbito sani- field. tario. Keywords Descriptores Evaluation, impact, models, training Evaluación, impacto, modelos, formación El objetivo de este artículo es lograr una componen el impacto, entendido como pro- definición del impacto de la formación en el ducto mediato de la formación, tanto desde desarrollo laboral de los sujetos. Para lograr la perspectiva individual, como desde un este objetivo, nos hemos acercado al marco punto de vista social. Estas dimensiones teó- conceptual, a través de la revisión teórica de ricas, implicadas en los diferentes modelos los diferentes modelos de evaluación de im- analizados, son: la satisfacción de expectati- pacto que se encuentran en la literatura revi- vas respecto a la formación (se considera uno sada. La conclusión que obtenemos de esta de los productos esenciales de cualquier ac- revisión de modelos, va encaminada a la de- ción formativa), el valor añadido (entendido finición de las diferentes dimensiones que como el incremento en lo a que a conoci- Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 101
  • 2. Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116. http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm mientos se refiere), y, como tercera dimen- fallo en la detección de necesidades son más sión a considerar, las mejoras que se produ- difíciles de corregir que los que se producen cen en la empleabilidad. . durante el proceso formativo. Los modelos de evaluación se inscriben en A estas características generales adaptadas un contexto de calidad concreto y, por tanto, a la formación, podemos añadir las conside- en la primera parte de este artículo analiza- raciones que Le Boterf (1993) hace sobre el remos diferentes modelos de evaluación de Ciclo de Deming. El Ciclo o rueda de De- la calidad para, a continuación, hacer un ming, plantea cuatro acciones fundamentales breve repaso de los modelos de evaluación que tienen como consecuencia la calidad; del impacto de la formación y terminar con éstas son: Planificar (P), Realizar o ejecutar la revisión de los modelos de evaluación del (D), Controlar o verificar (C) y Mejorar (A). impacto de la formación en el ámbito sanita- rio. De esta forma, la revisión comenzará por 1.2. Modelo Enfoque de Inversión de lo más general hasta llegar a un ámbito más Mamolar específico. Como alternativa al modelo de adquisición y mantenimiento de competencias desarro- 1. Modelos de evaluación de la calidad llado en párrafos anteriores, encontramos un modelo que pretende ser integrador y nove- 1.1. Modelo de evaluación de la calidad doso denominado enfoque de inversión. Se de Le Boterf trata de un modelo generado por y para la Le Boterf, Barzucchetti y Vincent (1993) empresa que tiene como objetivo la evalua- identifican tres características clave de la ción de la formación desde una perspectiva calidad: de rentabilidad de la inversión en este terre- 1. El control de la calidad significa domi- no. Aunque aparentemente la relación con el nar la calidad del conjunto de las funcio- ámbito que nos ocupa parece lejana, este nes de la empresa, incluyendo funciones modelo incorpora una serie de indicaciones y administrativas. recomendaciones que parecen aptas para 2. El dominio de la calidad total es una incorporar en el modelo evaluativo que pro- búsqueda que no tiene un final determina- pondremos posteriormente. do. En primer lugar, la correcta definición y 3. La dificultad de enmendar posibles detección de necesidades, de esta forma el errores se incrementa en función del mo- programa de formación puede considerarse mento y lugar en el que se produzca. adecuado a los intereses y demandas de los Estas tres características se pueden imple- profesionales. En segundo lugar, este modelo mentar en el proceso de calidad de la forma- propone, la especificación de las competen- ción teniendo en cuenta los siguientes aspec- cias, habilidades y conductas que van a ad- tos: en primer lugar, es imprescindible tener quirir los participantes y, por último, la se- en cuenta todas y cada una de las fases que lección de los indicadores que nos permitan concurren en el proceso formativo, incluyen- recoger información que resulte relevante do selección de los asistentes y planificación para poder evaluar tanto el proceso como los de la acción formativa; en segundo lugar, el resultados de la formación. grado de satisfacción de los asistentes, la evaluación de las competencias adquiridas y Las conclusiones más relevantes de este el índice de readaptación, considerados como modelo están en la línea de resaltar la impor- feedback de la formación impartida, condu- tancia de adaptar los procesos formativos, no cen a una búsqueda permanente de la cali- sólo al mantenimiento de competencias, sino dad; y, en tercer lugar, los errores como el también a la continua transformación y adap- Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 102
  • 3. Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116. http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm tación de esas competencias a situaciones de tentes multidimensionales con mayor poder continuo cambio. explicativo que las variables observadas. 1.3. Modelo de calidad orientado a la 1.4. Modelo Europeo de Gestión de la satisfacción de Martínez-Tur calidad En la línea de modelos de calidad orienta- Otro de los modelos de calidad revisado es dos a la satisfacción, Martínez-Tur y Tordera el Modelo Europeo de Gestión de la calidad, de la Universidad de Valencia (1995), elabo- que edita la Fundación Europea para la Ges- ran un modelo causal basado en modelos tión de la Calidad; en él se ven recogidas clásicos sobre la medida de la satisfacción. unas directrices generales que se pueden La novedad que introducen estos autores adaptar a múltiples contextos. Este tipo de versa sobre la revisión del modelo de alta modelo nace concebido para el ámbito de la implicación (MAI), que hipotetiza relaciones empresa y, en el caso de España, es el Minis- causales entre la calidad, las expectativas del terio de Educación Cultura y Deporte el en- usuario ante el producto que consume, la cargado de adaptarlo al medio educativo o desconfirmación [1], la satisfacción y las formativo. Adaptado a la formación el Mo- intenciones conductuales. Los resultados más delo Europeo de Gestión de la Calidad se relevantes de este estudio radican en la signi- resume de la siguiente forma: la satisfacción ficatividad de los parámetros del modelo, de los usuarios del servicio Público sanitario una vez revisado. La revisión del MAI, con de Formación, de los coordinadores y el im- la consiguiente modificación de relaciones pacto en la sociedad se consigue mediante un causales (inclusión de un efecto directo de la liderazgo (entiéndase como la implicación de calidad percibida sobre la satisfacción), re- la Administración) que impulse la planifica- sulta un modelo que se ajusta a los datos, ción y la estrategia, la gestión del personal pero sin embargo tiene deficiencias aprecia- sanitario implicado, de los recursos y sus bles que los mismos autores señalan en las procesos hacia la consecución de la mejora conclusiones. En primer lugar, podemos des- permanente de los resultados. El sistema de tacar la unidimensionalidad de la variable evaluación por puntuaciones responde a una satisfacción, sólo se ha utilizado una medi- consulta efectuada a un conjunto de organi- ción de esta variable y hubiese sido deseable zaciones europeas. A continuación repasa- utilizar más de un indicador. La satisfacción remos los conceptos básicos del Modelo que es un constructo multidimensional y como como se puede comprobar están estrecha- tal está contemplado en este trabajo. En se- mente relacionados con los postulados teóri- gundo lugar, y quizá como crítica más im- cos del Modelo de Calidad Total. Estos con- portante, nos encontramos con la imposibili- ceptos son: orientación al cliente, relaciones dad de generalizar los resultados a otros sec- de asociación con proveedores, desarrollo e tores. Esta limitación es común a muchos de involucración del personal, procesos y los artículos revisados y viene dada por una hechos, mejora continua e innovación, lide- serie de características tales como la utiliza- razgo y coherencia con los objetivos, ética y ción de muestras reducidas o la escasa for- responsabilidad y orientación hacia resulta- malización de los modelos presentados, así dos. como la falta de adecuación de los criterios de valoración. Por último, reseñar que la metodología utilizada para intentar explicar 1.5. Modelo Relacional de Calidad de De las relaciones causales entre las variables, se la Orden ha superado ya con técnicas LISREL que permiten utilizar variables o constructos la- Otro de los modelos que puede contribuir a contextualizar las distintas teorías asociadas a los modelos de evaluación es el modelo Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 103
  • 4. Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116. http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm relacional de calidad planteado por De la mento, no suelen establecer una metodología Orden (1988; 1990; 1997), establece las rela- concreta de evaluación. Sin embargo, encon- ciones entre los distintos elementos de un tramos el modelo de Evaluación de la Ges- sistema: objetivos y metas, recursos, proce- tión de Procesos en Recursos Humanos de sos, entradas, contexto y productos, de estas Olaz (2000) que sí propone una metodología relaciones, el autor establece tres criterios de de análisis concreta. En este modelo se abo- calidad como son la eficacia, eficiencia y ga por una metodología e interpretación funcionalidad, en función de los cruces entre cuantitativa de los datos obtenidos en la eva- elementos. La evaluación consiste en identi- luación. Siguiendo una metodología cuantita- ficar las posibles deficiencias de este sistema tiva, el primer paso sería establecer las va- así como los productos que se derivan del riables representativas y cuantificables como mismo dentro de un proceso continuo de elemento de referencia válido. Entre ellas, retroalimentación. Cada uno de los elemen- encontramos la variable que hace referencia tos del modelo vienen justificados por una a la formación. Esta variable trata de deter- teoría subyacente sobre la evaluación en ge- minar el grado de conocimientos imprescin- neral y sobre la evaluación de programas en dibles que permitirán desarrollar las tareas particular. Se trata de un modelo sistemático del proceso en términos de eficiencia opera- y a su vez completo que puede ser “aplica- tiva. En segundo lugar se propone relacionar do” a cualquier sistema evaluable. Permite los factores que genéricamente han sido pre- elaborar indicadores para evaluar tres dimen- sentados, con las variables representativas. siones: eficacia, eficiencia y funcionalidad, En el caso de la formación se establecen tres las cuales, en su conjunto, son el reflejo de la factores relacionados con las técnicas, las Calidad. El profesor De la Orden define cali- habilidades directivas y aspectos formativos. dad como: “La Calidad aparece como un Una vez identificadas las variables y los fac- continuo escalar cuyos puntos representan tores asociados, se puede construir un siste- combinaciones de funcionalidad, eficacia y ma de valoración que debe contemplar as- eficiencia, mutuamente implicados. Su grado pectos como la objetividad para conseguir máximo, la excelencia, supone un óptimo fines explicativos, interpretabilidad de los nivel de coherencia entre todos los compo- datos, causalidad de las relaciones entre las nentes principales representados en el mode- variables y /o factores así como fiabilidad y lo sistémico” (De la Orden Hoz, 1997). Los representatividad de los datos con los que se indicadores se plantean de forma diferente pretende obtener información del proceso de para cada dimensión. evaluación. Este modelo está centrado en los procesos internos de una organización em- La eficiencia pone de manifiesto la rela- presarial, la contribución a nuestro estudio ción de entradas y procesos con los produc- radica en la utilización de una metodología tos. De la Orden (1997) afirma: “La cohe- cuantitativa y de relaciones causales entre rencia entre, por un lado, inputs y procesos variables. y, por otro lado, productos”. La eficacia, por su parte, supone coherencia en la relación 1.7. Modelo de Barbier entre entradas o inputs y productos, y por Ahondando en el tema de la evaluación de último, la funcionalidad, supone la coheren- la formación, esta vez desde el énfasis en los cia entre metas/objetivos generales y produc- procesos, encontramos la aportación de Bar- tos. bier (1993). Este autor analiza desde una 1.6. Modelo de Evaluación de la Gestión perspectiva pedagógica los procesos de la de Olaz evaluación de la formación. En aras a facili- tar su comprensión y justificar su utilización Los modelos de evaluación de los procesos formativos que hemos revisado hasta el mo- Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 104
  • 5. Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116. http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm vamos a proceder a definir brevemente cada Este tipo de evaluación es lo que Barbier uno de los términos utilizados. denomina evaluación instituida. Se trata de un tipo de evaluación donde los juicios de En primer lugar, cuando hablamos de eva- valor se realizan de forma explícita a través luación de agentes nos estamos a refiriendo a de un proceso de diseño a priori, con objeti- todas evaluación que haga referencia a ad- vos bien definidos, metodología científica y quisición de conocimientos, aptitudes, habi- evaluación de resultados entendida como lidades, tanto a nivel individual como de consecución de metas. grupos u organizaciones. Por otro lado, para este autor la evaluación de acciones hace 2. Modelos de evaluación de impacto referencia a la evaluación de la metodología utilizada, las actividades, los sistemas y todo En este epígrafe realizaremos una revisión aquello que se relaciona con los procesos de de algunos de los modelos utilizados en la formación. Por último, señalar que para Bar- práctica para evaluar el impacto de la forma- bier (1993), la elaboración de criterios a par- ción. tir de objetivos permite poner en relación los objetivos con la información relativa a la La evaluación de impacto es una forma de consecución de los mismos. Podemos desta- evaluación que poco a poco ha ido ganando car la referencia explícita al trabajo pedagó- aceptación entre los encargados de planificar gico que conlleva la formación. e impartir formación continua para adultos. Vamos a presentar seis modelos de evalua- En este sentido seria importante añadir qué ción del impacto de la formación. Cada uno entiende el autor por el proceso de adquisi- de ellos lo comentaremos teniendo en cuenta ción de conocimientos, destrezas o habilida- dos aspectos: en primer lugar una descrip- des pedagógicas. En primer lugar empeza- ción detallada del modelo y seguidamente un remos por definir lo que entiende por perfil: análisis crítico en base a ventajas e inconve- conjunto de capacidades individuales sobre nientes de cada uno de los modelos analiza- las cuales se apoya la actividad formativa. dos. Entendemos pues que la formación debe par- tir de la individualidad y adaptarse a las ca- 2.1. Modelo de evaluación de cuatro ni- pacidades de cada sujeto. Este proceso for- veles de Kirkpatrick mativo debe contar con una serie de medios Descripción del modelo específicos, adecuados a los objetivos previs- tos, que faciliten la relación pedagógica, en- El Modelo de Evaluación de Programas de tendida como la distribución de roles en la Formación que plantea Kirkpatrick (1959, interacción profesor-alumno. Asimismo, el 1996, 1999), establece diez factores a consi- proceso formativo debe contar con tres fases derar a la hora de planificar y poner en mar- diferenciadas: cha cualquier acción formativa. El primero de ellos sería la detección de necesidades. 1. Determinación de objetivos: Estos deben Este primer paso está consolidado en esta estar definidos en función de las capacida- posición como podemos comprobar en la des individuales y deben ser operativos. literatura sobre evaluación revisada hasta el 2. Construcción de mecanismos o secuen- momento. Si la acción formativa que quere- cias que conduzcan el proceso de adquisi- mos llevar a la práctica no se adecua a las ción de destrezas. necesidades, tanto de los asistentes a la mis- 3. En una tercera fase se procede a la eva- ma como de los demás grupos implicados, luación del proceso pedagógico, así como no conseguiremos que la formación sea de la consecución de los objetivos fijados en calidad ya que no cumpliría el criterio de la primera fase. funcionalidad. El segundo factor a tener en Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 105
  • 6. Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116. http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm cuenta es el establecimiento de objetivos. En de estos niveles, el autor, propone una serie tercer lugar, la determinación de los conteni- de condiciones e indicadores que facilitan y dos, resulta del establecimiento de los dos estructuran la evaluación. En cuanto al pri- factores anteriores. Además de determinar mero de los niveles denominado reacción, las materias a impartir, en este paso se deben hemos de fijar nuestra atención sobre aspec- jerarquizar los contenidos en función de la tos del programa formativo relacionados con relevancia en base a los objetivos y las nece- el tema, con la persona encargada de impartir sidades detectadas. El siguiente factor a tener la formación y con el programa en su en cuenta en el diseño de una acción forma- conjunto. Reacción es básicamente medir la tiva será la selección de los participantes. satisfacción de cliente. Para ello se debe Esta selección debe hacerse en función de construir un cuestionario de satisfacción ad unos criterios bien definidos y explícitos, es hoc que contenga tanto cuestiones decir que los criterios sean públicos y cono- valorativas como la posibilidad de que el cidos con anticipación por los sujetos sus- encuestado exprese su opinión personal así ceptibles de participar en la formación. Los como comentarios y sugerencias. Este siguientes cuatro factores están íntimamente cuestionario de satisfacción debe cuantificar relacionados entre sí y forman parte del pro- las reacciones inmediatas de los asistentes pio proceso. El primero de ellos es la elec- tras finalizar la sesión formativa. Otra de las ción del plan de trabajo a seguir, es decir razones para medir la reacción es la determinar horarios y duración del curso. motivación y el interés de los asistentes a los Esto debe hacerse en función de los partici- cursos formativos. En cuanto al segundo pantes de los formadores. En segundo lugar, nivel denominado aprendizaje, la medida se la selección de la infraestructura adecuada a centra en la adquisición de conocimientos, los contenidos y al plan de trabajo. El si- mejora de las habilidades y cambio de guiente factor es la selección y contratación actitudes. Este tipo de conocimientos que se del personal docente encargado de llevar a adquieren durante la formación deben ser cabo la formación. Este es un punto en el que evaluados a través de pruebas post- suele aparecer problemas sobre todo de índo- formación y medir los logros obtenidos y el le económica. No siempre el docente con cumplimiento de objetivos fijados a priori. más calidad y que más se ajusta al perfil tan- Normalmente el aprendizaje va acompañado to de los asistentes como de los contenidos a de uno o más de estos indicadores. El tercer impartir, resulta ser el más caro. Hoy muchas nivel se relaciona con los comportamientos o empresas u organismos valoran a los docen- conductas que pueden medirse durante el tes por la cuantía de sus honorarios, sin tener curso o una vez finalice. Si el propósito de la en cuenta su adecuación o no a las caracterís- formación es un cambio en las pautas de ticas del curso. El siguiente factor hace refe- comportamiento, muchos estudios han rencia a la selección y preparación de mate- comprobado que este tipo de cambios se riales audiovisuales. Por último en este blo- producen muy lentamente y que sólo la mera que que henos denominado de proceso, cabe adquisición de conocimientos no resulta destacar el papel de la coordinación de la suficiente para que los cambios resulten formación. Se dan varias situaciones en este estables. Por último el nivel de resultados, en aspecto, puede que algún docente haga la este nivel se van a medir los resultados función de coordinador o este papel lo des- finales de la formación donde se incluyen empañe otra persona. como indicadores el incremento del salario, aumento de la productividad, mayores Sobre el décimo factor, denominado eva- beneficios, reducción de costos, estabilidad luación, se estructura el Modelo de cuatro en el puesto de trabajo y mejora de la niveles: Reacción, Aprendizaje, Comporta- calidad. mientos/conductas y Resultados. En cada una Ventajas e inconvenientes Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 106
  • 7. Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116. http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm El modelo presenta varios puntos fuertes. back de la acción formativa no es inmediato El primero de ellos reside en su viabilidad o directo. Normalmente los contenidos, habi- práctica, existe un consenso entre los forma- lidades y actitudes adquiridos durante la dores y evaluadores en la capacidad del mo- formación no se ponen en práctica de forma delo para llevarlo a la práctica sin dificultad. inmediata y es en este periodo de tiempo Esta ventaja reside en la excelente estructu- transcurrido donde puede perderse gran par- ración del mismo, así como de lo pormenori- te de la información recibida. Por último, se zado de cada acción a seguir para evaluar un hace referencia a la no-adecuación de los programa formativo. Otra de las ventajas de Modelos de Análisis Económicos como mo- este modelo es su carácter pionero, es decir, delos de evaluación de la formación en re- resulta la base de la evaluación de impacto cursos humanos. En esta crítica estamos to- de la formación. Hace cuarenta años, la eva- talmente de acuerdo ya que es una forma luación de impacto apenas estaba en sus al- simplista y reduccionista de los elementos bores, el modelo de Kirkpatrick resultó toda que pueden estar influyendo en la calidad de una revolución en este ámbito. esa formación. Del mismo modo no podemos medir el impacto de la formación en térmi- Del mismo modo, este modelo ha recibido nos meramente económicos, ya que dejaría- varias críticas y se considera superado en mos de lado los verdaderos elementos que muchos aspectos, de cualquier forma nos influyen en le mantenimiento y puesta en parece acertado incluirlo en esta revisión ya práctica de los conocimientos adquiridos que sienta las bases de la implantación defi- durante el proceso formativo. nitiva de la evaluación de programas forma- tivos como herramienta de cambio y mejora 2.2. Modelo de evaluación del impacto de la calidad. Pasamos a señalar algunas de de Chang las críticas más comunes que se le atribuyen Descripción del modelo al Modelo de Kirkpatrick. La primera de ellas formulada por Adams (2001), considera Modelo planteado por Chang (2000) desde el modelo defectuoso. Se trata, según el au- un punto de vista práctico como material de tor, de un modelo simplista que no cuantifica apoyo a los responsables de planificar, im- el impacto real de la formación ya que la partir y evaluar la formación. consecuencia o resultado de la evaluación rara vez podemos observarlo como impacto. Describiremos cada una de las fases del Habitualmente, en las organizaciones, la eva- Modelo IDEAMS de forma pormenorizada. luación de la formación se estanca en el se- La primera fase consiste en identificar las gundo nivel que propone Kirkpatrick (apren- necesidades de formación (I), para ello se dizaje) y no se llega al nivel 4 donde se mide debe decidir si la formación puede mejorar el el impacto propiamente dicho. Por tanto no rendimiento laboral y como puede lograrlo. podemos decir que la formación ha sido En esta fase se tendrán que definir y deter- efectiva. Otra de las críticas que se le hacen a minar las metas a conseguir por medio del este modelo (Brinkerhoff, 1987) pone de proceso de formación. La segunda fase hace manifiesto las ventajas e inconvenientes de referencia a la elección y diseño (D) del en- la utilización de modelos como el de Kirkpa- foque de formación más adecuado a los pro- trick, la primera de estas limitaciones hace pósitos definidos en la primera fase para, de referencia a la unidimensionalidad del mode- esta forma, conseguir mejorar el rendimiento lo, los resultados se traducen en términos laboral de los profesionales a quienes va di- meramente económicos, dejando de lado rigida la formación. En la tercera fase se de- aspectos muy importantes que no pueden ben elaborar (E) las herramientas necesarias definirse con estos términos. La segunda para llevar a cabo la formación o entrena- limitación se refiere a que el posible feed- miento de los asistentes. En este punto con- Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 107
  • 8. Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116. http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm viene diseñar y construir tanto el material supone que el evaluador debe tener un gran bibliográfico como audiovisual o de apoyo. conocimiento sobre cada una de las fases ya En cuarto lugar nos encontramos con la fase que no de dan claves para desarrollarlas. de puesta en práctica de lo diseñado ante- riormente, propiamente la fase de aplicación 2.3. Modelo de Cervero para evaluar la (A) de las técnicas de formación. Aunque se Formación Continua de profesionales en trata de un proceso flexible y abierto, no por ejercicio ello hay a dejar de lado la rigurosidad a la Descripción del modelo hora de seguir los pasos que se fijan en el diseño. Cabe destacar que la improvisación El modelo que presentamos a continuación en este tipo de procesos de evaluación de la lo desarrollan Cervero y Rottet en 1984 y formación puede llevar al fracaso y a la no- posteriormente Dimmock lo completa en consecución de los objetivos planteados a 1993. El propósito fundamental del modelo priori. La quinta fase que plantea Chang alu- es enlazar la formación continua con el desa- de a la evaluación y medición (M) de los rrollo profesional de los sujetos. resultados de la formación, aquí se evaluará la consecución de objetivos y los logros en la El modelo de Cervero y Rotter (1984, mejora del rendimiento actual. Asimismo, 1986) se constituye en base a una serie de éste será el momento de rectificar posibles constructos o bloques que se consideran va- deficiencias halladas durante el proceso. Es riables independientes. En primer lugar, el en la sexta fase donde encontramos alusiones programa de formación continua que se di- explícitas a la evaluación del impacto a me- seña y planifica en función de las necesida- dio y largo plazo. Mediante el seguimiento des de los sujetos. En segundo lugar, el pro- (S) y la consolidación de las adquisiciones, pio profesional en ejercicio con sus caracte- tanto a nivel individual como de organiza- rísticas diferenciales y propias. En tercer ción, se consigue que los efectos positivos, lugar, la naturaleza del cambio que se pro- fruto del proceso de formación, se manten- pone producir mediante el programa de for- gan en el tiempo. mación y, en cuarto lugar, el sistema social de referencia de los sujetos objeto de la eva- Ventajas e inconvenientes luación. Estos cuatro bloques actúan de va- riables independientes y como variable de- Como se ha podido comprobar en el desa- pendiente el desarrollo profesional del suje- rrollo de las características fundamentales to. Cada uno de esos bloques se subdivide, a del modelo, se trata de un modelo diseñado su vez, en distintos indicadores. en base a un proceso sistemático con la des- cripción de cada una de las fases de forma Ventajas e inconvenientes pormenorizada con lo que posee gran aplica- ción práctica y resulta esencial para evalua- Aunque en la validación empírica del mo- dores que se enfrenten por primera vez a la delo los autores, a través de la técnica de tarea de valorar un programa de formación. regresión múltiple, encontraron que las cua- Por otra parte se trata de un proceso que con- tro variables/bloques independientes expli- tiene una fase de evaluación del impacto can del 63% a 81% de la varianza de la va- propiamente dicho y en él se describen deta- riable dependiente, se trata de un estudio lladamente las acciones a lleva a cabo para muy limitado y basado sólo en las medicio- que los efectos positivos que hemos conse- nes post-test. Los autores recomiendan utili- guido con el programa se mantengan en el zar una muestra mayor para poder generali- tiempo. Uno de los posibles inconvenientes zar resultados y, a su vez, recomiendan el de la aplicación de este modelo es el desarro- uso de técnicas estadísticas multivariantes llo detallado de cada una de las fases. Esto para validar los datos obtenidos. De cual- Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 108
  • 9. Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116. http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm quier manera, existe un consenso que apoya Ventajas e inconvenientes la validación de este modelo y es que la eva- luación del programa es una parte esencial Este modelo presenta una serie de incon- del propio programa. Ésta es la gran conclu- venientes que radican fundamentalmente en sión o aportación que podemos destacar de la falta de consideración de elementos como este modelo junto con la adaptabilidad a la detección de necesidades o el propósi- cualquier profesión, en lo que a evaluación to/meta del programa objeto de evaluación. del impacto de la formación continua se re- Estos elementos resultan esenciales en cual- fiere. quier evaluación. Por otro lado, la gran ven- taja que supone el modelo estriba en el ca- 2.4. Modelo de evaluación de Grotelues- rácter externo de la evaluación que, por un chen lado, consigue un alto grado de objetividad por parte de los evaluadores y, por otro, im- Descripción del modelo plica en el proceso evaluativo a los potencia- Tienen su base teórica en Tyler, este autor les usuarios del programa. complementa la definición que Tyler hace de evaluación incluyendo y proponiendo una 2.5. Modelo de evaluación orientado a serie de categorías. La primera de las catego- los resultados de Jackson rías hace referencia a la evaluación sumativa Descripción del modelo o de rendición de cuentas. La segunda cate- goría se refiere a la evaluación formativa Jackson (1994), hace un recorrido por los como la describe Scriven (2000). Por último, diferentes modelos de evaluación de impacto la tercera categoría hace referencia a las futu- desarrollados en el ámbito de la empresa. En ras acciones y decisiones a tomar acerca de ese análisis llega a la conclusión de que los la planificación de programas formativos. encargados de diseñar e impartir la forma- ción a los trabajadores deben tener en cuenta El autor propone (Grotelueschen, 1980) te- los objetivos que se persiguen para poder ner en cuenta tres dimensiones a la hora de medir los resultados obtenidos. evaluar un programa formativo: propósito de la evaluación (esta dimensión debe estar cla- Las siete etapas que identifica el autor co- ramente especificada y definida a priori), mo elementos del proceso de formación son: elementos del programa y características o 1) Identificación de necesidades componentes del programa. A su vez, estas 2) Análisis de las necesidades de forma- dimensiones se concretan en ocho cuestiones ción fundamentales a considerar tanto en la plani- 3) Explicitar por escrito los objetivos del ficación como en la evaluación de programas programa de formación de formación. Estas cuestiones son: propósi- 4) Desarrollo del programa to de la evaluación, audiencias implicadas, 5) Llevar a cabo el programa usos de la evaluación, recursos disponibles, 6) Evaluación del programa colección de evidencias, recogida de datos, 7) Comunicación de resultados análisis de la evidencia y transmisión de los Estas etapas nos conducen al análisis de re- hallazgos encontrados tras la evaluación. sultados en términos de coste-beneficio en El modelo, en líneas generales, presenta el base a dos caminos diferenciados, por un proceso de enjuiciamiento y toma de deci- lado el asesoramiento del proceso de adqui- siones encaminadas a, por un lado, la rendi- sición de habilidades y por otro la medida de ción de cuentas; y por otro, a la reestructura- los resultados en términos de número de ción o propuestas de mejoras sobre un de- ítems completados para determinar los es- terminado programa. tándares de rendimiento. Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 109
  • 10. Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116. http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm Ventajas e inconvenientes rior. La coherencia entre los objetivos pro- puestos y los resultados obtenidos darán co- Los puntos fuertes de este modelo radican, mo resultado la medida del impacto en la por una parte, en el énfasis que se hace en la organización. En el siguiente gráfico queda detección de necesidades formativas en un reflejado el modelo de evaluación de impac- colectivo de trabajadores como primer paso to de la formación que propone el autor: y, por otro, la operacionalización del proceso y la medición del rendimiento en base a es- La medida de los resultados de impacto se tándares autoreferenciales. Cabe destacar, realiza en base a una serie de preguntas: asimismo, el carácter práctico del modelo y ¿Sabemos qué habilidades o destrezas la especificación minuciosa de las diferentes se transfieren a través de la formación? fases de la evaluación, desde una evaluación ¿Sabemos cuánta gente aprende? diagnóstica hasta la evaluación basada en la ¿Son las necesidades que se detectan consecución de objetivos (impacto). las que se desean satisfacer a priori? Por contra, podemos encontrar asimismo Ventajas e inconvenientes algunas deficiencias en el modelo que plan- tea Jackson, como por ejemplo: la no inclu- Las características de este modelo son al sión en el proceso de evaluación de variables mismo tiempo su punto fuerte y su punto relacionadas con la cultura de la organiza- débil. En este sentido, se presentan como ción o empresa donde desarrollan su labor puntos fuertes del modelo la identificación los trabajadores objeto de estudio, las habili- de necesidades de formación en la organiza- dades de los trabajadores, o el pasado profe- ción y, la relación de colaboración entre los sional de los mismos, todas ellas, como se formadores, los profesionales y la persona puede observar, constructos complejos. encargada de planificar la formación. Estas características se convierten a su vez en difi- 2.6. Modelo de evaluación del impacto cultades si tenemos en cuenta que las rela- de la formación de Robinson & Robin- ciones de colaboración entre los implicados son dependen de la intensidad de la relación con el cliente. Como conclusión a este modelo Descripción del modelo podemos decir que su mayor ventaja radica Los postulados teóricos de este modelo es- en su capacidad para consolidar las relacio- tán recogidos en el libro “Formación para el nes entre los formadores, los profesionales y impacto” (Robinson y Robinson, 1989). Este el cliente. modelo se compone de 12 fases orientadas a la evaluación de resultados y que directa- 3. Modelos de evaluación del impacto mente enlazan con los cursos de formación. de la formación en el ámbito sanitario Se podría decir que el modelo de Robinson A continuación se van a analizar modelos & Robinson se concreta en la siguiente fór- adaptados al ámbito sanitario que están en mula: consonancia con el objeto de estudio. Cabe señalar que la revisión de la literatura en este Experienciasde aprendizaje X contexto = aspecto, aunque minuciosa, sólo aporta unos resultados pocos modelos que están referenciados como tales, ya que en la mayoría de los casos son Esta fórmula recoge las relaciones entre el experiencias concretas que responden a teo- programa de formación para profesionales en rías genéricas sobre evaluación o sobre adap- ejercicio, el contexto de aprendizaje y los taciones al terreno sanitario. resultados que se derivan de la relación ante- Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 110
  • 11. Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116. http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm 3.1. Modelo SM/PI (System Model of dremos como ejemplo el modelo elaborado policy indicators) en Suecia (Modelo INC). En este modelo cada componente de calidad posee una serie Comenzamos esta revisión teórica de los de atributos concretos y medibles que van modelos utilizados para evaluar programas asociados a cada una de las variables: así, los de salud con el modelo que plantea el Institu- atributos de la variable calidad percibida to Politécnico y la Universidad del Estado de son: general, adecuación al uso y fiabilidad; Virginia para evaluar la política de un siste- de la variable valor percibido: precio dada la ma sanitario. El modelo SM/PI (System Mo- calidad y calidad dado el precio; de la varia- del of policy indicators) tiene sus inicios en ble expectativas: general, adecuación al uso la década de los 70, siendo en este período y fiabilidad; de la variable satisfacción del donde se empieza a incorporar a las ciencias usuario: satisfacción propiamente dicha, sociales en un intento de conceptualizar un confirmar/anular expectativas y comparación proceso cíclico de inputs-outputs-feedback. con ideal; de la variable quejas: en función En este modelo se barajan dos tipos de sis- del nivel de satisfacción; y de la variable temas de indicadores. Por un lado, el sistema lealtad a la empresa: fidelidad hacia la em- de entradas basado, fundamentalmente, en presa por parte del trabajador que ha sido las demandas y que en este modelo responde objeto de formación continua por parte de la a un sistema centralizado de relación única empresa. con los sistemas locales (SWM) y, por otro, Este modelo permite determinar la puntua- los resultados como las decisiones y las ac- ción en cada uno de los atributos de calidad y ciones a tomar. Se considera fundamental la a partir de estas puntuaciones estimar el im- retroalimentación o feedback ya que hace pacto que tienen estos atributos sobre los posible la consecución de los resultados. En componentes de calidad. Del mismo modo la este modelo se ha utilizado el procedimiento puntuación de los componentes de calidad, estadístico de regresión simple para estudiar determina el impacto que estos tienen sobre lo que explica cada una de las variables de la satisfacción. entrada de las variables de resultados, que en este caso son las acciones y decisiones. Este tipo de metodología QSP supone un avance muy importante a la hora de resolver 3.2. Modelo QSP-INC (Fornell, Univer- ecuaciones estructurales de relaciones causa- sidad de Michigan) les en cadenas largas, ya que otro tipo de En este modelo, a diferencia de otros, metodologías como la regresión o el análisis hacen uso de una metodología causal, en un factorial no responden al objetivo de intento de avanzar en el terreno del contraste “...medir una secuencia de percepciones que y validación de teorías, que es esencial a la se tiene que valorar de forma simultanea con hora de establecer relaciones de causa-efecto la restricción de maximizar la relación entre entre la calidad, la satisfacción de los usua- el índice de satisfacción y las variables de rios, los resultados, y el impacto. comportamiento objetivo” (Friberg, 1995). El modelo QSP-INC para medir la calidad Desde un punto de vista de la amplitud del percibida de un servicio hospitalario lo ha ámbito de acción de la evaluación, podemos desarrollado el Catedrático Fornell de la clasificar los enfoques de medida de la satis- Universidad de Michigan facción en: enfoque macro (un sistema sani- (http://directory.umich.edu/; tario completo), enfoque intermedio (pro- www.cfigroup.com/bios/cfornell.htm). Este grama de asistencia) y enfoque micro (servi- Modelo permite, en base a la metodología cio ambulatorio u hospitalario concreto). utilizada, elaborar modelos más concretos en función de las variables a examinar. Pon- Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 111
  • 12. Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116. http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm La metodología utilizada se establece en Valor Añadido base a unas escalas de valoración en las que El primer gran factor, común a muchos de se contemplan aspectos como la accesibili- los modelos analizados sería la adquisición dad al programa o la viabilidad del mismo. de conocimientos. Es decir, el producto más El problema asociado a este tipo de medidas inmediato de un programa de formación es, radica en la imposibilidad de comparar pro- sin duda, los conocimientos adquiridos y gramas ya que al incorporar expectativas no representa un claro indicador de la calidad se distingue claramente si los efectos produ- del programa en sí. El concepto de valor cidos se deben a las propias expectativas o añadido se acuñó, originalmente, en térmi- simplemente a un incremento en la calidad nos económicos: “incremento de valor que del servicio. Para intentar subsanar este in- experimenta un bien en su proceso de trans- conveniente metodológico se elabora un mo- formación” (Diccionario de la Lengua Espa- delo que incorpora multitud de variables co- ñola, 2001). En nuestro caso, trasladado al mo posibles causas que influyen en la satis- ámbito de la formación continua, hablaremos facción, de manera que la tarea se centra en de valor añadido como incremento en lo que identificar los efectos de cada una de esas conocimientos se refiere, que experimenta un variables sobre la satisfacción y el impacto sujeto tras haber participado en un programa que tienen determinados programas formati- de formación. vos. Satisfacción 3.3. Modelo de Ubillos La satisfacción es una dimensión funda- Retomando el tema de la problemática aso- mental en la explicación del impacto de la ciada a la evaluación de impacto de progra- formación. Costa Font (1999) entiende por mas formativos, Ubillos (1994) analiza dos satisfacción: tipos de diseños quasi-experimentales para comparar el poder evaluativo de cada uno de “…adecuación de sus expectativas con la ellos. Por un lado el diseño de grupos no- percepción final del servicio sanitario (con- equivalentes, en el que se compara la medida cepto que procede de la calidad percibida post-test del grupo experimental con la me- del servicio)” (pp. 79-80) dida post-test del grupo de control, se trata del diseño quasi-experimental más válido y La satisfacción es un índice de calidad del el que posee mayor validez externa. Por otro servicio y de correcto funcionamiento, así lado los diseños quasi-experimentales de como un indicador de resultados. En la defi- línea base no causal construida, estos dise- nición del profesor Costa Font, aparece el ños tienen su base en la comparación de la término expectativas como un elemento fun- medida post-test del grupo de tratamiento damental a la hora de poder evaluar el grado con un grupo apareado disfuncional o fun- de satisfacción del cliente. Podemos clasifi- cional, es decir, se compara con una norma car las expectativas en relación a su tipolo- (en la mayoría de los casos perceptibles de gía, estas pueden ser: ideales o deseos, pre- una población comparable). decibles o basadas en la experiencia, norma- tivas e inexistencia de expectativas. Está Conclusiones demostrado que la satisfacción está relacio- nada con multitud de variables entre ellas la La revisión de la literatura sobre modelos calidad del servicio, la cantidad de informa- de evaluación del impacto, nos da idea de las ción recibida y variables sociodemográficas grandes dimensiones que tienen relación con (Hall y Dornan, 1988). el mismo. De esta forma, y como conclusión, pasamos a definir las grandes dimensiones Mejora del status profesional que explican el impacto de la formación: Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 112
  • 13. Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116. http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm La presente dimensión teórica que se plan- Berstein, D. J. (1999). Comments on Perrin's tea como efecto del programa formativo, "Effective use and misuse of performance forma parte de la mayoría de estudios sobre measurement". American Journal of Eva- la rentabilidad e impacto de la formación. Si luation, 20, 85-93. nos hacemos eco de lo reflejado en el cuarto Blasco Sánchez, B. (1991). El control de la nivel del modelo de Kirkpatrick la adquisi- formación. ¿Auditoria, evaluación? Aula ción de capacidades, habilidades y conoci- Abierta, 58, 59-84. mientos sobre un tema determinado, deberí- Brinkerhoff, O. (1987). Achieving Results an repercutir sobre la empleabilidad de un from Training: How to Evaluate Human sujeto. Resource Development to Strengthen Pro- grams and Increase Impact. San Francisco: De esta forma quedan definidas las dimen- Jossey-Bass. siones que, extraídas de la revisión teórica de Brinkerhoff, R. O., et al. (1983). Program modelos de evaluación del impacto de pro- Evaluation. A practitioner's guide for train- gramas de formación, configuran el impacto ers and educators. Boston: Kluver-Nijhoff que tiene la formación en el desarrollo profe- Publishing. sional de los sujetos que asisten a un pro- Carballo Santaolalla, R. (1990). Evaluación grama de formación. de un programa de formación ocupacional. Revista de Investigación educativa, 8(15), BIBLIOGRAFÍA 93-95. Adams, J. D., (1999). The formulation, de- Carballo Santaolalla, R. (1991). Introducción velopment and testing of an impact evalua- a la evaluación de programas de acción so- tion model for continuing professional edu- cial: decisiones para su realización. Revista cation. Pennsylvania: The Pennsylvania Complutense de Educación, 2(1), 111-126. State University. Carrasco, M., Mallén, D. y Escanero Mar- Adams, J. D., (2001). Reinterpreting Evalua- cén, J. F. (1994). Necesidades sentidas de tion Classics in the Modern Age. Journal of formación continuada de los médicos de Continuing Higher Education, 49, 2, 14-22. atención primaria. Madrid: Ministerio de Adams, L., et al. (2002). Promoting Health: Sanidad y Consumo, Dirección General de Politics and Practice. London: Sage Publi- Ordenación Profesional. cations. Cervero, R.M. and Wilson, A.L. (Eds.) Aday, L. A., et al. (1998). Evaluating the (1996). New Directions for Adult and Con- Healthcare System: tinuing Education: What Really Matters in Effectiveness, Efficiency, and Equity. Uni- Adult Education Program Planning, No. 69. versity of Michigan: Health Administration San Francisco: Jossey-Bass. Press. Cervero, R.M. and Wilson, A.L. (1994). Antoñanzas Villar, F. y Rovira Forns, J. Planning Responsibly for Adult Educa- (1998). El debate de la estandarización me- tion.San Francisco: Jossey-Bass. todológica de la evaluación de Proyectos Cervero, R.M. (1988). Effective Continuing sanitarios: el caso de la tasa de descuento. Education for Professionals. San Francisco: Papeles de economía española, 76, 159- Jossey-Bass. 164. Cervero, R.M., and Scanlan, C.L. (eds.) Aragón Marín, L. (1997). Modelo Europeo (1985). New Directions for Continuing de Gestión de la Calidad: Guía para la au- Education. Problems and Prospects in Con- toevaluación. Madrid: MEC. tinuing Professional Education. No. 27. San Barbier, J. M. (1993). La evaluación en los Francisco: Jossey-Bass. procesos de formación. Barcelona: Paidós; Cervero, R.M.; Azzaretto, J. F.; and other. Madrid: Ministerio de Educación y Ciencia, (1990). Visions for the Future of Continuing Centro de Publicaciones. Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 113
  • 14. Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116. http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm Professional Education. Athens: University Grembowski, D. (2001). The Practice of of Georgia. Health Program Evaluation. London: Sage Chang, E. C. (2000). Perfectionism as a Pre- Pub. dictor of Positive and Negative Psychologi- Grotelueschen, A.D. (1980). "Program cal Outcomes: Examining a Mediation Evaluation." In A.B. Knox (Ed.), Develop- Model in Younger and Older Adults. Jour- ing, Administering, and Evaluating Adult nal of Counseling psychology, 47, 1, 18-26. Education. San Francisco: Jossey-Bass. Costa Font, J. (1998). Técnicas de evalua- Hall, J. A. and Dornan, M. C. (1988a). Meta- ción económica de programas sanitarios: Analysis of satisfaction with medical care: ¿Qué método de evaluación económica apli- Description of reserch domain and analysis car?, Jano, LIV, 1275, 79-80. of overall satisfaction levels. Social Science Costa Font, J. (1998). Técnicas de evalua- and Medicine, Vol. 27, No 6, pp. 637-644. ción económica de programas sanitarios: Hall, J. A. and Dornan, M. C. (1988b). What ¿Qué método de evaluación económica apli- patients like about their medical care and car?, Jano, LIV, 1275, 79-80. how often they are asked: A meta-analysis Cummings, L. E. (1993). Hospitality`s solid of the satisfaction literature.” Social Science waste policy patchwork: A study of states´s and Medicine, Vol. 27, No. 9, pp. 935-939. regulatory environments. Journal of inter- Jackson, C. (1984). Evaluation studies: re- national academy of hospitality research, view annual. Beverly Hills; London: Sage 16, 1-24. pub. De la Orden Hoz, A. (1990). Evaluación de Jackson, L. and Caffarella, R.S. (Eds.) los efectos de los programas de interven- (1994). New Directions for Adult and Con- ción. Revista de Investigación Educativa, 8, tinuing Education: Experiential Learning. 16, 61-76. No. 62. San Francisco: Jossey-Bass. Fernández-Ballesteros, R. (1996). Evalua- Juran, J. M. y Gryna, F. M. (1995). Análisis ción de programas. Una guía práctica en y planeación de la calidad: del desarrollo ámbitos sociales, educativos y de salud. del producto al uso. Buenos Aires: McGraw Madrid: Síntesis. Hill. Fink, A. (1993). Evaluation Fundamentals: Katz, F. M. (1981). Pautas para la evalua- Guiding Health Programs, Research, and ción de programas de personal de salud. Policy. London: Sage pub. Washington: Organización panamericana de Friberg, U. (1995). II Jornadas sobre Ges- la Salud. tión y Evaluación de la Calidad en los Ser- Kellaghan, T. y Madaus, G. F. (2000). Out- vicios Públicos. Madrid. come evaluation. En D. L. Stufflebeam, G. Glanz, K., Lewis, F. M., y Rimer, B. K. F. Madaus, y T. Kellaghan (eds.). Evalua- (1997). Health Behavior and Health Educa- tion models: Viewpoints on educational and tion: Theory, Research and Practice (2nd human services evaluation (pp. 97-112). ed.). San Francisco: Jossey-Bass. Boston: Kluwer Academic Publishers. Goldie, J. (2000). Review of ethics curricula Kirkpatrick, D. L. (1996). Great ideas revis- in undergraduate medical education. Medi- ited. Training and Development, 50, 1, 54- cal Education, 34(2), 95-102. 65. Gomm, R., et al. (2000). Evaluating Re- Kirkpatrick, D. L. (1999). Evaluación de search in Health and Social Care. London: acciones formativas: los cuatro niveles. Sage pub. Barcelona: Gestión 2000. Green, R. S. y Newman, F. L. (1999). Total Klein, R. E. (1982). Evaluación del impacto quality management principles promote in- de los Programas de nutrición y salud. creased utilization of client outcome data in Washington: OMS. behavioral health care. Evaluation and Pro- gram Planning, 22, 179-182. Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 114
  • 15. Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116. http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm Le Boterf, G., Barzucchetti, S. y Vincent, F. luación de tecnologías y programas sanita- (1993). Cómo gestionar la calidad de la rios. Madrid: Ministerio de Sanidad y Con- formación. Barcelona: Gestión 2000. sumo. Llorens Montes, J. F. (1996). Una evaluación Scriven, M. (2000). Evaluation models: de la relación entre calidad del servicio, sa- viewpoints on educational and human ser- tisfacción y actitud del cliente. ESIC Mar- vices evaluation. Boston: Kluwer Academic ket, Jul-Sep, 93, 121-132. Press, cop. Marzo, J.C., Martínez-Tur, V., Ramos, J. y Stufflebeam, D. L. (2001). Evaluation Mod- Peiró, J.M. (2002). La satisfacción del usua- els. New Directions for Evaluation, 89 Spr. rio desde el modelo de la confirmación de Sussman, S. (2000). Handbook of Program expectativas: respuesta a algunos interro- Development for Health Behavior Research gantes. Psicothema, Vol. 14, 765-770. and Practice. London: Sage pub. Piédrola Gil, G., et al. (1991). Medicina pre- Tyler, R. (1969). Educational evaluation: ventiva y salud pública. Barcelona: Edicio- new roles, new means. Chicago: The Na- nes científicas y técnicas. tional Society for the Study of Education. Pineault, R. y Daveluy, V. (1989). La plani- Veney, J. y Kaluzny, A. (1998). Evaluation ficación sanitaria: conceptos, métodos y es- and Decision Making for Health Services. trategias. Barcelona: Masson. University of Michigan: Health Administra- RAE (2001). Diccionario de la Real Acade- tion Press. mia de la Lengua. Madrid: Espasa Calpe. Wade, P. (1998). Cómo medir el impacto de Reed, C. S. y Brown, R. E. (2001). Outcome- la formación. Madrid: Editorial Centro de asset impact model: linking outcomes and Estudios Ramón Areces S.A. assets. Evaluation and program planing, 24, Worthen, B.R., Sanders, J.R., y Fitzpatrick, 287-295. J.L. (1997). Program Evaluation: Alterna- Robira, J. (1994). Estandarización de algu- tive Approaches and Practical Guidelines. nos aspectos metodológicos de los análisis 2d ed. New York: Longman. coste-efectividad y coste-utilidad en la eva- [1] Paradigma que nace en los años 70 y entre sus ideas principales define satisfacción como la evaluación de la dis- crepancia entre las expectativas previas y el rendimiento percibido del producto que consume el usuario (en nuestro caso formación) ABOUT THE AUTHORS / SOBRE LOS AUTORES Chantal Biencinto (alameda@edu.ucm.es). Profesora Doctora en el Dpto. MIDE de la Facultad de Educación de la Universidad Complutense de Madrid (C/ Rector Royo Villanova, s/n. 28040 Madrid). Rafael Carballo (rafacar@edu.ucm.es). Profesor Titular del Dpto. MIDE de la Facultad de Edu- cación de la Universidad Complutense de Madrid (C/ Rector Royo Villanova, s/n. 28040 Madrid ) Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 115
  • 16. Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en el ámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116. http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm ARTICLE RECORD / FICHA DEL ARTÍCULO Reference / Biencinto, Chantal y Carballo, Rafael (2004). Revisión de modelos de evaluación del impacto de la formación en el ámbito sanitario: de lo general a lo específico. Revista ELectrónica de Investigación y EValuación Educativa, v. 10, n. 2. Referencia http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm. Consultado en (poner fecha). Revisión de modelos de evaluación del impacto de la formación en el ámbito sanitario: de lo ge- Title / Título neral a lo específico [Review of evaluation models on the impact of training in the health field: from general to specific ] Authors / Au- Chantal Biencinto y Rafael Carballo tores Review / Revista ELectrónica de Investigación y EValuación Educativa (RELIEVE), v. 10, n. 2 Revista ISSN 1134-4032 Publication date / 2004 (Reception Date: 2003 March 31; Approval Date: 2004 Dec 1; Publication Date: 2004 Fecha de pu- Dec 2) blicación The objective of the present article is to review the evaluation models on the impact of training in the health field. This review will begin with the most general models of evaluation and continue with the models used in the evaluation of the impact of training in the health field. Abstract / El presente artículo tiene como objetivo hacer una revisión de los modelos de evaluación del Resumen impacto de la formación en ámbito sanitario. Esta revisión comenzará por los modelos más gene- rales de evaluación para, a continuación, continuar con los modelos más utilizados en la evalua- ción del impacto de la formación en el ámbito sanitario. Keywords Evaluation, impact, models, training Descriptores Evaluación, impacto, modelos, formación Institution / Universidad Complutense de Madrid (España) Institución Publication site / http://www.uv.es/RELIEVE Dirección Language / Español (Title, abstract and keywords in english ) Idioma Revista ELectrónica de Investigación y EValuación Educativa (RELIEVE) [ ISSN: 1134-4032 ] © Copyright, RELIEVE. Reproduction and distribution of this articles it is authorized if the content is no modified and their origin is indicated (RELIEVE Journal, volume, number and electronic address of the document). © Copyright, RELIEVE. Se autoriza la reproducción y distribución de este artículo siempre que no se modifique el contenido y se indique su origen (RELIEVE, volumen, número y dirección electrónica del documento). Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 116