Revision de modelos de evaluacion del impacto de la formacion en el ambito sanitario  de lo general
Upcoming SlideShare
Loading in...5
×
 

Revision de modelos de evaluacion del impacto de la formacion en el ambito sanitario de lo general

on

  • 1,903 reproducciones

 

Estadísticas

reproducciones

reproducciones totales
1,903
reproducciones en SlideShare
1,903
reproducciones incrustadas
0

Actions

Me gusta
0
Descargas
18
Comentarios
0

0 insertados 0

No embeds

Accesibilidad

Categorias

Detalles de carga

Uploaded via as Adobe PDF

Derechos de uso

© Todos los derechos reservados

Report content

Marcada como inapropiada Marcar como inapropiada
Marcar como inapropiada

Seleccione la razón para marcar esta presentación como inapropiada.

Cancelar
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Tu mensaje aparecerá aquí
    Processing...
Publicar comentario
Edite su comentario

Revision de modelos de evaluacion del impacto de la formacion en el ambito sanitario  de lo general Revision de modelos de evaluacion del impacto de la formacion en el ambito sanitario de lo general Document Transcript

  • Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en elámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm Revista ELectrónica de Investigación y EValuación Educativa REVISIÓN DE MODELOS DE EVALUACIÓN DEL IMPACTO DE LA FORMACIÓN EN EL ÁMBITO SANITARIO: DE LO GENERAL A LO ESPECÍFICO (Review of evaluation models on the impact of training in the health field: from general to specific) por Article record Ficha del artículo Chantal Biencinto (alameda@edu.ucm.es) About authors Sobre los autores Rafael Carballo (rafacar@edu.ucm.es) HTML format Formato HTML Abstract Resumen El presente artículo tiene como objetivo hacer una revi-The objective of the present article is to review the sión de los modelos de evaluación del impacto de la for-evaluation models on the impact of training in the health mación en ámbito sanitario. Esta revisión comenzará porfield. This review will begin with the most general mod- los modelos más generales de evaluación para, a conti-els of evaluation and continue with the models used in nuación, continuar con los modelos más utilizados en lathe evaluation of the impact of training in the health evaluación del impacto de la formación en el ámbito sani-field. tario. Keywords DescriptoresEvaluation, impact, models, training Evaluación, impacto, modelos, formación El objetivo de este artículo es lograr una componen el impacto, entendido como pro-definición del impacto de la formación en el ducto mediato de la formación, tanto desdedesarrollo laboral de los sujetos. Para lograr la perspectiva individual, como desde uneste objetivo, nos hemos acercado al marco punto de vista social. Estas dimensiones teó-conceptual, a través de la revisión teórica de ricas, implicadas en los diferentes modeloslos diferentes modelos de evaluación de im- analizados, son: la satisfacción de expectati-pacto que se encuentran en la literatura revi- vas respecto a la formación (se considera unosada. La conclusión que obtenemos de esta de los productos esenciales de cualquier ac-revisión de modelos, va encaminada a la de- ción formativa), el valor añadido (entendidofinición de las diferentes dimensiones que como el incremento en lo a que a conoci-Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 101
  • Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en elámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htmmientos se refiere), y, como tercera dimen- fallo en la detección de necesidades son mássión a considerar, las mejoras que se produ- difíciles de corregir que los que se producencen en la empleabilidad. . durante el proceso formativo. Los modelos de evaluación se inscriben en A estas características generales adaptadasun contexto de calidad concreto y, por tanto, a la formación, podemos añadir las conside-en la primera parte de este artículo analiza- raciones que Le Boterf (1993) hace sobre elremos diferentes modelos de evaluación de Ciclo de Deming. El Ciclo o rueda de De-la calidad para, a continuación, hacer un ming, plantea cuatro acciones fundamentalesbreve repaso de los modelos de evaluación que tienen como consecuencia la calidad;del impacto de la formación y terminar con éstas son: Planificar (P), Realizar o ejecutarla revisión de los modelos de evaluación del (D), Controlar o verificar (C) y Mejorar (A).impacto de la formación en el ámbito sanita-rio. De esta forma, la revisión comenzará por 1.2. Modelo Enfoque de Inversión delo más general hasta llegar a un ámbito más Mamolarespecífico. Como alternativa al modelo de adquisición y mantenimiento de competencias desarro-1. Modelos de evaluación de la calidad llado en párrafos anteriores, encontramos un modelo que pretende ser integrador y nove-1.1. Modelo de evaluación de la calidad doso denominado enfoque de inversión. Sede Le Boterf trata de un modelo generado por y para la Le Boterf, Barzucchetti y Vincent (1993) empresa que tiene como objetivo la evalua-identifican tres características clave de la ción de la formación desde una perspectivacalidad: de rentabilidad de la inversión en este terre- 1. El control de la calidad significa domi- no. Aunque aparentemente la relación con el nar la calidad del conjunto de las funcio- ámbito que nos ocupa parece lejana, este nes de la empresa, incluyendo funciones modelo incorpora una serie de indicaciones y administrativas. recomendaciones que parecen aptas para 2. El dominio de la calidad total es una incorporar en el modelo evaluativo que pro- búsqueda que no tiene un final determina- pondremos posteriormente. do. En primer lugar, la correcta definición y 3. La dificultad de enmendar posibles detección de necesidades, de esta forma el errores se incrementa en función del mo- programa de formación puede considerarse mento y lugar en el que se produzca. adecuado a los intereses y demandas de los Estas tres características se pueden imple- profesionales. En segundo lugar, este modelomentar en el proceso de calidad de la forma- propone, la especificación de las competen-ción teniendo en cuenta los siguientes aspec- cias, habilidades y conductas que van a ad-tos: en primer lugar, es imprescindible tener quirir los participantes y, por último, la se-en cuenta todas y cada una de las fases que lección de los indicadores que nos permitanconcurren en el proceso formativo, incluyen- recoger información que resulte relevantedo selección de los asistentes y planificación para poder evaluar tanto el proceso como losde la acción formativa; en segundo lugar, el resultados de la formación.grado de satisfacción de los asistentes, laevaluación de las competencias adquiridas y Las conclusiones más relevantes de esteel índice de readaptación, considerados como modelo están en la línea de resaltar la impor-feedback de la formación impartida, condu- tancia de adaptar los procesos formativos, nocen a una búsqueda permanente de la cali- sólo al mantenimiento de competencias, sinodad; y, en tercer lugar, los errores como el también a la continua transformación y adap-Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 102
  • Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en elámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htmtación de esas competencias a situaciones de tentes multidimensionales con mayor podercontinuo cambio. explicativo que las variables observadas.1.3. Modelo de calidad orientado a la 1.4. Modelo Europeo de Gestión de lasatisfacción de Martínez-Tur calidad En la línea de modelos de calidad orienta- Otro de los modelos de calidad revisado esdos a la satisfacción, Martínez-Tur y Tordera el Modelo Europeo de Gestión de la calidad,de la Universidad de Valencia (1995), elabo- que edita la Fundación Europea para la Ges-ran un modelo causal basado en modelos tión de la Calidad; en él se ven recogidasclásicos sobre la medida de la satisfacción. unas directrices generales que se puedenLa novedad que introducen estos autores adaptar a múltiples contextos. Este tipo deversa sobre la revisión del modelo de alta modelo nace concebido para el ámbito de laimplicación (MAI), que hipotetiza relaciones empresa y, en el caso de España, es el Minis-causales entre la calidad, las expectativas del terio de Educación Cultura y Deporte el en-usuario ante el producto que consume, la cargado de adaptarlo al medio educativo odesconfirmación [1], la satisfacción y las formativo. Adaptado a la formación el Mo-intenciones conductuales. Los resultados más delo Europeo de Gestión de la Calidad serelevantes de este estudio radican en la signi- resume de la siguiente forma: la satisfacciónficatividad de los parámetros del modelo, de los usuarios del servicio Público sanitariouna vez revisado. La revisión del MAI, con de Formación, de los coordinadores y el im-la consiguiente modificación de relaciones pacto en la sociedad se consigue mediante uncausales (inclusión de un efecto directo de la liderazgo (entiéndase como la implicación decalidad percibida sobre la satisfacción), re- la Administración) que impulse la planifica-sulta un modelo que se ajusta a los datos, ción y la estrategia, la gestión del personalpero sin embargo tiene deficiencias aprecia- sanitario implicado, de los recursos y susbles que los mismos autores señalan en las procesos hacia la consecución de la mejoraconclusiones. En primer lugar, podemos des- permanente de los resultados. El sistema detacar la unidimensionalidad de la variable evaluación por puntuaciones responde a unasatisfacción, sólo se ha utilizado una medi- consulta efectuada a un conjunto de organi-ción de esta variable y hubiese sido deseable zaciones europeas. A continuación repasa-utilizar más de un indicador. La satisfacción remos los conceptos básicos del Modelo quees un constructo multidimensional y como como se puede comprobar están estrecha-tal está contemplado en este trabajo. En se- mente relacionados con los postulados teóri-gundo lugar, y quizá como crítica más im- cos del Modelo de Calidad Total. Estos con-portante, nos encontramos con la imposibili- ceptos son: orientación al cliente, relacionesdad de generalizar los resultados a otros sec- de asociación con proveedores, desarrollo etores. Esta limitación es común a muchos de involucración del personal, procesos ylos artículos revisados y viene dada por una hechos, mejora continua e innovación, lide-serie de características tales como la utiliza- razgo y coherencia con los objetivos, ética yción de muestras reducidas o la escasa for- responsabilidad y orientación hacia resulta-malización de los modelos presentados, así dos.como la falta de adecuación de los criteriosde valoración. Por último, reseñar que lametodología utilizada para intentar explicar 1.5. Modelo Relacional de Calidad de Delas relaciones causales entre las variables, se la Ordenha superado ya con técnicas LISREL quepermiten utilizar variables o constructos la- Otro de los modelos que puede contribuir a contextualizar las distintas teorías asociadas a los modelos de evaluación es el modeloRevista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 103
  • Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en elámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htmrelacional de calidad planteado por De la mento, no suelen establecer una metodologíaOrden (1988; 1990; 1997), establece las rela- concreta de evaluación. Sin embargo, encon-ciones entre los distintos elementos de un tramos el modelo de Evaluación de la Ges-sistema: objetivos y metas, recursos, proce- tión de Procesos en Recursos Humanos desos, entradas, contexto y productos, de estas Olaz (2000) que sí propone una metodologíarelaciones, el autor establece tres criterios de de análisis concreta. En este modelo se abo-calidad como son la eficacia, eficiencia y ga por una metodología e interpretaciónfuncionalidad, en función de los cruces entre cuantitativa de los datos obtenidos en la eva-elementos. La evaluación consiste en identi- luación. Siguiendo una metodología cuantita-ficar las posibles deficiencias de este sistema tiva, el primer paso sería establecer las va-así como los productos que se derivan del riables representativas y cuantificables comomismo dentro de un proceso continuo de elemento de referencia válido. Entre ellas,retroalimentación. Cada uno de los elemen- encontramos la variable que hace referenciatos del modelo vienen justificados por una a la formación. Esta variable trata de deter-teoría subyacente sobre la evaluación en ge- minar el grado de conocimientos imprescin-neral y sobre la evaluación de programas en dibles que permitirán desarrollar las tareasparticular. Se trata de un modelo sistemático del proceso en términos de eficiencia opera-y a su vez completo que puede ser “aplica- tiva. En segundo lugar se propone relacionardo” a cualquier sistema evaluable. Permite los factores que genéricamente han sido pre-elaborar indicadores para evaluar tres dimen- sentados, con las variables representativas.siones: eficacia, eficiencia y funcionalidad, En el caso de la formación se establecen treslas cuales, en su conjunto, son el reflejo de la factores relacionados con las técnicas, lasCalidad. El profesor De la Orden define cali- habilidades directivas y aspectos formativos.dad como: “La Calidad aparece como un Una vez identificadas las variables y los fac-continuo escalar cuyos puntos representan tores asociados, se puede construir un siste-combinaciones de funcionalidad, eficacia y ma de valoración que debe contemplar as-eficiencia, mutuamente implicados. Su grado pectos como la objetividad para conseguirmáximo, la excelencia, supone un óptimo fines explicativos, interpretabilidad de losnivel de coherencia entre todos los compo- datos, causalidad de las relaciones entre lasnentes principales representados en el mode- variables y /o factores así como fiabilidad ylo sistémico” (De la Orden Hoz, 1997). Los representatividad de los datos con los que seindicadores se plantean de forma diferente pretende obtener información del proceso depara cada dimensión. evaluación. Este modelo está centrado en los procesos internos de una organización em- La eficiencia pone de manifiesto la rela- presarial, la contribución a nuestro estudioción de entradas y procesos con los produc- radica en la utilización de una metodologíatos. De la Orden (1997) afirma: “La cohe- cuantitativa y de relaciones causales entrerencia entre, por un lado, inputs y procesos variables.y, por otro lado, productos”. La eficacia, porsu parte, supone coherencia en la relación 1.7. Modelo de Barbierentre entradas o inputs y productos, y por Ahondando en el tema de la evaluación deúltimo, la funcionalidad, supone la coheren- la formación, esta vez desde el énfasis en loscia entre metas/objetivos generales y produc- procesos, encontramos la aportación de Bar-tos. bier (1993). Este autor analiza desde una1.6. Modelo de Evaluación de la Gestión perspectiva pedagógica los procesos de lade Olaz evaluación de la formación. En aras a facili- tar su comprensión y justificar su utilización Los modelos de evaluación de los procesosformativos que hemos revisado hasta el mo-Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 104
  • Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en elámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htmvamos a proceder a definir brevemente cada Este tipo de evaluación es lo que Barbieruno de los términos utilizados. denomina evaluación instituida. Se trata de un tipo de evaluación donde los juicios de En primer lugar, cuando hablamos de eva- valor se realizan de forma explícita a travésluación de agentes nos estamos a refiriendo a de un proceso de diseño a priori, con objeti-todas evaluación que haga referencia a ad- vos bien definidos, metodología científica yquisición de conocimientos, aptitudes, habi- evaluación de resultados entendida comolidades, tanto a nivel individual como de consecución de metas.grupos u organizaciones. Por otro lado, paraeste autor la evaluación de acciones hace 2. Modelos de evaluación de impactoreferencia a la evaluación de la metodologíautilizada, las actividades, los sistemas y todo En este epígrafe realizaremos una revisiónaquello que se relaciona con los procesos de de algunos de los modelos utilizados en laformación. Por último, señalar que para Bar- práctica para evaluar el impacto de la forma-bier (1993), la elaboración de criterios a par- ción.tir de objetivos permite poner en relación losobjetivos con la información relativa a la La evaluación de impacto es una forma deconsecución de los mismos. Podemos desta- evaluación que poco a poco ha ido ganandocar la referencia explícita al trabajo pedagó- aceptación entre los encargados de planificargico que conlleva la formación. e impartir formación continua para adultos. Vamos a presentar seis modelos de evalua- En este sentido seria importante añadir qué ción del impacto de la formación. Cada unoentiende el autor por el proceso de adquisi- de ellos lo comentaremos teniendo en cuentación de conocimientos, destrezas o habilida- dos aspectos: en primer lugar una descrip-des pedagógicas. En primer lugar empeza- ción detallada del modelo y seguidamente unremos por definir lo que entiende por perfil: análisis crítico en base a ventajas e inconve-conjunto de capacidades individuales sobre nientes de cada uno de los modelos analiza-las cuales se apoya la actividad formativa. dos.Entendemos pues que la formación debe par-tir de la individualidad y adaptarse a las ca- 2.1. Modelo de evaluación de cuatro ni-pacidades de cada sujeto. Este proceso for- veles de Kirkpatrickmativo debe contar con una serie de medios Descripción del modeloespecíficos, adecuados a los objetivos previs-tos, que faciliten la relación pedagógica, en- El Modelo de Evaluación de Programas detendida como la distribución de roles en la Formación que plantea Kirkpatrick (1959,interacción profesor-alumno. Asimismo, el 1996, 1999), establece diez factores a consi-proceso formativo debe contar con tres fases derar a la hora de planificar y poner en mar-diferenciadas: cha cualquier acción formativa. El primero de ellos sería la detección de necesidades. 1. Determinación de objetivos: Estos deben Este primer paso está consolidado en esta estar definidos en función de las capacida- posición como podemos comprobar en la des individuales y deben ser operativos. literatura sobre evaluación revisada hasta el 2. Construcción de mecanismos o secuen- momento. Si la acción formativa que quere- cias que conduzcan el proceso de adquisi- mos llevar a la práctica no se adecua a las ción de destrezas. necesidades, tanto de los asistentes a la mis- 3. En una tercera fase se procede a la eva- ma como de los demás grupos implicados, luación del proceso pedagógico, así como no conseguiremos que la formación sea de la consecución de los objetivos fijados en calidad ya que no cumpliría el criterio de la primera fase. funcionalidad. El segundo factor a tener enRevista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 105
  • Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en elámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htmcuenta es el establecimiento de objetivos. En de estos niveles, el autor, propone una serietercer lugar, la determinación de los conteni- de condiciones e indicadores que facilitan ydos, resulta del establecimiento de los dos estructuran la evaluación. En cuanto al pri-factores anteriores. Además de determinar mero de los niveles denominado reacción,las materias a impartir, en este paso se deben hemos de fijar nuestra atención sobre aspec-jerarquizar los contenidos en función de la tos del programa formativo relacionados conrelevancia en base a los objetivos y las nece- el tema, con la persona encargada de impartirsidades detectadas. El siguiente factor a tener la formación y con el programa en suen cuenta en el diseño de una acción forma- conjunto. Reacción es básicamente medir lativa será la selección de los participantes. satisfacción de cliente. Para ello se debeEsta selección debe hacerse en función de construir un cuestionario de satisfacción adunos criterios bien definidos y explícitos, es hoc que contenga tanto cuestionesdecir que los criterios sean públicos y cono- valorativas como la posibilidad de que elcidos con anticipación por los sujetos sus- encuestado exprese su opinión personal asíceptibles de participar en la formación. Los como comentarios y sugerencias. Estesiguientes cuatro factores están íntimamente cuestionario de satisfacción debe cuantificarrelacionados entre sí y forman parte del pro- las reacciones inmediatas de los asistentespio proceso. El primero de ellos es la elec- tras finalizar la sesión formativa. Otra de lasción del plan de trabajo a seguir, es decir razones para medir la reacción es ladeterminar horarios y duración del curso. motivación y el interés de los asistentes a losEsto debe hacerse en función de los partici- cursos formativos. En cuanto al segundopantes de los formadores. En segundo lugar, nivel denominado aprendizaje, la medida sela selección de la infraestructura adecuada a centra en la adquisición de conocimientos,los contenidos y al plan de trabajo. El si- mejora de las habilidades y cambio deguiente factor es la selección y contratación actitudes. Este tipo de conocimientos que sedel personal docente encargado de llevar a adquieren durante la formación deben sercabo la formación. Este es un punto en el que evaluados a través de pruebas post-suele aparecer problemas sobre todo de índo- formación y medir los logros obtenidos y elle económica. No siempre el docente con cumplimiento de objetivos fijados a priori.más calidad y que más se ajusta al perfil tan- Normalmente el aprendizaje va acompañadoto de los asistentes como de los contenidos a de uno o más de estos indicadores. El tercerimpartir, resulta ser el más caro. Hoy muchas nivel se relaciona con los comportamientos oempresas u organismos valoran a los docen- conductas que pueden medirse durante eltes por la cuantía de sus honorarios, sin tener curso o una vez finalice. Si el propósito de laen cuenta su adecuación o no a las caracterís- formación es un cambio en las pautas deticas del curso. El siguiente factor hace refe- comportamiento, muchos estudios hanrencia a la selección y preparación de mate- comprobado que este tipo de cambios seriales audiovisuales. Por último en este blo- producen muy lentamente y que sólo la meraque que henos denominado de proceso, cabe adquisición de conocimientos no resultadestacar el papel de la coordinación de la suficiente para que los cambios resultenformación. Se dan varias situaciones en este estables. Por último el nivel de resultados, enaspecto, puede que algún docente haga la este nivel se van a medir los resultadosfunción de coordinador o este papel lo des- finales de la formación donde se incluyenempañe otra persona. como indicadores el incremento del salario, aumento de la productividad, mayores Sobre el décimo factor, denominado eva- beneficios, reducción de costos, estabilidadluación, se estructura el Modelo de cuatro en el puesto de trabajo y mejora de laniveles: Reacción, Aprendizaje, Comporta- calidad.mientos/conductas y Resultados. En cada una Ventajas e inconvenientesRevista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 106
  • Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en elámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm El modelo presenta varios puntos fuertes. back de la acción formativa no es inmediatoEl primero de ellos reside en su viabilidad o directo. Normalmente los contenidos, habi-práctica, existe un consenso entre los forma- lidades y actitudes adquiridos durante ladores y evaluadores en la capacidad del mo- formación no se ponen en práctica de formadelo para llevarlo a la práctica sin dificultad. inmediata y es en este periodo de tiempoEsta ventaja reside en la excelente estructu- transcurrido donde puede perderse gran par-ración del mismo, así como de lo pormenori- te de la información recibida. Por último, sezado de cada acción a seguir para evaluar un hace referencia a la no-adecuación de losprograma formativo. Otra de las ventajas de Modelos de Análisis Económicos como mo-este modelo es su carácter pionero, es decir, delos de evaluación de la formación en re-resulta la base de la evaluación de impacto cursos humanos. En esta crítica estamos to-de la formación. Hace cuarenta años, la eva- talmente de acuerdo ya que es una formaluación de impacto apenas estaba en sus al- simplista y reduccionista de los elementosbores, el modelo de Kirkpatrick resultó toda que pueden estar influyendo en la calidad deuna revolución en este ámbito. esa formación. Del mismo modo no podemos medir el impacto de la formación en térmi- Del mismo modo, este modelo ha recibido nos meramente económicos, ya que dejaría-varias críticas y se considera superado en mos de lado los verdaderos elementos quemuchos aspectos, de cualquier forma nos influyen en le mantenimiento y puesta enparece acertado incluirlo en esta revisión ya práctica de los conocimientos adquiridosque sienta las bases de la implantación defi- durante el proceso formativo.nitiva de la evaluación de programas forma-tivos como herramienta de cambio y mejora 2.2. Modelo de evaluación del impactode la calidad. Pasamos a señalar algunas de de Changlas críticas más comunes que se le atribuyen Descripción del modeloal Modelo de Kirkpatrick. La primera deellas formulada por Adams (2001), considera Modelo planteado por Chang (2000) desdeel modelo defectuoso. Se trata, según el au- un punto de vista práctico como material detor, de un modelo simplista que no cuantifica apoyo a los responsables de planificar, im-el impacto real de la formación ya que la partir y evaluar la formación.consecuencia o resultado de la evaluaciónrara vez podemos observarlo como impacto. Describiremos cada una de las fases delHabitualmente, en las organizaciones, la eva- Modelo IDEAMS de forma pormenorizada.luación de la formación se estanca en el se- La primera fase consiste en identificar lasgundo nivel que propone Kirkpatrick (apren- necesidades de formación (I), para ello sedizaje) y no se llega al nivel 4 donde se mide debe decidir si la formación puede mejorar elel impacto propiamente dicho. Por tanto no rendimiento laboral y como puede lograrlo.podemos decir que la formación ha sido En esta fase se tendrán que definir y deter-efectiva. Otra de las críticas que se le hacen a minar las metas a conseguir por medio deleste modelo (Brinkerhoff, 1987) pone de proceso de formación. La segunda fase hacemanifiesto las ventajas e inconvenientes de referencia a la elección y diseño (D) del en-la utilización de modelos como el de Kirkpa- foque de formación más adecuado a los pro-trick, la primera de estas limitaciones hace pósitos definidos en la primera fase para, dereferencia a la unidimensionalidad del mode- esta forma, conseguir mejorar el rendimientolo, los resultados se traducen en términos laboral de los profesionales a quienes va di-meramente económicos, dejando de lado rigida la formación. En la tercera fase se de-aspectos muy importantes que no pueden ben elaborar (E) las herramientas necesariasdefinirse con estos términos. La segunda para llevar a cabo la formación o entrena-limitación se refiere a que el posible feed- miento de los asistentes. En este punto con-Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 107
  • Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en elámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htmviene diseñar y construir tanto el material supone que el evaluador debe tener un granbibliográfico como audiovisual o de apoyo. conocimiento sobre cada una de las fases yaEn cuarto lugar nos encontramos con la fase que no de dan claves para desarrollarlas.de puesta en práctica de lo diseñado ante-riormente, propiamente la fase de aplicación 2.3. Modelo de Cervero para evaluar la(A) de las técnicas de formación. Aunque se Formación Continua de profesionales entrata de un proceso flexible y abierto, no por ejercicioello hay a dejar de lado la rigurosidad a la Descripción del modelohora de seguir los pasos que se fijan en eldiseño. Cabe destacar que la improvisación El modelo que presentamos a continuaciónen este tipo de procesos de evaluación de la lo desarrollan Cervero y Rottet en 1984 yformación puede llevar al fracaso y a la no- posteriormente Dimmock lo completa enconsecución de los objetivos planteados a 1993. El propósito fundamental del modelopriori. La quinta fase que plantea Chang alu- es enlazar la formación continua con el desa-de a la evaluación y medición (M) de los rrollo profesional de los sujetos.resultados de la formación, aquí se evaluarála consecución de objetivos y los logros en la El modelo de Cervero y Rotter (1984,mejora del rendimiento actual. Asimismo, 1986) se constituye en base a una serie deéste será el momento de rectificar posibles constructos o bloques que se consideran va-deficiencias halladas durante el proceso. Es riables independientes. En primer lugar, elen la sexta fase donde encontramos alusiones programa de formación continua que se di-explícitas a la evaluación del impacto a me- seña y planifica en función de las necesida-dio y largo plazo. Mediante el seguimiento des de los sujetos. En segundo lugar, el pro-(S) y la consolidación de las adquisiciones, pio profesional en ejercicio con sus caracte-tanto a nivel individual como de organiza- rísticas diferenciales y propias. En tercerción, se consigue que los efectos positivos, lugar, la naturaleza del cambio que se pro-fruto del proceso de formación, se manten- pone producir mediante el programa de for-gan en el tiempo. mación y, en cuarto lugar, el sistema social de referencia de los sujetos objeto de la eva- Ventajas e inconvenientes luación. Estos cuatro bloques actúan de va- riables independientes y como variable de- Como se ha podido comprobar en el desa- pendiente el desarrollo profesional del suje-rrollo de las características fundamentales to. Cada uno de esos bloques se subdivide, adel modelo, se trata de un modelo diseñado su vez, en distintos indicadores.en base a un proceso sistemático con la des-cripción de cada una de las fases de forma Ventajas e inconvenientespormenorizada con lo que posee gran aplica-ción práctica y resulta esencial para evalua- Aunque en la validación empírica del mo-dores que se enfrenten por primera vez a la delo los autores, a través de la técnica detarea de valorar un programa de formación. regresión múltiple, encontraron que las cua-Por otra parte se trata de un proceso que con- tro variables/bloques independientes expli-tiene una fase de evaluación del impacto can del 63% a 81% de la varianza de la va-propiamente dicho y en él se describen deta- riable dependiente, se trata de un estudiolladamente las acciones a lleva a cabo para muy limitado y basado sólo en las medicio-que los efectos positivos que hemos conse- nes post-test. Los autores recomiendan utili-guido con el programa se mantengan en el zar una muestra mayor para poder generali-tiempo. Uno de los posibles inconvenientes zar resultados y, a su vez, recomiendan elde la aplicación de este modelo es el desarro- uso de técnicas estadísticas multivariantesllo detallado de cada una de las fases. Esto para validar los datos obtenidos. De cual-Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 108
  • Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en elámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htmquier manera, existe un consenso que apoya Ventajas e inconvenientesla validación de este modelo y es que la eva-luación del programa es una parte esencial Este modelo presenta una serie de incon-del propio programa. Ésta es la gran conclu- venientes que radican fundamentalmente ensión o aportación que podemos destacar de la falta de consideración de elementos comoeste modelo junto con la adaptabilidad a la detección de necesidades o el propósi-cualquier profesión, en lo que a evaluación to/meta del programa objeto de evaluación.del impacto de la formación continua se re- Estos elementos resultan esenciales en cual-fiere. quier evaluación. Por otro lado, la gran ven- taja que supone el modelo estriba en el ca-2.4. Modelo de evaluación de Grotelues- rácter externo de la evaluación que, por unchen lado, consigue un alto grado de objetividad por parte de los evaluadores y, por otro, im- Descripción del modelo plica en el proceso evaluativo a los potencia- Tienen su base teórica en Tyler, este autor les usuarios del programa.complementa la definición que Tyler hace deevaluación incluyendo y proponiendo una 2.5. Modelo de evaluación orientado aserie de categorías. La primera de las catego- los resultados de Jacksonrías hace referencia a la evaluación sumativa Descripción del modeloo de rendición de cuentas. La segunda cate-goría se refiere a la evaluación formativa Jackson (1994), hace un recorrido por loscomo la describe Scriven (2000). Por último, diferentes modelos de evaluación de impactola tercera categoría hace referencia a las futu- desarrollados en el ámbito de la empresa. Enras acciones y decisiones a tomar acerca de ese análisis llega a la conclusión de que losla planificación de programas formativos. encargados de diseñar e impartir la forma- ción a los trabajadores deben tener en cuenta El autor propone (Grotelueschen, 1980) te- los objetivos que se persiguen para poderner en cuenta tres dimensiones a la hora de medir los resultados obtenidos.evaluar un programa formativo: propósito dela evaluación (esta dimensión debe estar cla- Las siete etapas que identifica el autor co-ramente especificada y definida a priori), mo elementos del proceso de formación son:elementos del programa y características o 1) Identificación de necesidadescomponentes del programa. A su vez, estas 2) Análisis de las necesidades de forma-dimensiones se concretan en ocho cuestiones ciónfundamentales a considerar tanto en la plani- 3) Explicitar por escrito los objetivos delficación como en la evaluación de programas programa de formaciónde formación. Estas cuestiones son: propósi- 4) Desarrollo del programato de la evaluación, audiencias implicadas, 5) Llevar a cabo el programausos de la evaluación, recursos disponibles, 6) Evaluación del programacolección de evidencias, recogida de datos, 7) Comunicación de resultadosanálisis de la evidencia y transmisión de los Estas etapas nos conducen al análisis de re-hallazgos encontrados tras la evaluación. sultados en términos de coste-beneficio en El modelo, en líneas generales, presenta el base a dos caminos diferenciados, por unproceso de enjuiciamiento y toma de deci- lado el asesoramiento del proceso de adqui-siones encaminadas a, por un lado, la rendi- sición de habilidades y por otro la medida deción de cuentas; y por otro, a la reestructura- los resultados en términos de número deción o propuestas de mejoras sobre un de- ítems completados para determinar los es-terminado programa. tándares de rendimiento.Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 109
  • Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en elámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm Ventajas e inconvenientes rior. La coherencia entre los objetivos pro- puestos y los resultados obtenidos darán co- Los puntos fuertes de este modelo radican, mo resultado la medida del impacto en lapor una parte, en el énfasis que se hace en la organización. En el siguiente gráfico quedadetección de necesidades formativas en un reflejado el modelo de evaluación de impac-colectivo de trabajadores como primer paso to de la formación que propone el autor:y, por otro, la operacionalización del procesoy la medición del rendimiento en base a es- La medida de los resultados de impacto setándares autoreferenciales. Cabe destacar, realiza en base a una serie de preguntas:asimismo, el carácter práctico del modelo y ¿Sabemos qué habilidades o destrezasla especificación minuciosa de las diferentes se transfieren a través de la formación?fases de la evaluación, desde una evaluación ¿Sabemos cuánta gente aprende?diagnóstica hasta la evaluación basada en la ¿Son las necesidades que se detectanconsecución de objetivos (impacto). las que se desean satisfacer a priori? Por contra, podemos encontrar asimismo Ventajas e inconvenientesalgunas deficiencias en el modelo que plan-tea Jackson, como por ejemplo: la no inclu- Las características de este modelo son alsión en el proceso de evaluación de variables mismo tiempo su punto fuerte y su puntorelacionadas con la cultura de la organiza- débil. En este sentido, se presentan comoción o empresa donde desarrollan su labor puntos fuertes del modelo la identificaciónlos trabajadores objeto de estudio, las habili- de necesidades de formación en la organiza-dades de los trabajadores, o el pasado profe- ción y, la relación de colaboración entre lossional de los mismos, todas ellas, como se formadores, los profesionales y la personapuede observar, constructos complejos. encargada de planificar la formación. Estas características se convierten a su vez en difi-2.6. Modelo de evaluación del impacto cultades si tenemos en cuenta que las rela-de la formación de Robinson & Robin- ciones de colaboración entre los implicadosson dependen de la intensidad de la relación con el cliente. Como conclusión a este modelo Descripción del modelo podemos decir que su mayor ventaja radica Los postulados teóricos de este modelo es- en su capacidad para consolidar las relacio-tán recogidos en el libro “Formación para el nes entre los formadores, los profesionales yimpacto” (Robinson y Robinson, 1989). Este el cliente.modelo se compone de 12 fases orientadas ala evaluación de resultados y que directa- 3. Modelos de evaluación del impactomente enlazan con los cursos de formación. de la formación en el ámbito sanitarioSe podría decir que el modelo de Robinson A continuación se van a analizar modelos& Robinson se concreta en la siguiente fór- adaptados al ámbito sanitario que están enmula: consonancia con el objeto de estudio. Cabe señalar que la revisión de la literatura en este Experienciasde aprendizaje X contexto = aspecto, aunque minuciosa, sólo aporta unos resultados pocos modelos que están referenciados como tales, ya que en la mayoría de los casos son Esta fórmula recoge las relaciones entre el experiencias concretas que responden a teo-programa de formación para profesionales en rías genéricas sobre evaluación o sobre adap-ejercicio, el contexto de aprendizaje y los taciones al terreno sanitario.resultados que se derivan de la relación ante-Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 110
  • Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en elámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm3.1. Modelo SM/PI (System Model of dremos como ejemplo el modelo elaboradopolicy indicators) en Suecia (Modelo INC). En este modelo cada componente de calidad posee una serie Comenzamos esta revisión teórica de los de atributos concretos y medibles que vanmodelos utilizados para evaluar programas asociados a cada una de las variables: así, losde salud con el modelo que plantea el Institu- atributos de la variable calidad percibidato Politécnico y la Universidad del Estado de son: general, adecuación al uso y fiabilidad;Virginia para evaluar la política de un siste- de la variable valor percibido: precio dada lama sanitario. El modelo SM/PI (System Mo- calidad y calidad dado el precio; de la varia-del of policy indicators) tiene sus inicios en ble expectativas: general, adecuación al usola década de los 70, siendo en este período y fiabilidad; de la variable satisfacción deldonde se empieza a incorporar a las ciencias usuario: satisfacción propiamente dicha,sociales en un intento de conceptualizar un confirmar/anular expectativas y comparaciónproceso cíclico de inputs-outputs-feedback. con ideal; de la variable quejas: en función En este modelo se barajan dos tipos de sis- del nivel de satisfacción; y de la variabletemas de indicadores. Por un lado, el sistema lealtad a la empresa: fidelidad hacia la em-de entradas basado, fundamentalmente, en presa por parte del trabajador que ha sidolas demandas y que en este modelo responde objeto de formación continua por parte de laa un sistema centralizado de relación única empresa.con los sistemas locales (SWM) y, por otro, Este modelo permite determinar la puntua-los resultados como las decisiones y las ac- ción en cada uno de los atributos de calidad yciones a tomar. Se considera fundamental la a partir de estas puntuaciones estimar el im-retroalimentación o feedback ya que hace pacto que tienen estos atributos sobre losposible la consecución de los resultados. En componentes de calidad. Del mismo modo laeste modelo se ha utilizado el procedimiento puntuación de los componentes de calidad,estadístico de regresión simple para estudiar determina el impacto que estos tienen sobrelo que explica cada una de las variables de la satisfacción.entrada de las variables de resultados, que eneste caso son las acciones y decisiones. Este tipo de metodología QSP supone un avance muy importante a la hora de resolver3.2. Modelo QSP-INC (Fornell, Univer- ecuaciones estructurales de relaciones causa-sidad de Michigan) les en cadenas largas, ya que otro tipo de En este modelo, a diferencia de otros, metodologías como la regresión o el análisishacen uso de una metodología causal, en un factorial no responden al objetivo deintento de avanzar en el terreno del contraste “...medir una secuencia de percepciones quey validación de teorías, que es esencial a la se tiene que valorar de forma simultanea conhora de establecer relaciones de causa-efecto la restricción de maximizar la relación entreentre la calidad, la satisfacción de los usua- el índice de satisfacción y las variables derios, los resultados, y el impacto. comportamiento objetivo” (Friberg, 1995). El modelo QSP-INC para medir la calidad Desde un punto de vista de la amplitud delpercibida de un servicio hospitalario lo ha ámbito de acción de la evaluación, podemosdesarrollado el Catedrático Fornell de la clasificar los enfoques de medida de la satis-Universidad de Michigan facción en: enfoque macro (un sistema sani-(http://directory.umich.edu/; tario completo), enfoque intermedio (pro-www.cfigroup.com/bios/cfornell.htm). Este grama de asistencia) y enfoque micro (servi-Modelo permite, en base a la metodología cio ambulatorio u hospitalario concreto).utilizada, elaborar modelos más concretos enfunción de las variables a examinar. Pon-Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 111
  • Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en elámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm La metodología utilizada se establece en Valor Añadidobase a unas escalas de valoración en las que El primer gran factor, común a muchos dese contemplan aspectos como la accesibili- los modelos analizados sería la adquisicióndad al programa o la viabilidad del mismo. de conocimientos. Es decir, el producto másEl problema asociado a este tipo de medidas inmediato de un programa de formación es,radica en la imposibilidad de comparar pro- sin duda, los conocimientos adquiridos ygramas ya que al incorporar expectativas no representa un claro indicador de la calidadse distingue claramente si los efectos produ- del programa en sí. El concepto de valorcidos se deben a las propias expectativas o añadido se acuñó, originalmente, en térmi-simplemente a un incremento en la calidad nos económicos: “incremento de valor quedel servicio. Para intentar subsanar este in- experimenta un bien en su proceso de trans-conveniente metodológico se elabora un mo- formación” (Diccionario de la Lengua Espa-delo que incorpora multitud de variables co- ñola, 2001). En nuestro caso, trasladado almo posibles causas que influyen en la satis- ámbito de la formación continua, hablaremosfacción, de manera que la tarea se centra en de valor añadido como incremento en lo queidentificar los efectos de cada una de esas conocimientos se refiere, que experimenta unvariables sobre la satisfacción y el impacto sujeto tras haber participado en un programaque tienen determinados programas formati- de formación.vos. Satisfacción3.3. Modelo de Ubillos La satisfacción es una dimensión funda- Retomando el tema de la problemática aso- mental en la explicación del impacto de laciada a la evaluación de impacto de progra- formación. Costa Font (1999) entiende pormas formativos, Ubillos (1994) analiza dos satisfacción:tipos de diseños quasi-experimentales paracomparar el poder evaluativo de cada uno de “…adecuación de sus expectativas con laellos. Por un lado el diseño de grupos no- percepción final del servicio sanitario (con-equivalentes, en el que se compara la medida cepto que procede de la calidad percibidapost-test del grupo experimental con la me- del servicio)” (pp. 79-80)dida post-test del grupo de control, se tratadel diseño quasi-experimental más válido y La satisfacción es un índice de calidad delel que posee mayor validez externa. Por otro servicio y de correcto funcionamiento, asílado los diseños quasi-experimentales de como un indicador de resultados. En la defi-línea base no causal construida, estos dise- nición del profesor Costa Font, aparece elños tienen su base en la comparación de la término expectativas como un elemento fun-medida post-test del grupo de tratamiento damental a la hora de poder evaluar el gradocon un grupo apareado disfuncional o fun- de satisfacción del cliente. Podemos clasifi-cional, es decir, se compara con una norma car las expectativas en relación a su tipolo-(en la mayoría de los casos perceptibles de gía, estas pueden ser: ideales o deseos, pre-una población comparable). decibles o basadas en la experiencia, norma- tivas e inexistencia de expectativas. EstáConclusiones demostrado que la satisfacción está relacio- nada con multitud de variables entre ellas la La revisión de la literatura sobre modelos calidad del servicio, la cantidad de informa-de evaluación del impacto, nos da idea de las ción recibida y variables sociodemográficasgrandes dimensiones que tienen relación con (Hall y Dornan, 1988).el mismo. De esta forma, y como conclusión,pasamos a definir las grandes dimensiones Mejora del status profesionalque explican el impacto de la formación:Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 112
  • Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en elámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm La presente dimensión teórica que se plan- Berstein, D. J. (1999). Comments on Perrinstea como efecto del programa formativo, "Effective use and misuse of performanceforma parte de la mayoría de estudios sobre measurement". American Journal of Eva-la rentabilidad e impacto de la formación. Si luation, 20, 85-93.nos hacemos eco de lo reflejado en el cuarto Blasco Sánchez, B. (1991). El control de lanivel del modelo de Kirkpatrick la adquisi- formación. ¿Auditoria, evaluación? Aulación de capacidades, habilidades y conoci- Abierta, 58, 59-84.mientos sobre un tema determinado, deberí- Brinkerhoff, O. (1987). Achieving Resultsan repercutir sobre la empleabilidad de un from Training: How to Evaluate Humansujeto. Resource Development to Strengthen Pro- grams and Increase Impact. San Francisco: De esta forma quedan definidas las dimen- Jossey-Bass.siones que, extraídas de la revisión teórica de Brinkerhoff, R. O., et al. (1983). Programmodelos de evaluación del impacto de pro- Evaluation. A practitioners guide for train-gramas de formación, configuran el impacto ers and educators. Boston: Kluver-Nijhoffque tiene la formación en el desarrollo profe- Publishing.sional de los sujetos que asisten a un pro- Carballo Santaolalla, R. (1990). Evaluacióngrama de formación. de un programa de formación ocupacional. Revista de Investigación educativa, 8(15),BIBLIOGRAFÍA 93-95.Adams, J. D., (1999). The formulation, de- Carballo Santaolalla, R. (1991). Introducción velopment and testing of an impact evalua- a la evaluación de programas de acción so- tion model for continuing professional edu- cial: decisiones para su realización. Revista cation. Pennsylvania: The Pennsylvania Complutense de Educación, 2(1), 111-126. State University. Carrasco, M., Mallén, D. y Escanero Mar-Adams, J. D., (2001). Reinterpreting Evalua- cén, J. F. (1994). Necesidades sentidas de tion Classics in the Modern Age. Journal of formación continuada de los médicos de Continuing Higher Education, 49, 2, 14-22. atención primaria. Madrid: Ministerio deAdams, L., et al. (2002). Promoting Health: Sanidad y Consumo, Dirección General de Politics and Practice. London: Sage Publi- Ordenación Profesional. cations. Cervero, R.M. and Wilson, A.L. (Eds.)Aday, L. A., et al. (1998). Evaluating the (1996). New Directions for Adult and Con- Healthcare System: tinuing Education: What Really Matters in Effectiveness, Efficiency, and Equity. Uni- Adult Education Program Planning, No. 69. versity of Michigan: Health Administration San Francisco: Jossey-Bass. Press. Cervero, R.M. and Wilson, A.L. (1994).Antoñanzas Villar, F. y Rovira Forns, J. Planning Responsibly for Adult Educa- (1998). El debate de la estandarización me- tion.San Francisco: Jossey-Bass. todológica de la evaluación de Proyectos Cervero, R.M. (1988). Effective Continuing sanitarios: el caso de la tasa de descuento. Education for Professionals. San Francisco: Papeles de economía española, 76, 159- Jossey-Bass. 164. Cervero, R.M., and Scanlan, C.L. (eds.)Aragón Marín, L. (1997). Modelo Europeo (1985). New Directions for Continuing de Gestión de la Calidad: Guía para la au- Education. Problems and Prospects in Con- toevaluación. Madrid: MEC. tinuing Professional Education. No. 27. SanBarbier, J. M. (1993). La evaluación en los Francisco: Jossey-Bass. procesos de formación. Barcelona: Paidós; Cervero, R.M.; Azzaretto, J. F.; and other. Madrid: Ministerio de Educación y Ciencia, (1990). Visions for the Future of Continuing Centro de Publicaciones.Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 113
  • Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en elámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm Professional Education. Athens: University Grembowski, D. (2001). The Practice of of Georgia. Health Program Evaluation. London: SageChang, E. C. (2000). Perfectionism as a Pre- Pub. dictor of Positive and Negative Psychologi- Grotelueschen, A.D. (1980). "Program cal Outcomes: Examining a Mediation Evaluation." In A.B. Knox (Ed.), Develop- Model in Younger and Older Adults. Jour- ing, Administering, and Evaluating Adult nal of Counseling psychology, 47, 1, 18-26. Education. San Francisco: Jossey-Bass.Costa Font, J. (1998). Técnicas de evalua- Hall, J. A. and Dornan, M. C. (1988a). Meta- ción económica de programas sanitarios: Analysis of satisfaction with medical care: ¿Qué método de evaluación económica apli- Description of reserch domain and analysis car?, Jano, LIV, 1275, 79-80. of overall satisfaction levels. Social ScienceCosta Font, J. (1998). Técnicas de evalua- and Medicine, Vol. 27, No 6, pp. 637-644. ción económica de programas sanitarios: Hall, J. A. and Dornan, M. C. (1988b). What ¿Qué método de evaluación económica apli- patients like about their medical care and car?, Jano, LIV, 1275, 79-80. how often they are asked: A meta-analysisCummings, L. E. (1993). Hospitality`s solid of the satisfaction literature.” Social Science waste policy patchwork: A study of states´s and Medicine, Vol. 27, No. 9, pp. 935-939. regulatory environments. Journal of inter- Jackson, C. (1984). Evaluation studies: re- national academy of hospitality research, view annual. Beverly Hills; London: Sage 16, 1-24. pub.De la Orden Hoz, A. (1990). Evaluación de Jackson, L. and Caffarella, R.S. (Eds.) los efectos de los programas de interven- (1994). New Directions for Adult and Con- ción. Revista de Investigación Educativa, 8, tinuing Education: Experiential Learning. 16, 61-76. No. 62. San Francisco: Jossey-Bass.Fernández-Ballesteros, R. (1996). Evalua- Juran, J. M. y Gryna, F. M. (1995). Análisis ción de programas. Una guía práctica en y planeación de la calidad: del desarrollo ámbitos sociales, educativos y de salud. del producto al uso. Buenos Aires: McGraw Madrid: Síntesis. Hill.Fink, A. (1993). Evaluation Fundamentals: Katz, F. M. (1981). Pautas para la evalua- Guiding Health Programs, Research, and ción de programas de personal de salud. Policy. London: Sage pub. Washington: Organización panamericana deFriberg, U. (1995). II Jornadas sobre Ges- la Salud. tión y Evaluación de la Calidad en los Ser- Kellaghan, T. y Madaus, G. F. (2000). Out- vicios Públicos. Madrid. come evaluation. En D. L. Stufflebeam, G.Glanz, K., Lewis, F. M., y Rimer, B. K. F. Madaus, y T. Kellaghan (eds.). Evalua- (1997). Health Behavior and Health Educa- tion models: Viewpoints on educational and tion: Theory, Research and Practice (2nd human services evaluation (pp. 97-112). ed.). San Francisco: Jossey-Bass. Boston: Kluwer Academic Publishers.Goldie, J. (2000). Review of ethics curricula Kirkpatrick, D. L. (1996). Great ideas revis- in undergraduate medical education. Medi- ited. Training and Development, 50, 1, 54- cal Education, 34(2), 95-102. 65.Gomm, R., et al. (2000). Evaluating Re- Kirkpatrick, D. L. (1999). Evaluación de search in Health and Social Care. London: acciones formativas: los cuatro niveles. Sage pub. Barcelona: Gestión 2000.Green, R. S. y Newman, F. L. (1999). Total Klein, R. E. (1982). Evaluación del impacto quality management principles promote in- de los Programas de nutrición y salud. creased utilization of client outcome data in Washington: OMS. behavioral health care. Evaluation and Pro- gram Planning, 22, 179-182.Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 114
  • Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en elámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htmLe Boterf, G., Barzucchetti, S. y Vincent, F. luación de tecnologías y programas sanita- (1993). Cómo gestionar la calidad de la rios. Madrid: Ministerio de Sanidad y Con- formación. Barcelona: Gestión 2000. sumo.Llorens Montes, J. F. (1996). Una evaluación Scriven, M. (2000). Evaluation models: de la relación entre calidad del servicio, sa- viewpoints on educational and human ser- tisfacción y actitud del cliente. ESIC Mar- vices evaluation. Boston: Kluwer Academic ket, Jul-Sep, 93, 121-132. Press, cop.Marzo, J.C., Martínez-Tur, V., Ramos, J. y Stufflebeam, D. L. (2001). Evaluation Mod- Peiró, J.M. (2002). La satisfacción del usua- els. New Directions for Evaluation, 89 Spr. rio desde el modelo de la confirmación de Sussman, S. (2000). Handbook of Program expectativas: respuesta a algunos interro- Development for Health Behavior Research gantes. Psicothema, Vol. 14, 765-770. and Practice. London: Sage pub.Piédrola Gil, G., et al. (1991). Medicina pre- Tyler, R. (1969). Educational evaluation: ventiva y salud pública. Barcelona: Edicio- new roles, new means. Chicago: The Na- nes científicas y técnicas. tional Society for the Study of Education.Pineault, R. y Daveluy, V. (1989). La plani- Veney, J. y Kaluzny, A. (1998). Evaluation ficación sanitaria: conceptos, métodos y es- and Decision Making for Health Services. trategias. Barcelona: Masson. University of Michigan: Health Administra-RAE (2001). Diccionario de la Real Acade- tion Press. mia de la Lengua. Madrid: Espasa Calpe. Wade, P. (1998). Cómo medir el impacto deReed, C. S. y Brown, R. E. (2001). Outcome- la formación. Madrid: Editorial Centro de asset impact model: linking outcomes and Estudios Ramón Areces S.A. assets. Evaluation and program planing, 24, Worthen, B.R., Sanders, J.R., y Fitzpatrick, 287-295. J.L. (1997). Program Evaluation: Alterna-Robira, J. (1994). Estandarización de algu- tive Approaches and Practical Guidelines. nos aspectos metodológicos de los análisis 2d ed. New York: Longman. coste-efectividad y coste-utilidad en la eva-[1] Paradigma que nace en los años 70 y entre sus ideas principales define satisfacción como la evaluación de la dis-crepancia entre las expectativas previas y el rendimiento percibido del producto que consume el usuario (en nuestrocaso formación) ABOUT THE AUTHORS / SOBRE LOS AUTORESChantal Biencinto (alameda@edu.ucm.es). Profesora Doctora en el Dpto. MIDE de la Facultadde Educación de la Universidad Complutense de Madrid (C/ Rector Royo Villanova, s/n. 28040Madrid).Rafael Carballo (rafacar@edu.ucm.es). Profesor Titular del Dpto. MIDE de la Facultad de Edu-cación de la Universidad Complutense de Madrid (C/ Rector Royo Villanova, s/n. 28040 Madrid )Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 115
  • Biencinto, C. y Carballo, R. (2004). Revisión de modelos de evaluación del impacto de la formación en elámbito sanitario: de lo general a lo específico. RELIEVE: v. 10, n. 2, p. 101-116.http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm ARTICLE RECORD / FICHA DEL ARTÍCULOReference / Biencinto, Chantal y Carballo, Rafael (2004). Revisión de modelos de evaluación del impacto de la formación en el ámbito sanitario: de lo general a lo específico. Revista ELectrónica de Investigación y EValuación Educativa, v. 10, n. 2.Referencia http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_5.htm. Consultado en (poner fecha). Revisión de modelos de evaluación del impacto de la formación en el ámbito sanitario: de lo ge-Title / Título neral a lo específico [Review of evaluation models on the impact of training in the health field: from general to specific ]Authors / Au- Chantal Biencinto y Rafael CarballotoresReview / Revista ELectrónica de Investigación y EValuación Educativa (RELIEVE), v. 10, n. 2RevistaISSN 1134-4032Publicationdate / 2004 (Reception Date: 2003 March 31; Approval Date: 2004 Dec 1; Publication Date: 2004Fecha de pu- Dec 2)blicación The objective of the present article is to review the evaluation models on the impact of training in the health field. This review will begin with the most general models of evaluation and continue with the models used in the evaluation of the impact of training in the health field.Abstract / El presente artículo tiene como objetivo hacer una revisión de los modelos de evaluación delResumen impacto de la formación en ámbito sanitario. Esta revisión comenzará por los modelos más gene- rales de evaluación para, a continuación, continuar con los modelos más utilizados en la evalua- ción del impacto de la formación en el ámbito sanitario.Keywords Evaluation, impact, models, trainingDescriptores Evaluación, impacto, modelos, formaciónInstitution / Universidad Complutense de Madrid (España)InstituciónPublicationsite / http://www.uv.es/RELIEVEDirecciónLanguage / Español (Title, abstract and keywords in english )Idioma Revista ELectrónica de Investigación y EValuación Educativa (RELIEVE) [ ISSN: 1134-4032 ] © Copyright, RELIEVE. Reproduction and distribution of this articles it is authorized if the content is no modified and their origin is indicated (RELIEVE Journal, volume, number and electronic address of the document). © Copyright, RELIEVE. Se autoriza la reproducción y distribución de este artículo siempre que no se modifique el contenido y se indique su origen (RELIEVE, volumen, número y dirección electrónica del documento).Revista ELectrónica de Investigación y EValuación Educativa [ www.uv.es/RELIEVE ] pag. 116