1. ARTÍCULO ESPECIAL
Evaluación de la competencia clínica de las facultades
de medicina de Cataluña, 1994-2006: evolución 206.217
de los formatos de examen hasta la evaluación
clínica objetiva y estructurada (ECOE)
Eduard Kronfly Rubianoa,b, José I. Ricarte Díezb, Sebastián Juncosa Fonta,b
y Josep Maria Martínez Carreteroc
a
Medicina de familia. Institut Català de la Salut (ICS). Barcelona.
b
Unitat d’Avaluació de les Competències Clíniques.
c
Subdirección. Institut d’Estudis de la Salut. Barcelona. España.
El Instituto de Estudios de la Salud (IES), organismo del De- facultades de medicina de Cataluña se han presentado en
partamento de Salut de la Generalitat de Catalunya, siendo los congresos internacionales de la Ottawa Conference on
fiel a su función dentro del sistema sanitario, de formación y Medical Education desde 1998 (Philadelphia, Estados Uni-
evaluación de la competencia clínica (ECC) de los profesio- dos)12-16 hasta el último en 2006, y en el congreso de la As-
nales sanitarios, inició hace más de 12 años diversos pro- sociation for Medical Education in Europe (AMEE) en 2002
yectos dirigidos a la mejora de la formación y evaluación, (Lisboa)17,18, participando y compartiendo las experiencias
tanto en el pregrado como en el posgrado y para la acredita- metodológicas internacionales, especialmente sobre ECC y
ción y certificación profesional1 (tabla 1). sobre otros proyectos en educación médica.
A petición de las facultades de medicina de Cataluña, el IES Este artículo presenta el desarrollo y la evolución de los for-
ha realizado diversos proyectos de evaluación en pregrado matos evaluativos en los sucesivos años, desde su primera
con la finalidad de conocer con más rigor la competencia edición en 1994 hasta la edición de 2006, y muestra el di-
clínica de los médicos que finalizan su formación, al consta- seño y el resultado de los proyectos en 2 grandes etapas, la
tar que los métodos tradicionales usados hasta entonces no del período inicial 1994-1997 y la del período con los for-
evaluaban plenamente las habilidades clínicas básicas2. matos ECOE, desde 1998 hasta 2006.
Desde el año 1993, se comenzó a fraguar todo un modelo
conceptual y metodológico de lo que debería ser en el futu-
Personas, materiales y método
ro, no sólo la evaluación de médicos y estudiantes, sino
Marco conceptual
también su formación. El fundamento sobre el cual nace
este proyecto innovador que pretende influir en el ámbito de Muchos autores han definido el constructo competencia clínica (CC). En ese
sentido, inicialmente asumimos la definición genérica de Kane, donde los co-
la educación médica, fue el de la ECC y la formación basa- nocimientos, habilidades, actitudes y buen juicio eran aplicados a la resolu-
da en competencias. La filosofía de este concepto sirvió ción de problemas4. El perfeccionamiento progresivo de los métodos de eva-
para comenzar a buscar en la evaluación una congruencia luación nos permitió asumir la medición de aspectos más complejos y basar
nuestros trabajos en definiciones más completas del constructo CC, como,
con el proceso formativo garantizando que la enseñanza de por ejemplo, la que considera al profesional competente como «aquel que
la medicina se adaptara a las necesidades de la sociedad. usa de modo habitual y sensato los conocimientos, habilidades técnicas, las
Para ello se debería comprobar la calidad tanto del resulta- habilidades de comunicación, el razonamiento clínico, las emociones, valores
y reflexión de la práctica diaria para el beneficio del individuo y la comunidad
do (el profesional sanitario) como del sistema que los forma, a la que se sirve»5. Ronald Epstein completa esta definición añadiendo que
mediante unos instrumentos de medida fiables y válidos
que puedan certificarla. TABLA 1
Con el apoyo de la Educational Comission for Foreing Medi-
cal Graduates (ECFMG) del National Board of Medical Exa- Proyectos sobre evaluación de las competencias clínicas
miners (NBME) de Estados Unidos y el Centre d’Évaluation 1994-2006
des Sciences de la Santé de l’Université Laval de Quebec Pregrado Proyectos (n) Total evaluados
(Canadá), comenzamos a conocer la experiencia internacio-
Medicina (ECC) 16 897
nal en cuanto a la aplicación de las técnicas de ECC3-8 y a in- Medicina (ECOE) 64 4.153
corporarlas progresivamente a nuestro medio educativo, es- Enfermería (ECC) 4 255
tableciendo nuestro propio marco conceptual y metodológico Enfermería (ECOE) 33 1.856
Seminarios paciente-monitor 21 1.471
en una guía de proyectos de ECC9,10. Fruto de este trabajo,
Posgrado
en enero de 1994 se realizó, en colaboración con el ECFMG,
el primer proyecto de ECC diseñado para los estudiantes del Valoración formativa residentes Diversos proyectos No cuantificados
de medicina de familia
último curso de la carrera11. Desde entonces se inició una in- y comunitaria
vestigación sistemática y en los años posteriores se diseña- Certificación y acreditación
ron proyectos más complejos, hasta que las pruebas de ECC profesional
adquirieron el formato actual llamado evaluación clínica ob- ECOE de medicina interna, 53 1.201
jetiva y estructurada (ECOE). Los proyectos de ECOE de las medicina de familia
y comunitaria, pediatría,
geriatría, neonatología,
matronas y análisis clínicos
Correspondencia: Dr. J. M. Martínez Carretero. Técnico en transporte sanitario 6 4.670
Subdirección. Institut d’Estudis de la Salut. Sistema de incentivación Elaboración
Roc Boronat, 81-95. 08005 Barcelona. España. y promoción profesional documento 1997
Correo electrónico: jmartinezcarre@gencat.net Total 197 14.503
Recibido el 25-4-2007; aceptado para su publicación el 25-5-2007. ECC: evaluación de la competencia clínica; ECOE: evaluación clínica objetiva y estructurada.
Med Clin (Barc). 2007;129(20):777-84 777

2. KRONFLY RUBIANO E ET AL. EVALUACIÓN DE LA COMPETENCIA CLÍNICA DE LAS FACULTADES DE MEDICINA DE CATALUÑA, 1994-2006: EVOLUCIÓN
DE LOS FORMATOS DE EXAMEN HASTA LA EVALUACIÓN CLÍNICA OBJETIVA Y ESTRUCTURADA (ECOE)
TABLA 2
Tabla de especificaciones utilizada el año 2006
Fase multiestaciones Fase escrita Total
Competencias
Puntos % Puntos % Puntos %
Anamnesis 289 13,8 0 0 289 13,8
Exploración física 213 10,1 0 0 213 10,1
Comunicación 185 8,8 0 0 185 8,8
Conocimientos 80 3,8 302 14,4 382 18,2
Juicio clínico 183 8,7 248 11,8 431 20,5
Habilidades técnicas 305 14,5 0 0 305 14,5
Investigación 0 0 40 1,9 40 1,9
Medicina preventiva 40 1,9 75 3,6 115 5,5
Relaciones interprofesionales 80 3,8 0 0 80 3,8
Ético-legales 25 1,2 35 1,7 60 2,9
Totales 1400 66,6 700 33,4 2.100 100
«la competencia se construye sobre una base de habilidades clínicas integra- tentando adaptar el diseño a los cánones internacionales. El cambio consistió
das, relacionales, de conocimiento científico y de desarrollo moral». en colocar 2 ruedas multiestaciones iguales y simultáneas que a partir del
Teniendo en cuenta tales conceptos, se aceptó, por consenso de un grupo año 2004 se ampliaron a cuatro. Estos cambios permitieron acortar el tiempo
de profesores clínicos escogidos por las facultades de medicina catalanas, de la prueba al admitir más alumnos cada día, aunque generaban un mayor
que la CC era el producto de la agregación de unas cualidades y atributos esfuerzo organizativo ya que cada rueda debía tener diferentes actores u ob-
que se separaban para facilitar la observación y la medición y que recibieron servadores entrenados de igual forma (fig. 1). Este reto organizativo buscaba
el nombre de componentes competenciales. La definición minuciosa de cada máximas fiabilidad, equidad y seguridad con una mayor eficiencia. El tiempo
uno de estos componentes fue realizada por este grupo de trabajo, quedando total es de 4 h, con un descanso general de 30 min en la mitad de la prueba.
recogida en un amplio documento6, y se llega al acuerdo de que éstas serían La organización de los proyectos requirió que el diseño de los casos, la selec-
las competencias que los estudiantes deberían haber adquirido al final de su ción y el entrenamiento de los pacientes simulados estandarizados, así como
período formativo. A partir de este documento de consenso, que anualmente los aspectos logísticos e informáticos de las pruebas, se llevaran a cabo me-
revisa el comité de prueba, se han ido extrayendo los contenidos de los exá- diante procesos consensuados y sistematizados, unificando la actuación de
menes. los integrantes del equipo. Estas formas sistemáticas de actuación quedaron
escritas en una serie de manuales respectivos que garantizaban la estructu-
ración de los proyectos y la obtención de resultados más objetivos9,10,19.
Diseño de la prueba
El diseño del formato de la prueba ECC se traduce en la puesta en escena de
Contenidos de las pruebas de ECC
una serie de situaciones clínicas simuladas pero representativas de la prácti-
ca real, presentadas de forma seriada en unos lugares físicos llamados esta- Las facultades de medicina o sus unidades docentes (UUDD) aportaban 1 o
ciones. En el período 1994-1997 el formato consistía en 10 estaciones donde 2 profesores (del ámbito hospitalario y de la atención primaria) para formar
se evaluaban los mismos componentes. A partir de 1998, con los formatos un comité de prueba con la tarea de elaborar cada año los contenidos. Los
ECOE, se incrementaron el número de estaciones y los problemas clínicos casos clínicos diseñados para esta prueba cumplían las pautas marcadas por
expuestos en ellas, permitiendo evaluar varios componentes competenciales el documento de consenso antes mencionado6, y queda reflejado en una ta-
simultáneamente; además, estos componentes variaban en las sucesivas es- bla de especificaciones el peso específico de cada uno de ellos en el conjun-
taciones, proporcionando al final de todo el recorrido el perfil competencial to de la prueba (tabla 2).
del candidato. Los diseños simulaban diferentes situaciones clínicas en 4 ámbitos de actua-
A partir de la edición de 2001, se abrió un segundo escenario de examen ción: atención primaria de salud (APS), planta hospitalaria, servicio de urgen-
(fase escrita) donde mediante preguntas de elección múltiple (PEM), 20 de cias hospitalario o el domicilio. Los problemas de salud representados pre-
ellas asociadas a imágenes clínicas, se valoraban los aspectos competencia- tendieron ser una muestra amplia de la práctica clínica y se seleccionaron
les que no se podían examinar plenamente en la fase multiestaciones (cono- con criterios de prevalencia y relevancia clínica.
cimientos e investigación, juicio clínico, actividades preventivas y aspectos Los instrumentos evaluativos que formaron parte de las estaciones fueron:
ético-legales). pacientes estandarizados (PE), maniquíes (M), imágenes clínicas (ImCI), pre-
En los años 2002 y 2003 se introdujeron en la fase multiestaciones unas no- guntas de respuesta corta (PRC), examen oral estructurado (EOE) e informes
vedades logísticas con la finalidad de mejorar la seguridad de la prueba in- clínicos (IC) (tabla 3).
Contenidos en el período 1994-1997. El formato evaluativo diseñado consta-
ba de 10 estaciones basadas en entrevistas con PE al final de las cuales los
estudiantes debían escribir sendos IC. Mientras tanto, los actores marcaban,
1.487 estudiantes en un cuestionario de evaluación sobre la anamnesis, la exploración física y
las habilidades de comunicación, las puntuaciones obtenidas por los candi-
datos durante la entrevista. Con este formato se evaluaban los componentes
de «anamnesis», «exploración física», la capacidad para realizar informes clí-
Rueda logística «A»: Rueda logística «C»: nicos y las habilidades de comunicación. Las tres primeras se agruparon en
• 14 casos clínicos • 14 casos clínicos el epígrafe «habilidades clínicas», y se realizó la evaluación de la comunica-
• 20 estaciones • 20 estaciones ción de forma separada.
Se utilizaron 2 cuestionarios de comunicación: el primero, usado de 1994 a
1996, fue el de la ECFMG, y a partir de 1996 y hasta la actualidad, se realiza
mediante el diseño de un cuestionario propio de evaluación cualitativa tipo
Likert, con 10 ítems (tabla 4). La valoración de cada ítem se hace con una
Fase multiestaciones escala gradual de 0 a 10 con 5 niveles que iban desde «nada», «poco», «re-
gular», «bastante» hasta «mucho».
Contenidos de las pruebas con formato ECOE (1998-2006). Desde 1998 has-
Rueda logística «B»: Rueda logística «D»: ta 2000 hubo un período de transición en que las pruebas se basaron sólo
• 14 casos clínicos • 14 casos clínicos en un diseño multiestaciones, aunque ya se adoptó el formato de evaluación
• 20 estaciones • 20 estaciones conocido internacionalmente como evaluación clínica objetiva y estructurada
(ECOE). En el año 1999 se añadieron los componentes «conocimientos» y
«ético-legales». En 2001 se incorporó también el componente «investiga-
ción» y la prueba pasó a desarrollarse en dos fases: la primera consistía en
Fase escrita un sistema multiestaciones cuyo formato finalmente quedó establecido en 14
Prueba simultánea en todos casos distribuidos en 20 estaciones. La segunda fase se compone de 150
PEM, 20 de ellas asociadas a imágenes clínicas.
los centros
Encuestas de opinión
Fig. 1. Organización logística definitiva de la evaluación clínica objetiva y es- Para valorar la opinión de los estudiantes se empleaba un cuestionario que
tructurada (ECOE) de pregrado de medicina. los estudiantes contestaban al acabar la fase multiestaciones; se preguntaba
778 Med Clin (Barc). 2007;129(20):777-84

3. KRONFLY RUBIANO E ET AL. EVALUACIÓN DE LA COMPETENCIA CLÍNICA DE LAS FACULTADES DE MEDICINA DE CATALUÑA, 1994-2006: EVOLUCIÓN
DE LOS FORMATOS DE EXAMEN HASTA LA EVALUACIÓN CLÍNICA OBJETIVA Y ESTRUCTURADA (ECOE)
TABLA 3
Componentes competenciales con el instrumento evaluativo usado en cada período
Instrumentos evaluativos
Componentes competenciales Período 1994-1997 Período ECOE (transición) 1998-2000 Período ECOE (formato final) 2001-2006
Anamnesis PE PE PE
Exploración física PE PE PE
Habilidades de comunicación PE PE PE
Conocimientos PEM, PRC, ImCl PEM, PRC, ImCl
Juicio clínico/plan de manejo EOE, PRC, ImCl, PEM EOE, PRC, ImCl, PEM
Habilidades técnicas Maniquí Maniquí
Metodología de investigación PEM
Actividades preventivas PRC, EOE PRC, EOE, PEM
Relación interprofesional/informe clínico IC IC IC
Aspectos ético-legales EOE, PRC, PEM
ECOE: evaluación clínica objetiva y estructurada; EOE: examen oral estructurado; IC: informes clínicos; ImCl: imágenes clínicas; M: maniquíes; PE: pacientes estandarizados; PEM: pre-
guntas de elcción múltiple; PRC: preguntas de respuesta corta.
por los aspectos organizativos, de contenido y sobre la capacidad de predic-
ción del examen sobre su futura actuación en la práctica real. La opinión de
Resultados generales
los estudiantes servía para detectar los aspectos mejorables y, también,
como un método para estudiar la validez de apariencia del proyecto.
Por cuestiones metodológicas, separaremos los resultados
en período inicial (1994 a 1997) y final (1998 a 2006):
Administración de las pruebas de ECC Período inicial (1994-1997). Mientras las habilidades de co-
En todas las ediciones, las pruebas se desarrollaron en las consultas externas municación mostraron una valoración ascendente en ese pe-
de los respectivos hospitales docentes o centros de atención primaria partici- ríodo desde una media (desviación estándar) del 64,6%
pantes. La primera prueba de ECC tuvo lugar en la Ciutat Sanitària i Univer-
sitària de Bellvitge (CSUB), en la que participaron 83 médicos internos resi- (11,1%) en 1995 hasta el 70,1% (6,9%) en 1997, el conjun-
dentes (proyecto Combell I) y 64 alumnos (proyecto Combell II). En los
sucesivos años se han incorporado todas las facultades de medicina de Cata- TABLA 4
luña, y desde 1994 se ha evaluado un total de 4.331 alumnos del último año
de licenciatura (tabla 5). Además, han participado otros estudiantes de terce- Listado evaluativo de comunicación
ro, cuarto y quinto curso hasta la totalidad de 5.050. Cabe destacar que
en 2006 la Facultad de Medicina de la Universidad Complutense también Apariencia cuidada, buena higiene, postura corporal correcta
participó en el diseño de la prueba y evaluó a 96 de sus estudiantes de sexto
curso. 0 1 2 3 4 5 6 7 8 9 10
Nada Poco Regular Bastante Mucho
Análisis de los resultados Escucha adecuada, no interrumpe, está atento, mira mientras habla
Período 1994-1997. El estudio de los datos se basaba en un análisis descrip- 0 1 2 3 4 5 6 7 8 9 10
tivo de las notas mediante los estadísticos básicos. Como aún en ese período
no se evaluaba el constructo competencia clínica, los valores finales refleja- Nada Poco Regular Bastante Mucho
ban por separado las habilidades clínicas básicas (anamnesis, exploración fí-
Cordialidad, realiza una buena recepción, sonríe
sica e informe clínico) y las habilidades de comunicación. En ambos casos
los resultados se expresaban con un porcentaje de puntos obtenidos sobre el 0 1 2 3 4 5 6 7 8 9 10
total posible.
Nada Poco Regular Bastante Mucho
Período 1998 en adelante: formato ECOE. Para el estudio de los resultados
se hizo un análisis descriptivo de las notas mediante los estadísticos descrip- Respeto, no critica ni hace juicios peyorativos
tivos básicos, donde la puntuación media de cada caso se expresaba en for- 0 1 2 3 4 5 6 7 8 9 10
ma de porcentaje (puntos obtenidos sobre el total posible por 100). Este cál-
culo se basa en la tabla de especificaciones general de las ECOE, en cuyo Nada Poco Regular Bastante Mucho
formato definitivo, a partir de 2002, se dispuso que la fase multiestaciones Tranquilidad, se mantiene sereno, con control emocional
contuviera el 66,6% de los puntos y la fase escrita, el 33,3%. Dado que cada
caso puntúa 100 puntos y hay 14 casos, el total de puntos posibles en la fase 0 1 2 3 4 5 6 7 8 9 10
multiestaciones es de 1.400 y en la fase escrita de 700.
Los estudios de correlación entre la fase multiestaciones y la escrita se empe- Nada Poco Regular Bastante Mucho
zaron a realizar a partir de 2002 mediante el estadístico del coeficiente de Optimismo, ve los aspectos positivos, intenta dar ánimos al paciente
correlación de Pearson.
Asimismo, se tenía en cuenta el cálculo de la fiabilidad o de la consistencia 0 1 2 3 4 5 6 7 8 9 10
interna mediante el coeficiente alfa de Cronbach, al comienzo sólo para la Nada Poco Regular Bastante Mucho
prueba multiestaciones y luego (a partir de 2001) para cada una de las fases
de la ECOE. Para la fase multiestaciones, según método habitual que consi- Contacto: el contacto físico a la hora de hacer exploraciones físicas o saludar es
dera los casos como ítems de la escala global, y en la fase escrita, las pre- amable
guntas son los ítems de la escala. Este análisis se establecía mediante el pro- 0 1 2 3 4 5 6 7 8 9 10
grama estadístico SPSS/PC+ para Windows versión 10.0 con el comando
Reliability. Nada Poco Regular Bastante Mucho
Interés, se interesa por las opiniones, creencias, valores, preocupaciones
o emociones del paciente
Resultados
0 1 2 3 4 5 6 7 8 9 10
Participantes Nada Poco Regular Bastante Mucho
Desde el año 1994 al 2006 se examinaron un total de 4.331 Expresión inteligible, se expresa de manera que se le entiende claramente
alumnos del último año de licenciatura pertenecientes a 8 0 1 2 3 4 5 6 7 8 9 10
UUDD de las facultades de medicina de Cataluña y la Uni- Nada Poco Regular Bastante Mucho
versidad Complutense de Madrid (tabla 5). La Facultad de
Empatiza delante de las emociones intensas del paciente (dolor, ansiedad, alegría),
Medicina de la Universitat Rovira i Virgili y la UD del Hospi- participa, se solidariza o las entiende para intentar reconvertirlas
tal de la Santa Creu i Sant Pau (Universitat Autònoma de
0 1 2 3 4 5 6 7 8 9 10
Barcelona) son los centros que más alumnos han aportado,
842 y 835 respectivamente. Nada Poco Regular Bastante Mucho
Med Clin (Barc). 2007;129(20):777-84 779

4. KRONFLY RUBIANO E ET AL. EVALUACIÓN DE LA COMPETENCIA CLÍNICA DE LAS FACULTADES DE MEDICINA DE CATALUÑA, 1994-2006: EVOLUCIÓN
DE LOS FORMATOS DE EXAMEN HASTA LA EVALUACIÓN CLÍNICA OBJETIVA Y ESTRUCTURADA (ECOE)
TABLA 5
Número de alumnos de las unidades docentes participantes por año
Centro Pruebas de ECC Pruebas de ECC con formato ECOE
1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 Total
CSU de Bellvitge-UB 147* 73 70 68 41 51 44 12 10 40 39 36 631
Hospital Clínic Provincial Barcelona-UB 16 16
Hospital Arnau de Vilanova, Lleida (UdL) 19 37 54 99 54 52 71 62 75 74 88 685
Hospital Sant Joan de Reus/CAP Sant Pere-URV 60 60 69 83 54 63 59 78 66 66 88 96 842
UD del Hospital de Sant Pau (UAB) 59 66 57 68 82 70 74 70 71 78 75 65 835
UD de la CSVH (UAB) 117 117 94 92 106 90 616
UD del HGTiP, Badalona (UAB) 50 44 62 50 40 49 295
UD del Hospital del Mar (UAB) 65 49 57 50 49 45 315
Hospital Clínico San Carlos. UCM 96 96
Total 147 208 215 231 246 286 231 429 429 422 451 471 565 4.331
*Se incluye a 64 estudiantes de sexto curso y 83 residentes de primer año.
CSU: Ciutat Sanitaria i Universitaria; CSVH: ciudad universitaria Vall d’Hebron; ECC: evaluación de la competencia clínica; ECOE: evaluación clínica objetiva y estructurada; HGTiP: Hospital
Universitario Germans Trias i Pujol; UCM: Universidad Complutense de Madrid; UD: Unidad Docente; URV: Univesitat Rovira i Virgili
TABLA 6
Resultados generales y por componentes de las pruebas de ECC 1994-1997
Componentes competenciales 1994 1995 1996 1997
(n = 64) (n = 172) (n = 215) (n = 174)
Anamnesis 69,6 (9,0) 63,40 (7,2) 62,81 (7,8) 60,07 (6,5)
Exploración física 48,9 (11,3) 39,49 (8,2) 44,24 (11,0) 51,2 (10,7)
Informe clínico 54 (7,2) 46,18 (5,2) 50,03 (6,5) 48,31 (6,2)
Habilidades clínicas 57,2 (7,0) 50,39 (5,0) 53,02 (6,5) 52,20 (5,3)
Habilidades de comunicación 3,4 (0,6) 64,60 (11,1) 67,88 (11,7) 70,09 (6,9)
Los datos se presentan como media (desviación estándar).
to de habilidades clínicas básicas (anamnesis, exploración fí- las puntuaciones generales fueron menores que en las
sica e informe clínico) tuvo unos resultados más erráticos, evaluaciones posteriores; los resultados fueron: 52,9%
que mostró la nota más alta en 1994, con un 57,2% (7,0%). (7,6%) en 1998, 52,3% (6,9%) en 1999 y 56,8% (5,8%)
La puntuación más baja se registró en 1995 con 50,4% en 2000. En las ediciones siguientes, las valoraciones me-
(5,0%), mientras que en 1996 y en 1997 los resultados obtu- dias obtenidas se fueron incrementando, y casi todas se
vieron valoraciones intermedias (tabla 6). La puntuación so- situaron por encima del 60%, manteniendo las desviacio-
bre habilidades de comunicación de 1994 se hizo con un nes estándar. El mejor resultado se obtuvo en 2004, con
cuestionario (escala de Likert de 1 a 5) diferente del que se 66,6% (8,8%), y la menor puntuación se registró en 2001
utilizó a partir de 1995, por eso la puntuación final (3,4) no se con 57,9% (5,8%); los resultados prácticamente habían
obtuvo sobre los 100 posibles; por lo tanto, su resultado no es ido mejorando progresivamente año tras año, pero como
comparable con el resto de los proyectos de ese período. se puede ver en la tabla 7 la tendencia se invierte desde
La tabla de resultados también muestra con detalle las pun- 2005, en que los resultados descienden a 64,3% (6,9%),
tuaciones obtenidas por los diversos componentes de las y en 2006, a 60,8% (7,8%).
habilidades clínicas, donde la anamnesis obtuvo las puntua- Por componentes, los resultados más altos se han registra-
ciones más altas en todas las ediciones, con resultados que do en las habilidades técnicas, investigación y ético-legal.
oscilan entre el 60 y el 70%; la exploración física fue la que Un factor común detectado en casi todas las ediciones es
menos puntuó en todos esos años (valores entre el 39 y el que los componentes con menor puntuación han sido ex-
51%), mientras que el informe clínico obtuvo valoraciones ploración física y relaciones interprofesionales (informes clí-
intermedias (46-54%). nicos); el primero se sitúa por debajo del 50% entre 1998 y
2000, para luego incrementar sus valores situándose por
Período con formato ECOE (1998-2006). Desde 1998 has- debajo del 60% en las últimas 6 ediciones. En cuanto a los
ta 2006 se examinó a 3.530 alumnos del último año de la informes clínicos, sus resultados se han mantenido en cifras
licenciatura. En las primeras 3 ediciones de este período, inferiores al 50% entre 2001 y 2006.
TABLA 7
Nota general y por componentes
Componentes 1998 1999 2000 2001 2002 2003 2004 2005 2006 Media Intervalo
Anamnesis 53,8 (8,3) 52,5 (9,0) 56,2 (7,7) 60,1 (7,8) 61,1 (9,2) 64,8 (8,4) 65,8 (9,9) 66,79 (8,38) 65,4 (9,95) 61,88 62,5-65,8
Exploración física 46,0 (12,3) 45,9 (10,1) 42,4 (8,3) 50,8 (9,6) 51,2 (8,8) 51,4 (11,0) 59,0 (12,2) 56,18 (12) 51,54 (12,63) 51,51 42,4-59
Informe clínico 73,1 (16,7) 47,2 (10,6) 58,3 (11,8) 45,1 (9,4) 47,8 (10,1) 48,6 (9,9) 46,3 42,58 (8,74) 41,3 (9,47) 48,1 41,3-58,3
Habilidades técnicas 69,5 (15,9) 72,9 (13,6) 74,7 (10,8) 72,2 (11,9) 73,9 (12,4) 71,8 (12,8) 72,6 (11,72) 67,76 (13,59) 71,91 67,7-71,6
Comunicación 68,6 (6,4) 69,5 (6,4) 71,6 (5,9) 67,8 (6,2) 67,0 (6,3) 61,4 (6,2) 64,4 (6,2) 64,7 (6,9) 64,76 (7,16) 66,03 61,4-74,7
Conocimientos 57,2 (10,7) 61,9 (9,1) 55,5 (8,9) 59,0 (8,7) 58,1 (10,4) 62,9 (11) 55,21 (8,56) 53,52 (9,09) 57,67 55,2-62,9
Juicio clínico 48,4 (12,5) 43,2 (10,2) 46,1 (7,9) 60,7 (8,4) 59,7 (8,4) 59,8 (8,9) 69,2 (11,4) 68,33 (8,6) 62,36 (9,94) 59,51 43,2-68,3
Preventivas 36,0 (8,0) 45,8 (10,9) 52,3 (12,0) 60,6 (11,6) 59,4 (11,4) 64,5 (13,0) 75,1 (13) 72,1 (10,28) 67,19 (12,51) 61,84 45,8-75,1
Ético-legal 62,4 (30,0) 72,7 (27,12) 79,0 (14,6) 71,5 (14,0) 62,4 (17,1) 82,0 (12,9) 67,23 (13,12) 64,19 (14,56) 70,16 62,4-8
Investigación 64,7 (17,8) 69,4 (17,8) 62,0 (22,5) 85,2 (15,7) 72,06 (22,1) 71,15 70,81 62-85,2
Total 52,9 (7,6) 52,3 56,8 (5,8) 59,7 (5,8) 60,8 (5,9) 61,8 (6,7) 66,6 (8,8) 64,32 (6,88) 60,83 (7,82)
780 Med Clin (Barc). 2007;129(20):777-84

5. KRONFLY RUBIANO E ET AL. EVALUACIÓN DE LA COMPETENCIA CLÍNICA DE LAS FACULTADES DE MEDICINA DE CATALUÑA, 1994-2006: EVOLUCIÓN
DE LOS FORMATOS DE EXAMEN HASTA LA EVALUACIÓN CLÍNICA OBJETIVA Y ESTRUCTURADA (ECOE)
TABLA 8
Resultados del coeficiente de fiabilidad alfa de Cronbach 80
en todos los períodos
Pruebas ECC de Cronbach 70
Total fase multiestaciones
1994 HC
Com 60
1995 HC 0,78
Com 0,78
1996 HC 0,80 50
Com 0,70
1997 HC 0,75
Com 0,80
40
Formato ECOE
1998 0,68
1999 0,81
2000 0,79
30
2001 0,82 20 30 40 50 60 70 80 90
2002 FME 0,80
FE 0,76 Total fase escrita
2003 FME 0,86
FE 0,83
2004 FME 0,90 Fig. 2. Correlación entre fase escrita y multiestaciones del año 2006.
FE 0,91
2005 FME 0,80
FE 0,76 0,78 en 1995, 0,7 en 1996, 0,8 en 1997 y 0,68 en 1998.
2006 FME 0,88
FE 0,81 De 1999 a 2006 se calculó un coeficiente general de fiabili-
Com: comunicación; ECC: evaluación de la competencia clínica; ECOE: evaluación clínica dad para todo el conjunto de la prueba que oscila entre
objetiva y estructurada; FE: fase escrita; FME: fase multiestaciones; HC: habilidades clínicas. 0,79 en 2000 y 0,89 en 2006 (tabla 8).
Encuestas de opinión de los estudiantes
Correlación entre fase multiestaciones y fase escrita (a partir
de 2002) La opinión general de la prueba durante todos los años que
se evaluó es muy satisfactoria. Como ejemplo, los resultados
Los estudios de correlación muestran unos valores extremos
correspondientes a las encuestas de la ECOE del año 2006,
que oscilan entre 0,38 de 2002 y 0,74 de 2003; el resto de
que reflejan la tendencia de los últimos años, muestran una
los estudios reflejó valoraciones intermedias (0,57 en 2004,
puntuación media general de 7,43 (1,02) sobre un máximo
0,56 en 2005 y 0,53 en 2006). En la figura 2 se muestra la
de 10. Los aspectos mejor valorados fueron los actores
correlación correspondiente a la prueba del año 2006.
(8,86), la organización y logística (8,84) y la información y el
apoyo recibido por parte de los organizadores (8,52). Los
Fiabilidad
aspectos peor valorados fueron la duración de la prueba
El coeficiente general de fiabilidad o confianza (alfa de (5,83) y la presencia de otras personas en el momento de la
Cronbach) de 1995 a 1998 se calculó para la parte de habi- prueba (5,83) (tabla 9).
lidades clínicas y de comunicación por separado. Así, el alfa
de Cronbach para las habilidades clínicas fue de 0,78 en
Discusión
1995, 0,8 en 1996, 0,75 en 1997 y 0,72 en 1998. El alfa
de Cronbach para las habilidades de comunicación fue de Desde la instauración del formato ECOE en 1998, los resulta-
dos generales tuvieron en cada edición una mejora progresiva
TABLA 9 hasta 2004, año en que se produce un discreto descenso,
aunque son susceptibles de mejora respecto a los estándares
Resultado de la encuesta a los estudiantes el año 2006 internacionales20,21. Estos datos pueden explicarse por:
Media (desviación – El grado de fiabilidad alcanzado en el formato evaluativo
estándar) del primer período, donde el aprendizaje y el perfecciona-
Actores 8,86 (0,39) miento del método centraban los objetivos de los técnicos
Organización 8,84 (0,66) de educación médica de esos años. Sin embargo, con los
Soporte 8,52 (0,52)
Comprensibilidad de las tareas a hacer 8,41 (0,24) formatos ECOE, los objetivos se centraron en la validación
Circuito comprensible 8,23 (0,24) metodológica de los instrumentos de medida que buscaron
Indicaciones de los observadores 7,99 (0,26) una fiabilidad y validez aceptables.
Coherencia con la práctica 7,89 (0,35)
Coherencia con los problemas 7,88 (0,42) – La consecución de una fiabilidad de contenido óptima
Información previa 7,50 (0,73) para validar resultados hizo incrementar el número de casos
Aconsejaría hacerla a otros 7,36 (0,41) y la complejidad progresiva de los formatos de examen, lo
Feedback positivo de formación 7,33 (0,59)
Dificultad 7,31 (0,31)
que influyó en la obtención de resultados más estables y vá-
Descansos 7,13 (0,23) lidos con los cuales inferir conclusiones.
Feedback positivo de la actuación 6,75 (0,29) – El impacto de los exámenes sumativos en la formación,
Número de situaciones 6,69 (0,32) con la creación o perfeccionamiento de los laboratorios de
Estrés 6,48 (0,77)
Expectativas de superación 6,40 (0,58) habilidades clínicas en algunos centros.
Presencia de visitantes 5,83 (0,64) – No se puede descartar tampoco un efecto aprendizaje de
Duración 5,83 (0,64) los propios candidatos que, por el desconocimiento inicial
Media 7,43 (1,02)
de este tipo de formatos de examen, supusieron toda una
Med Clin (Barc). 2007;129(20):777-84 781

6. KRONFLY RUBIANO E ET AL. EVALUACIÓN DE LA COMPETENCIA CLÍNICA DE LAS FACULTADES DE MEDICINA DE CATALUÑA, 1994-2006: EVOLUCIÓN
DE LOS FORMATOS DE EXAMEN HASTA LA EVALUACIÓN CLÍNICA OBJETIVA Y ESTRUCTURADA (ECOE)
novedad en su momento, pero que con el transcurrir de los Los estudios de correlación entre la fase multiestaciones y
años se han convertido en tradición; incluso en algunos fase escrita de la ECOE a partir de 2002 muestran valores,
centros se han venido incorporando evaluaciones parciales en general, intermedios o bajos porque están midiendo
con pacientes simulados para la formación en la obtención competencias diferentes con instrumentos diferentes. El va-
de historias clínicas y seminarios de habilidades de comuni- lor alto de 2003 no demuestra ninguna tendencia, sólo se-
cación, familiarizando a los alumnos de forma progresiva ñala un fenómeno aislado ocurrido en esta prueba; siempre
con las técnicas de ECC22. se puede esperar una cierta correlación aunque midan
– La estabilidad del formato obtenida a partir de 2002, con competencias diferentes. Si la correlación hubiera sido
la implantación de dos fases de examen (multiestaciones y siempre alta, no habría sido necesario hacer un diseño tan
escrita), y el logro de una mayor eficiencia en los procesos complejo con dos escenarios de examen, con uno de ellos
evaluativos, con la colocación de ruedas logísticas simultá- hubiera bastado para valorar la competencia. Este resultado
neas que permiten evaluar a más estudiantes en menos apoya la necesidad de conservar el diseño en las dos fases,
tiempo, consiguieron minimizar las influencias del sistema de con ello se refuerza la idea de mantener una evaluación
examen en los resultados, y se puede considerar que las fluc- más integral sobre la opción de llevar a cabo la prueba con
tuaciones obtenidas desde 2004 en adelante se deban atri- sólo una de las dos fases de forma aislada.
buir de forma predominante a la competencia de los alumnos Durante el curso 1996-1997 se realizó un estudio en el
y menos al sistema que los evalúa. Dicho con otras palabras, Hospital Sagrat Cor de Barcelona con el objetivo de demos-
desde que no se introdujeron más mejoras de formato (la últi- trar la validez de constructo del sistema multiestaciones
ma en 2004), los resultados reciben menos influencias de centrando la validación en pacientes simulados estandariza-
éste, lo cual permite atribuir de forma más neta la fluctuación dos. En el mencionado estudio, aprovechando la prueba di-
de resultados a la competencia de los candidatos. señada para los alumnos de sexto curso, se hizo pasar a un
grupo de estudiantes de tercero del mismo centro sanitario;
La fiabilidad ha experimentado un incremento progresivo a el resultado confirmó una diferencia significativa entre los
medida que los formatos se han hecho más complejos y alumnos de los dos cursos a favor de los de sexto. Esta for-
con más casos (formato tipo ECOE), e incluso cuando los ma de validación del método evaluativo empleado (validez
estudios de fiabilidad obligaron a estudiar por separado la de constructo) demostró ser sensible a los diferentes niveles
fase multiestaciones y la fase escrita de la ECOE. La menor de formación. Más adelante, con los formatos ECOE, se ha
fiabilidad del formato evaluativo del primer período, donde podido constatar la misma sensibilidad del instrumento de
predominaba la búsqueda de una herramienta adecuada medida en los exámenes realizados en la unidad docente
(frente a la intención de validarla de los años posteriores) del Hospital de Bellvitge (UB) en los cuales han participado
pudo provocar una mayor variabilidad de los resultados. alumnos de cuarto curso en las últimas tres ediciones32.
Para mejorar la fiabilidad se aumentaron el número de ca- Otras experiencias realizadas en el Hospital Sant Joan de
sos y la complejidad del formato de la prueba, lo que tam- Reus (Universitat Rovira i Virgili) demuestran la misma sen-
bién estabilizó y validó los resultados. La correlación de sibilidad al intercalar en la edición de la ECOE de 2003 a
cada caso clínico con el total de la prueba ayudaba a la de- varios residentes de medicina interna entre los alumnos de
tección de los casos que pudieran restar en el cómputo de sexto curso, al igual que en la Universidad de Lleida el año
la fiabilidad global, cuando se constataba su incremento al 2006 donde participaron estudiantes de quinto curso.
retirar el caso afectado. Este hallazgo obligaba a estudiar y Las encuestas de opinión, cuyos resultados coinciden con
analizar el diseño total o parcial de dicho caso: revisar los otros estudios33, han servido para estudiar los aspectos rela-
ítems, clarificar su redacción, comprobar su definición y es- cionados con la validez de apariencia. De ellas se ha podido
tudiar sus contenidos clínicos. Este tipo de análisis, junto destacar la alta valoración sobre el realismo dado por los ac-
con otros métodos, contribuía a la validación de los casos tores que han trabajado como pacientes simulados. De la
clínicos. No obstante, la fiabilidad conseguida en todas las interacción con ellos se ha podido decir de forma fidedigna
pruebas realizadas supera la mínima recomendada por los que la valoración obtenida de los estudiantes en esas condi-
estándares internacionales23-25. ciones de credibilidad clínica simulada pueden ser el reflejo
En lo que respecta al resultado por componentes, las rela- de cómo lo hubieran hecho en condiciones reales. Por el
ciones interprofesionales (informes clínicos) y la exploración hecho de que la interacción con pacientes reales no permi-
física fueron los componentes con medias más bajas, mien- te estandarizar procesos para evaluar a tantos candidatos,
tras que los componentes de habilidades técnicas, ético-le- el realismo dado a las simulaciones afianza las pruebas tipo
gales, investigación y las habilidades de comunicación, las ECOE que sí permiten estandarizarlos. La misma satisfac-
más altas. Esta tendencia se mantiene en casi todas las edi- ción se refleja en cuanto a la actuación de los observadores
ciones, que muestran un posible déficit formativo en los pri- en las estaciones de maniquíes, en cuanto a la organización
meros dos componentes (informe clínico y exploración físi- de las pruebas y la idoneidad del método evaluativo34. La
ca), lo que supone una información muy útil para las aceptación de este tipo de examen condiciona la motivación
facultades de medicina. Un perfil parecido se obtiene en y el grado de involucración de los estudiantes en la prueba e
otros países que utilizan las técnicas de ECC26-30. También induce a una conducta muy parecida a la de una situación
se ha de decir que gracias a estas técnicas se ha podido real; en estas condiciones los resultados son más creíbles.
detectar tales déficits que no se hubieran puesto de mani- La filosofía de un formato de evaluación basada en simula-
fiesto con los exámenes tradicionales31. Es importante des- ciones se fundamenta en la demostración de la capacidad
tacar que los resultados de los componentes ético-legal e para hacer frente a una serie de problemas clínicos repre-
investigación no pueden ser tomados en consideración de sentativos de la práctica real y no sólo en la comprobación
forma aislada, puesto que el número de instrumentos eva- de los conocimientos adquiridos, como se venía haciendo
luativos (casos clínicos y PEM) para valorar estos compo- tradicionalmente35. La resolución de problemas en cuanto a
nentes es limitado. Lo que se pretendía con ellos al incluir- proceso y resultado puede dejar constancia de que los co-
los era, ante todo, lograr un impacto educativo en estos nocimientos no sólo se tienen sino que son correctamente
temas, dentro de los supuestos clínicos simulados en las es- aplicados. De lo anterior se infiere que los resultados obteni-
taciones o en viñetas clínicas de la fase escrita. dos en este tipo de evaluación se han realizado sobre el
782 Med Clin (Barc). 2007;129(20):777-84

7. KRONFLY RUBIANO E ET AL. EVALUACIÓN DE LA COMPETENCIA CLÍNICA DE LAS FACULTADES DE MEDICINA DE CATALUÑA, 1994-2006: EVOLUCIÓN
DE LOS FORMATOS DE EXAMEN HASTA LA EVALUACIÓN CLÍNICA OBJETIVA Y ESTRUCTURADA (ECOE)
concepto de competencia clínica y no sobre un formato de mento de percepción muy elaborado con el cual una facul-
examen basado en asignaturas; es decir, no se evaluaban tad de medicina se debería dotar para obtener la imprescin-
programas docentes sino si los estudiantes eran o no com- dible información sobre la calidad de los médicos que for-
petentes para ejercer la profesión. ma. Gracias a este tipo de evaluación sumativa, una
Las consecuencias que en las facultades de medicina han institución puede demostrar que está proporcionando el
tenido los más de 12 años de aplicación de este tipo de eva- mejor capital humano posible para asegurar a los ciudada-
luaciones han sido muy variadas, pero podemos destacar: nos uno de los principales derechos fundamentales de toda
sociedad democrática: la salud. En ese sentido, y con el ne-
1. La colaboración institucional continuada entre el IES y las
cesario consenso, una ECOE puede llegar a convertirse en
facultades de medicina.
un instrumento certificador de la competencia profesional
2. La creación en el IES de una unidad especializada de
en el momento de otorgar la licenciatura de medicina.
asesoramiento (Unitat d’Avaluació de les Competències Clí-
Como se ha señalado antes, este tipo de prueba puede ser
niques-UACC) formada por un equipo multidisciplinario de
útil para la detección de fortalezas y de aspectos suscepti-
profesionales sanitarios, psicometristas, logísticos, informáti-
bles de mejora en el ámbito de la formación médica. Puede
cos y personal administrativo para los diferentes proyectos
aportar un punto de partida en la reflexión y, más tarde, en
de ECC en pregrado, posgrado y para la acreditación y certi-
la toma de decisiones en cuanto a la introducción de cam-
ficación profesional.
bios en los planes de estudios, centrándolos en competen-
3. La reflexión abierta sobre las competencias que debe te-
cias y resolución de problemas y no en asignaturas. De aquí
ner todo estudiante al acabar el período formativo y que se
se puede derivar una contribución en la mejora de los méto-
concretaron en consensos de definición de competencias
dos de enseñanza que establezca desde el pregrado no sólo
de cada facultad de medicina.
los aspectos de la competencia clínica y profesional, sino
4. La incorporación de competencias que no se impartían
también conceptos más amplios como el profesionalismo.
previamente a la implantación de este tipo de pruebas.
Con un instrumento de evaluación válido, fiable, factible y
5. El impacto en los métodos de enseñanza de la medicina,
aceptable por todas las partes, la información que se obtenga
al incorporar a la formación los instrumentos que se utilizan
de él servirá a las instituciones implicadas para justificar que
en la evaluación de la competencia clínica (pacientes simu-
la detección de necesidades se pueda traducir en planifica-
lados, maniquíes, banco de imágenes clínicas, simulaciones
ción e inversión en proyectos de mejora en el ámbito de la
por ordenador, etc.), se logra mejorar la formación de los
educación médica. La innovación de la formación en las fa-
estudiantes en los llamados laboratorios de habilidades clí-
cultades de medicina a la luz de estos métodos permite abrir
nicas basadas en simulaciones36. De esta forma, los planes
múltiples frentes, muchos de los cuales pueden ser de gran
de estudios se pueden modificar al complementarlos con el
complejidad, lo cual hará imprescindible aprender y profundi-
uso de este tipo de laboratorios junto con la práctica con
zar en la pedagogía de la medicina. Para ello sería aconseja-
pacientes reales.
ble la creación de unidades de educación médica en las uni-
6. La combinación progresiva, en algunos centros, de los
versidades, cuya función fuera el fomento de la innovación,
métodos expositivos con los métodos más interactivos en los
con la oportuna formación de los formadores, y la apertura de
laboratorios de habilidades ha generado en los alumnos una
nuevas posibilidades de investigación en ese campo.
gran aceptación de este tipo de formato educativo, dado
En el camino hacia la profundización de la pedagogía médi-
que el eje central del aprendizaje se desplaza hacia el fo-
ca, la creación o la potenciación de los laboratorios de habi-
mento de la reflexión, durante o después de la interacción
lidades contribuirán al cambio en los métodos de enseñan-
con los instrumentos docentes mediante la retroacción efec-
za por parte de los docentes y la aceptación por parte de los
tiva de los tutores.
alumnos de un formato más participativo en su formación.
7. Se ha podido proporcionar a las facultades de medicina
una devolución efectiva (feedback) para que puedan tener
En un horizonte más lejano, incluso se puede aspirar a la in-
una información válida sobre los puntos fuertes a consolidar y
vestigación y validación sobre métodos estructurados de eva-
los puntos débiles a corregir de forma general o de forma con-
luación formativa, donde todas las ventajas explicadas de las
creta en algunos casos. La intención en un futuro es llegar a
técnicas de ECC se puedan ir aplicando durante todo el ciclo
ofrecer unos informes individualizados37 a fin de que cada es-
formativo y no sólo al final. Este hecho podría llegar a aportar
tudiante conozca su propio perfil competencial y demande por
unas ventajas adicionales a la evaluación, al unificar la ob-
propia iniciativa o por parte de los tutores la corrección de
servación que conlleva todo examen con la oportunidad de
aquellos aspectos formativos deficitarios detectados.
aprendizaje en el momento o poco después de la interacción
8. Se pudo ir abriendo múltiples líneas de investigación en
con el problema planteado. Son múltiples las estrategias a
el ámbito de la educación médica, al comienzo centradas
seguir y muchos los métodos útiles para fomentar la reflexión
en la compleja validación de los instrumentos evaluativos,
conjunta o individual de los estudiantes con los tutores; con
para luego ir ofreciendo múltiples posibilidades en cuanto a
esta amplia gama de posibilidades será conveniente lograr al
posibles nuevos formatos en la evaluación formativa.
final el diseño de algún formato estructurado.
9. Todos los proyectos de ECC han empezado a desempeñar
Es evidente que el rol del formador ha de ir cambiando, te-
un papel destacado en el contexto de la mejora de la calidad
niendo que aceptar primero y aprender después a hacer ro-
de las facultades de medicina, una iniciativa surgida en el
tar su eje de relación pedagógica con los alumnos desde
seno de las comunidades europeas38, continuadas en los es-
una asimetría y unidireccionalidad hacia un acercamiento
tados miembros y que se ha traducido en Cataluña en la cre-
en las formas y en los contenidos, para incentivar el bino-
ación de la Agencia para la Calidad del Sistema Educativo
mio enseñanza-aprendizaje desde la interacción mutua e
Universitario de Cataluña39 y en España con la Agencia Na-
involucrar al estudiante en su propia formación. Ya no será
cional de Evaluación de la Calidad y Acreditación (ANECA).
desde la lejanía de un examen al final de un camino con la
La incorporación y el manejo de las técnicas de ECC han obtención de un resultado, sino mediante la supervisión, el
empezado a abrir grandes posibilidades en el ámbito de la intercambio, la reflexión y las correcciones de actuación du-
educación médica en España. El principal y más inmediato rante un largo recorrido cómo los alumnos irán asumiendo
beneficio de una ECOE es que puede llegar a ser un instru- los conocimientos, habilidades y valores de la profesión. La
Med Clin (Barc). 2007;129(20):777-84 783

8. KRONFLY RUBIANO E ET AL. EVALUACIÓN DE LA COMPETENCIA CLÍNICA DE LAS FACULTADES DE MEDICINA DE CATALUÑA, 1994-2006: EVOLUCIÓN
DE LOS FORMATOS DE EXAMEN HASTA LA EVALUACIÓN CLÍNICA OBJETIVA Y ESTRUCTURADA (ECOE)
transformación de un estudiante en un profesional de la 12. Martínez Carretero JM, Blay C, Descarrega R, Iruela A, Kronfly E, Barragán
N, et al. Clinical Skills Assesment: A strategy for improving undergraduate
medicina es la razón de ser de toda facultad de medicina. and postgraduate medical education in Catalonia (Spain). Proceedings of
Con los suficientes elementos de juicio relativos a que dicha the 8th. Ottawa Conference on Medical Education. Philadelphia; July, 1998.
función es susceptible de mejora, y las herramientas que 13. Kronfly E, Gràcia L, Blay C, Pujol R, Artigas V, Prat J, et al. Clinical skills as-
podrían hacer efectivo ese cambio, no hay justificación para sessment in medicals schools in Catalonia (Spain), 1999. Proceedings of
the 9th. Ottawa Conference on Medical Education. Ottawa; March, 2000.
eludir el esfuerzo. Si en todas las instancias de la adminis- 14. Pujol R, Gudiol F, Gómez JM, Ariza J, Carratalà J, Mitjavila F, et al. Clini-
tración sanitaria y en las instituciones académicas se reco- cal skills assessment (CSA) at the University of Barcelona. School of Me-
nocen estas prioridades, sólo con una colaboración institu- dicine. Bellvitge Hospital Unit. Proceedings of the 9th. Ottawa Conferen-
ce on Medical Education. Cape Town; March, 2000.
cional a todos los niveles se podrán ir encontrando las 15. Kronfly E, Gràcia L, Blay C, Majó J, Prat J, Castro A, et al. Competences
oportunidades para salvar los obstáculos estructurales, de assessment at medical schools in Catalonia (Spain), 2001. Proceedings of
organización y de inversión que dificultan llevar a cabo the 10th. Ottawa Conference on Medical Education. Ottawa; March, 2002.
16. Kronfly E, Viñeta M, Majó J, Prat J, Castro A, Bosch JA, et al. Clinical
aquello que es evidente que hay que hacer. Skills Assessment at Medical Schools in Catalonia (Spain) in the year
Consideramos que el espacio europeo de educación supe- 2003. Proceedings of the 11th. Ottawa Conference on Medical Educa-
rior previsto en la Declaración de Bolonia se ha de contem- tion. Barcelona; July, 2004.
plar como un reto pero también como una oportunidad para 17. Kronfly E, Gràcia L, Majó J, Prat J, Castro A, Bosch JA, et al. Competen-
ces assessment at medical schools in Catalonia (Spain), 2001. Procee-
mejorar la formación en nuestras facultades de medicina. dings of the Association for Medical Education in Europe (AMEE) Confe-
Asimismo, la Ley de Ordenación de las Profesiones Sanita- rence. Lisbon; Setember, 2002.
rias (LOPS) del año 2003, prevé que la prueba de acceso a 18. Martínez Carretero JM, Blay C, Kronfly E, Solà M, Gràcia L, Descarrega
R, et al. From knowledge-based to reflective learning in health care edu-
la formación médica especializada MIR contemple la eva- cation: Catalonia 1993-2002. Proceedings of the AMEE Conference. Lis-
luación no sólo de los conocimientos, sino también de las bon; Setember, 2002.
habilidades y actitudes. En este contexto, una prueba simi- 19. Unitat d’Avaluació de les Competències Clíniques. Control de qualitat de
l’ACOE de Pregrau de Medicina: Institut d’Estudis de la Salut, 2002.
lar a la ECOE puede desempeñar un papel relevante. 20. Wilkinson TJ, Newble DI, Wilson PD, Carter JM, Helms RM. Develop-
ment of a three-centre simultaneous objective structured clinical exami-
nation. Med Educ. 2000;34:798-807.
Agradecimientos 21. Wilkinson TJ, Newble DI, Frampton CM. Standard setting in an objective
structured clinical examination: use of global ratings of borderline perfor-
Reconocemos también la autoría de los responsables de la ECOE mance to determine the passing score. Med Educ. 2001;35:1043-9.
de pregrado en algunas de sus ediciones durante los 13 años que 22. Descarrega R, Castro A, Solà R, Vidal F, Cartanyà A, Donado A, et al. Educa-
se presentan en el artículo y que no se han podido incluir debido a tional methods in medical school: a strategy to improve. Proceedings of the
9 th Ottawa Conference on Medical Education. Cape Town; March, 2000.
la limitación de autores: María Teresa Viñeta Ruiz, Carles Blay Pue- 23. Ruiz E, Florensa E, Cots JM, Sellarès J, Iruela A, Blay C, et al. Primeras
yo y Ramón Descarrega Queralt. experiencias en evaluación de la competencia clínica de los médicos de
Agradecemos la participación de las unidades docentes de las facul- familia de Catalunya. Aten Primaria. 2001;28:105-9.
tades de medicina con sus responsables: Salvador Benito (UD Hospi- 24. Van der Vleuten C, Swanson D. Assessment of clinical skills wit standar-
tal Sant Pau), Josep Lluís López Colomés (UD Hospital del Mar), Ra- dized patients: state of the art. Teach Learn Med. 1990;2:58-76.
mon Pujol Farriols (UD Hospital de Bellvitge), Manuel Portero (UD 25. Brailovsky CA, Grand’Maison P, Lescop J. Construct validity of the Québec
Hospital de Lleida), Antoni Castro Salomó (UD Hospital Sant Joan de Licensing Examination SP-Based OSCE. Teach Learn Med. 1997;9: 44-50.
Reus), Agustin Urrutia de Diego (UD Hospital Germans Trias i Pujol 26. Sutnick AI, Stillman PL, Norcini JJ, Friedman M, Regan MB, William RG,
et al. ECFMG assessment of clinical competence of graduates of foreign
de Badalona), Josep Àngel Bosch Gil (UD Hospital Vall d’Hebron de medical schools. Educational Comission for Foreign Medical Graduates.
Barcelona) y miembros de la Facultad de Medicina de la Universidad JAMA. 1993;270:1041-5.
Complutense de Madrid: Jorge García Seoane, Elpidio Calvo y Jesús 27. Ziv A, Ben David MF, Sutnick AI, Gary NE. Lesson learned from six years
Millán, así como a los miembros de los diferentes comités de prueba. of international administration of the ECFMG’s standardized patient-ba-
Un agradecimiento general a los actores, observadores y logísticos y sed clinical skills assessment. Acad Med. 1998;73:84-91.
un agradecimiento especial a Rosa María Ojeda Gutiérrez, responsa- 28. Pierre RB, Wierenga A, Barton M, Thame K, Branday JM, Christie CD.
ble administrativa de la ECOE y a los responsables de la logística e in- Student self-assessment in a paediatric objective structured clinical exa-
formática: Carles Pila Toledo y Xavier Crespo Crespo. mination. West Indian Med J. 2005;54:144-8
29. Power DV, Harris IB, Swentko W, Halaas GW, Benson BJ. Comparing ru-
ral-trained medical students with their peers: performance in a primary
care OSCE. Teach Learn Med. 2006;18:196-202.
REFERENCIAS BIBLIOGRÁFICAS
30. Frohna JG, Gruppen LD, Fliegel JE, Mangrulkar RS. Development of an
1. Martínez Carretero JM. Los métodos de evaluación de la competencia evaluation of medical student competence in evidence-based medicine
profesional: la evaluación clínica objetiva estructurada (ECOE). Educ using a computer-based OSCE station. Teach Learn Med. 2006;18:267-72.
Med. 2005;8:18-22. 31. Stillman PL, Regan MB, Swanson DB, Case S, McCahan J, Feinblatt J,
2. Rozman C. Aspectes de l’educació mèdica per l’adquisició de la com- et al. An assessment of the clinical skills of fourth-year students at four
petència clínica. Rev R Acad Med. Catalunya. 1995;10:5-14. New England medical schools. Acad Med. 1990;65:320-6.
3. Van der Vleuten CPM. The assessment of professional competence: de- 32. Kronfly E, Delàs J, Juncosa S, Blay C, Gràcia L, Martínez Carretero JM.
velopments, research and practical implications. Adv Health Sci Educ. El proyecto «COMCOR». Análisis de un método basado en pacientes si-
1996;1:41-67. mulados, para la evaluación de estudiantes de tercer curso de medicina.
4. Kane MT. The assessment of professional competence. Eval Health Prof. Educ Med. 2001;4:187-93.
1992;15:163-82. 33. Tweed M, Cookson J. The face validity of a final professional clinical exa-
5. Epstein R, Hundert E. Defining and assessing professional competence. mination. Med Educ. 2001;35:465-73.
JAMA. 2002;287:226-35. 34. Verhoeven B, Hamers J, Scherpbier A, Hoogenboom R, Van der Vleuten
6. Grup de Formació i Avaluació de la Competència Clínica. Competències C. The effect on reliability of adding a separate written assessment com-
de pregrau i instruments avaluatius. Barcelona: Institut d’Estudis de la ponent to an objective structured clinical examination. Med Educ.
Salut; 1997. 2000;34:525-9.
7. Harden R, Stevenson M, Wilson Downie W, Wilson G.M. Assessment of 35. Epstein RM. Assessment in medical education. N Engl J Med. 2007;
Clinical Competence using Objective Structured Examination. Br Med J. 356:387-96.
1975;1:447-51. 36. Descarrega-Queralt R, Castro-Salomó A, Nogués-Ciuraneta S, Vidal-Mar-
8. Newble DI. The evaluation of clinical competence. Med J Aust. 1976;2: sal F, Mas N, Bugés C, et al. Simulated patient instructor: Is it useful to
180-3. learn competencies? Proceedings of the 12 th Ottawa Conference on
9. Grup de Formació i Avaluació de la Competència Clínica. Guía D’elabo- Medical Education. New York City; May, 2006.
ració de casos amb pacients estandarditzats. Barcelona: Institut d’Estu- 37. Black NMI, Harden RM. Providing feedback to students on clinical skills
dis de la Salut; 1995. by using the Objective Structured Clinical Examination. Med Educ.
10. Grup de Formació i Avaluació de la Competència Clínica. Manual de se- 1986;20:48-52.
lecció i entrenament de pacients estandarditzats. Barcelona: Institut 38. Propuesta de Recomendación del Consejo relativa a la cooperación eu-
d’Estudis de la Salut; 1996. ropea en materia de garantía de calidad en la enseñanza superior. Diario
11. Gómez Sáez JM, Pujol Farriols R, Martínez Carretero JM, Blay Pueyo C, Oficial de las Comunidades Europeas (98/C19/11).
Jaurrieta Mas E, Friedman M, et al. El proyecto COMBELL. Un análisis 39. Rauret, G. La Agencia para la Calidad del Sistema Universitario en Cata-
de la competencia clínica médica. Med Clin (Barc). 1995;105:649-51. luña. Educ Med. 2001;4:45-51.
784 Med Clin (Barc). 2007;129(20):777-84