LA EVALUACIÓN DE COMPETENCIAS: UN MARCO METODOLÓGICO


                                                                   Mtra. María Elena Rivera Heredia
                                                                           Universidad Simón Bolívar
                                                            Mtro. Jose Alberto Bazaldua Zamarripa
                                                   Instituto de Estudios Superiores de Tamaulipas
                                                                   Dr. Iván Matthew Rovira Gutiérrez
                                                        Instituto Universitario del Estado de México
                                                            L.A.E. Rafael Gerardo Conde Camacho
                                                                   Universidad Realística de México
                                                                       Mtro. Jaime Rodríguez Gómez
                                                                       Universidad de Montemorelos


Resumen
A partir de la necesidad de diversas IES de obtener retroalimentación sobre la formación que
imparten, se propone el modelo de competencias para realizar un seguimiento de egresados.
Primeramente se analizan los factores determinantes de la formación de profesionistas y se revisa
el concepto de evaluación para estructurar una definición de la evaluación de competencias,
señalando sus ventajas sobre la evaluación tradicional. Se enfatiza su fundamentación en dos
tipos de evidencias, la directa y la indirecta, describiendo los pasos de una estrategia y diversos
métodos para evaluar las competencias tales como la simulación, el análisis de expediente, la
evidencia extraída de situaciones de trabajo y la entrevista evaluativa. Se describen las
experiencias en México de la evaluación de competencias laborales por CONOCER y de
competencias profesionales por el CENEVAL. Se revisan diversos instrumentos o metodologías
para la evaluación de competencias profesionales o laborales utilizados en diferentes países, y el
empleo de una escala de calificación en la mayoría de los casos. Se concluye con un análisis
comparativo de las ventajas y desventajas del autoreporte, la entrevista y la evaluación de
evidencias como alternativas para dicha evaluación, y se propone el uso del autoreporte para
evaluar competencias genéricas en el seguimiento de egresados.



INTRODUCCIÓN
       El reto educativo en México es muy grande: proporcionar servicios
educativos de calidad, con equidad y pertinencia (Programa Nacional de
Desarrollo Educativo 2001-2006). Para lograr dicho reto son necesarios múltiples
procesos, uno de ellos, fundamental para la mejora continua es la evaluación.
Heverly y Fitt (1994) señalan que las instituciones educativas que no están
autoevaluando su efectividad serán evaluadas por agentes externos y que esto se
hará en base a las competencias desarrolladas por sus egresados.




                                                                                                  1
Ante esta demanda se considera necesario que las universidades realicen
un seguimiento de sus egresados en base a un esquema de competencias para
contar con una retroalimentación a sus programas actuales y como insumo para
los programas a desarrollar. El uso del modelo de competencias para el
seguimiento de egresados resulta válido aun cuando los planes de estudio no lo
tomen como base, ya que cualquier perfil de egreso incluye los principales
elementos que conforman las competencias: conocimientos, habilidades y
actitudes. Por lo tanto, el presente trabajo tiene como objetivo realizar una revisión
de las experiencias nacionales e internacionales en evaluación de competencias
para proponer un esquema general de evaluación que sirva de base para que
cada universidad interesada en este objetivo lo ajuste a sus propias necesidades.
      Antes de considerar algunos fundamentos teóricos en la evaluación de
competencias, es necesario tener en mente que el proceso de formación de los
egresados está influido por diversos factores contextuales, los cuales se pueden
observar en la figura 1.


Figura 1. Contexto para realizar la formación de los egresados.


                            Deber ser de    Plan de
                                                            Necesidades     Modelo
                            la Educación   Desarrollo
                                                             del sector   Educativo de
                                           Nacional
                                                              laboral       las IES



                                       PLANES Y PROGRAMAS DE ESTUDIO

                                           ESTUDIANTE ACTUAL
                                                        Y
                                                EGRESADO


                           COMPETENCIAS EDUCATIVAS, PROFESIONALES Y LABORALES



      .          Nota. Desarrollado por Rivera Heredia para el presente documento


Desde una perspectiva sistémica, las competencias educativas, profesionales y
laborales de los egresados de las distintas instituciones de educación superior van
transformándose al paso del tiempo, por lo que éstas pueden ser diferentes en sus
egresados de distintas generaciones. Son los planes y programas de estudio el
medio a través del cual se van desarrollando los perfiles de conocimientos,



                                                                                         2
habilidades y actitudes que, en su conjunto, constituyen las competencias. Para la
construcción de dichos planes y programas de estudio, en su primer contexto se
contempla el “Deber Ser” de la Educación, su interrelación con el “Plan Nacional
de Desarrollo” y con las necesidades y requerimientos del “Sector Laboral” y con
la filosofía y misión de cada institución de Educación Superior aplicados en su
“Modelo Educativo”.
Con respecto a las necesidades del sector laboral es importante considerar las
diferentes expectativas que puedan tener las empresas pequeñas y micros de las
medianas y grandes y el posicionamiento que puedan tener en ellas los egresados
de la propia universidad en relación con los de otras universidades.


CONCEPTO DE EVALUACIÓN DE COMPETENCIAS
      Conviene aclarar que medición y evaluación no se refieren a lo mismo.
Brown (2000) comenta que la medición únicamente responde a la pregunta:
¿cuánto?, proporcionando una descripción de la ejecución de una persona sin
brindar información sobre el valor de dicha ejecución. Sin embargo, cuando la
medición es interpretada, se le atribuye un cierto valor. En este punto se llega
más allá de la descripción. Es así como al evaluar se intenta responder a la
pregunta: ¿hasta qué punto es bueno? .
      La evaluación no es algo que se hace una vez y se acaba para siempre.
En muchos casos, es un proceso progresivo, incluso un proceso cotidiano, para el
conocimiento de la situación actual, la toma de decisiones o para la solución de un
problema (Trull y Phares, 2003).


Para los autores del presente trabajo, la evaluación de competencias es un
proceso de recolección de evidencias explícitas sobre el desempeño profesional,
laboral o educativo, con el propósito de formarse un juicio a partir de un criterio o
referente estandarizado para identificar aquellas áreas de desempeño que han
sido desarrolladas y aquellas que requieren ser fortalecidas.




                                                                                   3
Algunas diferencias con respecto a la evaluación tradicional de acuerdo con
Vargas (2001) son:
   •   Su base en el juicio “competente” o “aún no competente”.
   •   Su sustento en evidencias del desempeño real, no en preguntas sobre lo
       que se sabe.
   •   Su consideración como un proceso más que un momento.


El propósito de la evaluación consiste en realizar juicios acerca del desempeño
individual (Whitear, 1997, p. 177). El conocimiento es sólo un aspecto del
desempeño ya que el desempeño competente requiere la habilidad de aplicar el
conocimiento de manera adecuada. Para evaluar una competencia es necesario
evaluar lo que se sabe, lo que se hace y cómo se hace. “Para desempeñar tareas
confiables, se debe entender el conocimiento que soporta sus acciones, y sus
acciones deben ser apropiadas para el establecimiento en el cual se aplican”
(p.178), de ahí que un sistema de evaluación deberá hacer juicios confiables sobre
si los individuos cumplen con las normas de desempeño en el rango requerido de
contextos o situaciones.
       La evaluación de competencias toma en cuenta criterios de desempeño, por
lo que no se compara al sujeto con otros, sino en función a si es competente o
todavía no es competente para determinada tarea o función.


En Australia, al igual que en otros países de habla inglesa, se han desarrollado
estándares de evaluación basados en competencias, los cuales inicialmente se
pensaban que eran útiles únicamente para las ocupaciones de nivel medio, sin
embargo, Gonczi (1994) señala que éstos se pueden utilizar tanto en ocupaciones
como en profesiones, llegando a ser evaluaciones mas válidas que las de
aproximaciones tradicionales. Menciona las siguientes ventajas del enfoque de
competencias:
   •   Permite incorporar un rango mayor de atributos en la descripción de las
       competencias de muchas profesiones




                                                                                4
•   Se describe públicamente lo que deben hacer los profesionistas
       competentes y lo que se puede esperar de ellos
   •   Proporciona metas mas claras para quienes imparten la educación
       profesional
   •   Clarifica a los aprendices lo que se espera que logren
   •   Da bases para elaborar procedimientos mas sólidos de evaluación de las
       habilidades profesionales.


Para evaluar competencias se debe tener muy claro para qué se va a evaluar, qué
se va a evaluar y cómo se hará.


TIPOS DE EVIDENCIA
La evaluación exitosa depende de la evidencia presentada, la cual podría provenir
de su experiencia anterior, de su desempeño actual, o de un cuestionario. Los
criterios para evaluar la calidad de la evidencia son: validez, autenticidad,
confiabilidad, suficiencia, actualidad, transferibilidad y claridad de la presentación
(Whitear, 1997).
       Existen dos formas de evidencia a recolectar: evidencia directa (constituida
por bienes y servicios producidos por el candidato) y evidencia indirecta (evidencia
e información de apoyo respecto del candidato). La evidencia puede ser
recopilada en un ambiente real o en una situación de formación, capacitación o
simulación. Los productos de evidencia pueden ser videos, grabaciones,
ejercicios, reportes, proyectos terminados, entre otros (Fletcher, 2000).


Tabla 1. Tipos de evidencias para evaluar competencias

                   TIPOS DE EVIDENCIA                           EJEMPLOS




                                                                                    5
Productos       o      artefactos
                              Ejemplos del trabajo real   producidos
             Evidencia de
                              Observación del trabajo     Planes y programas de trabajo
             desempeño
                              Simulación del trabajo      Informes o documentos
                                                          Diseños y dibujos
EVIDENCIA
                                                          Programas de computación
 DIRECTA
                                                          Datos financieros
             Evidencia        Cuestionarios               Cartas de clientes, proveedores,
             suplementaria    Pruebas fuera del empleo    etc.
                                                          Evaluaciones de desempeño
                                                          Bitácoras
          Testimonios
EVIDENCIA Testimonio presencial
INDIRECTA Material publicado
          Certificaciones


ESTRATEGIAS PARA LA EVALUACIÓN DE COMPETENCIAS
       No existe un método exclusivo para evaluar las competencias, señalan
Norman, Watson, Murrells, Calman y Redfern (2002), sino una amplia estrategia
de medición que incluye múltiples métodos para asegurar que las personas hayan
adquirido el complejo repertorio de conocimientos, habilidades y actitudes que se
requieren para demostrar competencias.
       Cuando se pone énfasis en la ejecución, Gonczi (1994) recomienda tres
principios para la evaluación de competencias:
   •   Los métodos de evaluación deben ser usados en una forma integrada, es
       decir, que combinen la evaluación de conocimiento, comprensión, solución
       de problemas, habilidades técnicas, actitudes y ética, aunque se reconoce
       que   en     algunos   casos    los    conocimientos       se    pueden       evaluar
       independientemente de la ejecución.
   •   Se deben elegir los métodos que sean mas directos y relevantes para lo
       que está siendo evaluado.
   •   Mientras más amplia es la evidencia de la que se infiere la competencia,
       mas se podrá generalizar la ejecución a otras tareas.


Como estrategia para evaluar las competencias de una profesión plantea los
siguientes pasos:




                                                                                              6
1. Definir y agrupar los componentes de cada competencia y los criterios de
      ejecución, por ejemplo (ver tabla 2), la competencia para recopilar, analizar
      y evaluar información que requiere desarrollar un abogado.


Tabla 2. Ejemplo de definición, componente y criterio de una competencia para un
abogado
 COMPETENCIA       COMPONENTE                                 CRITERIO
                                       Ayuda al cliente a desarrollar una historia y a obtener la
                                       declaración inicial
 Recopilar,
                   Tomar               Identifica la naturaleza del problema, lo que el cliente
 analizar y
                   instrucciones del   desea lograr, el relato del cliente de los hechos
 evaluar
                   cliente             relevantes, el punto de vista del opositor y de terceras
 información
                                       partes
                                       Señala al cliente vacíos e inconsistencias


   2. Analizar los métodos de evaluación disponibles para determinar cuales
      pueden realizar una evaluación mas integrada y directa
   3. Valorar los métodos de acuerdo a aspectos prácticos como tiempo y costo
   4. Establecer una tabla de especificación con los métodos seleccionados y las
      competencias que cada uno de ellos evaluará para asegurar que todos los
      elementos de todas las competencias estén cubiertos por lo menos por una
      actividad.
   5. Decidir cómo se va a juzgar a los candidatos, ya sea en forma cuantitativa
      (calificaciones) o por cumplimiento de estándares o criterios cualitativos, lo
      cual implica un juicio profesional, basado en la experiencia, por parte de los
      asesores


El autor señala que para evaluar utilizando este esquema se requiere entrenar a
los evaluadores además de que se les proporcione manuales y procedimientos de
evaluación. También implica una mayor necesidad de asegurar la confiabilidad
entre evaluadores que en una evaluación centrada solo en la tarea.


De los diversos métodos existentes para evaluar competencias, Gonczi (1994), al
estudiar los sistemas de evaluación de competencias de los egresados en




                                                                                                    7
Australia, habla en particular de dos métodos que permiten la evaluación directa e
integrada.
   •   La simulación, en la cual un actor entrenado se presenta como cliente
       mientras se está videograbando la interacción. Implica preparar diversos
       escenarios o situaciones que plantean problemas distintos pero con la
       misma estructura: una necesidad inmediata, asuntos a largo plazo,
       información no revelada a menos que se pregunte, agendas ocultas del
       cliente, problemas que requieren soluciones fuera de la profesión, aspectos
       culturales que requieren un manejo con mucho tacto, aspectos éticos y
       arreglo de costo.
   •   El archivo o expediente sobre un problema es una tarea que se lleva el
       egresado a su casa, que implica un análisis y presentación del caso basado
       en conocimiento de reglas y procedimientos y en la preparación de
       documentos, además de una investigación sobre lo que se sabe y lo que se
       ha hecho en casos similares.


También menciona otros métodos útiles tales como: relatar la forma en que
abordó los casos, un examen de conocimientos (opción múltiple) de tres horas, la
interpretación de datos de medición, un estudio de casos en computadora, una
entrevista de diagnóstico y otra de manejo, tres evaluaciones diferentes en un
caso, entre otros.


Otra estrategia para la evaluación de competencias es la de Colardyn (2002) quien
enlista las siguientes acciones:
   •   Preexistencia de estándares laborales y de aprendizaje o especificaciones
   •   Especificación de un contexto en el que se va a recopilar la evidencia del
       desempeño. Implica definir cómo evaluar, con que herramienta y con qué
       procedimiento.
   •   Recopilación de la evidencia. Las evidencias a recolectar deben ser
       definidas antes de la práctica de la evaluación. Menciona cinco tipos:




                                                                                   8
1. Examen: el evaluado contesta preguntas, ya sea orales o escritas, cerradas
      o abiertas, relacionadas con su conocimiento y comprensión del campo de
      estudio.
   2. Declaración y entrevista evaluativa: el candidato describe lo que hace o
      ha hecho, en forma oral y escrita, fundamentando que lo que ha hecho
      implica un dominio del aspecto evaluado. Los evaluadores formulan
      preguntas acerca del contexto laboral, de las actividades que desempeña,
      de los resultados obtenidos y de la transferencia de competencias a otros
      contextos.
   3. Observación: se registra el desempeño del candidato en un escenario real,
      en una experiencia del pasado o en una situación simulada. Requiere una
      estructura metodológica bien definida y una alta capacitación a los
      evaluadores para que recopilen información relevante y sus registros sean
      confiables. En esta técnica los evaluadores solo observan sin hacer
      preguntas y califican el desempeño en base a indicadores predefinidos.
   4. Simulaciones: el evaluado se desempeña en una situación muy parecida
      al contexto real de trabajo. Su dificultad radica en realizar un análisis laboral
      adecuado para asegurar que la situación es adecuada para obtener
      información válida y confiable.
   5. Evidencia extraída de situaciones laborales: el evaluador observa lo que
      hizo el evaluado y éste puede explicar sus acciones y decisiones y describir
      los resultados que obtuvo.


Otra técnica válida y confiable en la evaluación de competencias es la descrita por
McClelland (1994), entendida como la entrevista de eventos conductuales. En esta
entrevista el evaluado describe en sus propias palabras lo que dijo, hizo, pensó y
sintió en seis situaciones de su trabajo (tres positivas y tres negativas). Se
establecen procedimientos estandarizados para asegurar que las entrevistas sean
comparables. Se definen las competencias y se codifican por su frecuencia y nivel
de complejidad o amplitud con que se observaron en la entrevista.




                                                                                     9
Por su parte, Benítez (2006) describe dos de las metodologías mas aplicadas para
evaluar las competencias.
   a) Las tablas descriptivas: consisten en párrafos que describen las conductas
       observables en cada nivel de dominio de la competencia en orden
       ascendente. Para cada competencia se determina, según el puesto, en qué
       nivel se debe poseer la competencia y se compara con el nivel en que se
       ubica al empleado que ocupa dicho puesto.
   b) Los Indicadores de dominio: consisten en frases cortas que describen
       conductas observables y que, en conjunto, permiten evaluar el dominio de
       la competencia determinando qué nivel tiene la persona en cada uno de
       todo el conjunto de indicadores. Los niveles son: A (satisface plenamente o
       supera las exigencias del puesto), B (satisface las exigencias mínimas) ó C
       (requiere entrenamiento formativo para alcanzar el desempeño requerido).
       A partir del nivel de cada uno de todos los indicadores de la competencia se
       asigna una puntuación. Esta se compara con lo esperado y se clasifica la
       brecha como pequeña, moderada, considerable o critica. La brecha
       aceptable es menor en competencias importantes para el puesto que en las
       competencias complementarias.
La evaluación de las competencias con base en las Normas Técnicas de
Competencia Laboral (NTCL), de acuerdo con Samperio (2002)              incluye las
siguientes etapas:
   •   Determinar las técnicas e instrumentos para evaluar la competencia laboral
       de candidatos
   •   Determinar los planes de evaluación de la competencia laboral en una
       función específica
   •   Integrar portafolios de evidencias de los candidatos a certificar sus
       competencias laborales.
   •   Emitir juicios de competencia de candidatos para certificación
   •   Orientar a los candidatos en relación con el resultado de la evaluación de
       su competencia laboral.




                                                                                10
LA EVALUACIÓN DE COMPETENCIAS EN MÉXICO
      A partir de la globalización de los mercados y de la acelerada innovación
tecnológica, se presentan para México nuevos requerimientos hacia la fuerza
laboral en materia de capacitación y educación.
Medel y Flores (2002) relatan que, como respuesta a esta demanda,            la Ley
General de Educación, en su artículo 64 publicado en 1993, establece que se
podrán crear procedimientos para otorgar certificados o títulos a personas que
acrediten los conocimientos que correspondan a cierto nivel educativo, adquiridos
ya sea por experiencia laboral o por medios autodidactas.


Con el fin de validar conocimientos y experiencias de trabajadores adquiridos por
medios no formales, surge el Consejo de Normalización y Certificación de
Competencia Laboral conocido por sus siglas como CONOCER, el cual fue
establecido en agosto de 1995 como organización tripartita, no lucrativa, de
carácter nacional, integrada por seis representantes del sector empresarial, seis
del sector social y los titulares de seis secretarías de estado. Su función consiste
planear, operar, fomentar y actualizar el Sistema Normalizado y de Certificación de
Competencia laboral mediante el desarrollo y establecimiento de metodologías y
procedimientos para la elaboración de Normas Técnicas de Competencia Laboral,
a través de los comités de Normalización así como la definición de los criterios
para el establecimiento y operación de organismos certificadores e instancias de
evaluación.


Para CONOCER, el concepto de competencia laboral implica el saber, el saber ser
y el saber hacer. Existen tres tipos de competencias laborales: las básicas, las
genéricas y las específicas. El trabajo de normalización se está llevando a cabo
mediante la aplicación de una metodología llamada análisis funcional. Para iniciar
el proceso de normalización se usa como herramienta de trabajo el mapa
funcional   La estrategia de CONOCER consisten en la definición de 12 áreas de
trabajo que abarcan todo el sector laboral. El objetivo final es contar con las




                                                                                 11
Normas Técnicas de Competencia Laboral para cada sector y después definir el
mecanismo para aplicarlas (CONOCER Y SAGAR, 1999).
      Debido a que el proceso de establecimiento de una norma a nivel nacional
es prolongado, en la experiencia Chilena (SENCE, 2003) señalan que tener un
referencial de competencias no implica necesariamente contar con un marco
nacional de competencias, se trata de contar con un modo de evaluar las
competencias de los programas. Inicialmente es posible desarrollar una norma
provisoria que certifique estas competencias. Luego, esa norma provisoria puede
convertirse en un referencial de competencia. Esto es especialmente útil en
materia de capacitación, en donde se hacen normas provisorias de competencias
para responder a las demandas que en el tiempo son más urgentes, quizás una
descripción de funciones sería lo más cercano,          aunque hacer una norma
provisoria es mejor.


EXPERIENCIA EN MÉXICO DE EVALUACIÓN DE COMPETENCIAS A
EGRESADOS: EL CASO DEL EXAMEN GENERAL DE EGRESO DE LA
LICENCIATURA EN PSICOLOGÍA DE CENEVAL

Entre las experiencias que existen en México para la evaluación de competencias
profesionales en los egresados de licenciatura se encuentra el EGEL-
PSICOLOGÍA (Examen General para el Egreso de la licenciatura en Psicología) el
cual es un instrumento de evaluación especializado, cuyo objetivo es identificar la
medida en la que se tienen los conocimientos, las habilidades y los valores que
debe mostrar un recién egresado de sus estudios de licenciatura para iniciar su
vida profesional. Tiene como finalidad el ser un instrumento útil, valido y confiable
para valorar las competencias necesarias para iniciar una práctica psicológica de
buena calidad en todas las regiones geográficas de México. Se construyó
tomando en cuenta el perfil referencial de validez establecido por los cuerpos
interinstitucionales, multirregionales y multisectoriales de académicos del país.
También pretende ser un instrumento complementario al currículo que
retroalimente y facilite la inserción laboral adecuada. El EGEL puede ser un
instrumento indicativo previo a la presentación del examen profesional, o un



                                                                                  12
instrumento complementario a otros indicadores de las IES a lo largo de la
trayectoria académica del estudiante.
      En la tabla 3 se observan los tres niveles de actividad intelectual
considerados por el CENEVAL para la evaluación de competencias.


Tabla 3. Niveles de la actividad intelectual para evaluar las competencias logradas
en la formación profesional
COMPETENCIAS COMPLEJIDAD HABILIDADES EVALUADAS
                                   Evalúa la capacidad para identificar, clasificar, ordenar y
COMPRENDER
                                   jerarquizar hechos, conceptos, principios y fundamentos de
Y ORGANIZAR     Básico
                                   manera no literal a como aparecen en los documentos
LO APRENDIDO
                                   originales.
                                   Evalúa la capacidad para integrar la teoría con las habilidades
                                   técnico-metodológicas en la práctica profesional.            Se
APLICAR LO
                Intermedio         demuestran el dominio y pericia en la comprensión y
APRENDIDO
                                   utilización   adecuada        de      conceptos,     principios,
                                   procedimientos, técnicas, rutinas e instrumentos.
                                   Evalúa la capacidad para analizar, sintetizar y evaluar
                                   conceptos, principios, métodos, técnicas, procedimientos,
                                   estructuras de tarea y de planes de acción, en función de los
RESOLVER                           principios   de    adecuación,    organización   y    valores
                Alto
PROBLEMAS                          profesionales requeridos ante situaciones problemáticas
                                   diversas, novedosas o rutinarias, así como para identificar y
                                   corregir errores importantes y proponer cursos de acción
                                   adecuados.
Adaptado de CENEVAL, p.13


      Las estrategias que se siguieron para la construcción del examen fueron:
      1) Diseño del objeto a evaluar a partir de la definición de categorías de
         análisis derivadas de la información recabada y del debate de expertos.
         Posteriormente se identificaron los criterios a partir de los cuales se
         seleccionarían      los      cuales     fueron:      escencialidad,       generalidad,
         especificidad, diversidad, relevancia y calidad.
      2) Elaboración del perfil referencial de validez, que fue acordado
         colectivamente por las instituciones participantes, y establecido por los
         cuerpos colegiados interinsitucionales, intersectoriales y multirregionales
         tanto de las IES públicas como de las privadas. Se identificó el deber
         ser establecido en los planes y programas de estudio vigentes, así como
         lo   recomendado      por       especialistas.     Se     consideraron       datos    de



                                                                                                13
investigaciones y estudios realizados por agencias internas y externas
          sobre la realidad de la enseñanza de la profesión, el quehacer
          profesional demandado, la opinión de los egresados y la satisfacción de
          necesidades que el profesionistas debe cubrir a la luz de las demandas
          actuales y las emergentes previstas en un lapso de 5 años.
       3) Definición de la naturaleza y estructura del examen.
       4) Delimitación de los contenidos.
       5) Estrategias para la elaboración, piloteo y calibración de reactivos; diseño
          de la guía y del examen.


De igual manera, a partir del 2000, se delega al CENEVAL la función de acreditar
conocimientos de niveles educativos y grados académicos adquiridos por medios
no formales, con base en el Acuerdo 286 de la Secretaría de Educación Pública,.
Quien desea acreditar su experiencia profesional para obtener un título de
licenciatura debe pasar por las siguientes etapas de evaluación:
   •   Presentar el EGEL (Examen General de Egreso de Licenciatura)
       correspondiente a la carrera
   •   Responder sobre su experiencia profesional en una entrevista con un
       sinodal
   •   Elaborar una tesina sobre sus conocimientos teóricos y prácticos
   •   Defender la tesina en réplica oral ante sinodales.
   •   Presentar un examen práctico (en algunos casos)


Aclaran Medel y Flores (2002, p. 258) que “solamente personas con una probada
capacidad para instrumentar conocimientos complejos en decisiones concretas y
verificables, se encuentran en condiciones de aprobar las evaluaciones descritas”.


OTRAS EXPERIENCIAS EN EVALUACIÓN DE COMPETENCIAS
       A lo largo del mundo se han tenido otras experiencias en evaluación de
competencias profesionales, principalmente con estudiantes que están terminando
el estudio de su carrera. McClelland (1994) describe la entrevista de eventos


                                                                                  14
conductuales como un método válido y confiable para evaluar competencias. En
esta entrevista el evaluado describe con sus propias palabras lo que dijo, hizo,
pensó y sintió en seis situaciones de su trabajo (tres positivas y tres negativas).
Para el análisis de las competencias, los evaluadores establecen procedimientos
estandarizados para asegurar que las entrevistas sean comparables. Además,
definen las competencias y se codifican por su frecuencia y nivel de complejidad o
amplitud con la que éstas se observaron en la entrevista.


Heverly y Fitt (1994) evalúan las competencias de investigación con una
autocalificación del estudiante en una escala del 1 al 5. Por su parte, Harrington
(1995) describe tres formatos para la evaluación de habilidades en base a un
autoreporte:
    •   Una lista de habilidades con sus definiciones en las que el evaluado indica
        en cuáles se siente mas fuerte
    •   Una escala de Likert en la que el evaluado se compara con su grupo de
        edad para indicar en qué nivel está en cada habilidad: excelente, arriba del
        promedio, promedio, abajo del promedio o deficiente
    •   Se presentan ejemplos de aplicaciones de cada habilidad en las cuales el
        evaluado se ubica en un nivel de bajo a alto y se obtiene una suma total de
        cada habilidad.


También Warn y Tranter 2001 usaron un cuestionario con diversas preguntas para
cada    competencia    (algunas   tomadas    de   otros   instrumentos)   para   una
autoevaluación, fundamentando la validez de este método en que se ha
encontrado correspondencia con la evaluación de calificadores independientes
(aunque en la autoevaluación se califiquen un poco mejor). Para minimizar la
deseabilidad social, en este cuestionario se pidió a los egresados que evaluaran
en qué grado había contribuido su institución educativa para que desarrollaran las
diferentes competencias evaluada. Se usó una escala de 5 puntos: pobre
desarrollo, menos del adecuado, adecuado, mejor que el adecuado y buen
desarrollo.



                                                                                  15
Otros parámetros de evaluación son los propuestos por Martha Alles (2002) quien
proporciona 160 competencias laborales que pueden ser evaluadas en uno de
cuatro niveles:
1) Alto
2) Bueno, por encima del promedio
3) Mínimo necesario para el puesto (de acuerdo al perfil requerido). No implica una
subvalorización de la competencia
4) Insatisfactorio
          Considera que cada empresa debe elaborar su propio diccionario de
competencias y definir sus propios niveles de evaluación, ya que algunas
empresas establecen el nivel cuatro como el mínimo satisfactorio. De su
diccionario se reproducen en la tabla 4 los niveles para una de sus competencias.


Tabla 4. Ejemplo de los niveles de desarrollo de la Competencia Analítica
COMPETENCIA ANALÍTICA(análisis de prioridad, criterio lógico, sentido común)
Este tipo de competencia tiene que ver con el tipo y alcance de razonamiento y la forma en que un
candidato organiza cognitivamente un trabajo. Es la capacidad general que tiene una persona para
realizar un análisis lógico, la capacidad de identificar los problemas, reconocer la información
significativa, buscar y coordinar los datos relevantes. Se puede incluir aquí la habilidad para
analizar, organizar y presentar datos financieros y estadísticos y para establecer conexiones
relevantes entre datos numéricos.
A   Realiza análisis lógicos, identifica problemas, reconoce información significativa, busca y
    coordina datos relevantes. Tiene mucha capacidad y habilidad para analizar, organizar y
    presentar datos financieros y estadísticos y para establecer conexiones relevantes entre datos
    numéricos.
B   Analiza información e identifica problemas coordinando datos relevantes. Tiene mucha
    capacidad y habilidad para analizar, organizar y presentar datos y para establecer conexiones
    relevantes entre datos numéricos.
C   Puede analizar e identificar problemas, coordinar datos relevantes, organizar y presentar
    datos numéricos.
D   Tiene escasa capacidad para el análisis y para identificar problemas y coordinar los datos
    relevantes.
Alles(2002, p. 142)


          En otra publicación, la misma autora describe el uso de la entrevista para
ubicar a los candidatos en los niveles de evaluación de cada competencia. Para




                                                                                               16
mostrar un ejemplo se reproducen en la tabla 5 las preguntas para evaluar la
competencia analítica mencionada anteriormente.


Tabla 5. Ejemplo de preguntas para evaluar la Competencia Analítica
                                    COMPETENCIA ANALÍTICA
                                      Preguntas asociadas
1   Conseguir la resolución de una asignación implica recoger información y datos de otros. Cómo
    lo hace usted?. Deme ejemplos.
2   ¿Recuerda alguna situación problemática que haya tenido que solucionar recientemente?
    ¿Qué pasó?¿Cómo la identificó? ¿Cómo la analizó?¿Cómo la resolvió?¿Cómo organizó el
    trabajo suyo y el de sus colaboradores?
3   Cuénteme una decisión importante que haya tenido que tomar recientemente en su trabajo.
    ¿Cuál era la situación?¿Porqué escogió esa alternativa?
4   Describa un desafío importante que usted haya asumido en los últimos meses. ¿Qué
    elementos consideró para hacer frente a la situación?¿Cuáles de éstos consideró prioritarios?
    ¿Cómo manejó la situación?
5   ¿Alguna vez tuvo un producto o servicio que estuviera en problemas?¿Cuáles eran las causas
    del problema?¿Qué decisiones tomó?¿Qué consecuencias previó que podrían suscitarse al
    tomar esos cursos de acción?¿Cuál fue el resultado final?
6   ¿Cómo identifica problemas potenciales en su sector?
7   Descríbame una situación compleja por la que haya atravesado su departamento en los
    últimos años. ¿Cómo analizó la situación? ¿Qué decisiones tuvo que tomar?¿Cómo coordinó
    su equipo de trabajo?
8   ¿Utiliza datos financieros en su trabajo?¿Qué estadísticas presenta en sus informes?
9   ¿Considera usted que las tareas que realiza son relevantes para la organización?¿Cuál es su
    grado de importancia y porqué?
(Alles, 2003, p.149)


        Dados los grandes avances tecnológicos, existe un nuevo grupo de cuatro
competencias básicas que permiten clasificar a las personas como alfabetos o
analfabetas tecnológicos.(Graham, 2003, citada en Gaide, 2004), las cuales son:
    •   Creación de documentos electrónicos (procesador de palabras                            y
        publicaciones electrónicas)
    •   Organización de datos (administración de hojas de datos y bases de datos,
        elaboración de tablas y gráficas)
    •   Presentación para comunicar ideas y pensamientos
    •   Comunicación electrónica (correo electrónico, mensajería instantánea y
        navegación en Internet)



                                                                                              17
Ubica cada competencia en dos niveles: 1, que corresponde a habilidades básicas
y 2 que hace referencia a habilidades avanzadas. Agrega que las universidades
deben considerar estas competencias como centrales y que deben evaluar no solo
lo que enseñan sino también lo que aprenden los alumnos. Considera que las
universidades deben proponerse que por lo menos el 80% de sus alumnos
manejen estas habilidades en el nivel 2.


En el estudio de la OCDE       conocido como PISA (Kjaernsli y Lie, 2004), se
evaluaron las competencias en estudiantes de secundaria presentando textos
reales, como artículos de periódicos o revistas, y formulando preguntas de opción
múltiple o de respuesta construida.. En un ejemplo que proporcionan, partir del
texto se pedía a los estudiantes que dieran una explicación para diversas
situaciones del texto (para evaluar el proceso intelectual de valorar críticamente
datos científicos, el conocimiento de hechos y la comprensión conceptual).


Por su parte, Kersh y Evans (2005) describen un proceso de autoevaluación de
habilidades y competencias que fue utilizado para evaluar el aprendizaje de
adultos y promover el aprendizaje posterior, no para certificar ni acreditar
competencias


Benítez (2006) diferencia la perspectiva gerencial de la curricular sobre las
competencias. Desde el punto de vista curricular o educativo competencia es la
“aptitud para desempeñar idóneamente un oficio u ocupación” (p.1) y el concepto
se utiliza para certificar la competencia. Por lo tanto, la competencia se considera
una variable discreta y binaria que solo puede tener dos valores: competente o no
competente. Para proporcionar el juicio anterior se puede utilizar una variable
continua que ubica el 100 como la competencia requerida pero proporciona cierto
margen de error de modo que establece un punto de corte indicando que de 92
puntos en adelante la persona se considera competente.
Desde el punto de vista gerencial, el desempeño adecuado de cada puesto
requiere la aplicación de cierto número de competencias, entendiendo éstas como



                                                                                 18
“características personales subyacentes que soportan el desempeño superior” (p.
2).    Aunque dos o más puestos compartan como requisito una misma
competencia, no necesariamente en cada puesto se requiere un nivel de dominio
del 100 por ciento. Por lo tanto, se establecen, generalmente, de 1 a 4 niveles de
dominio que varían desde básico hasta intermedio, avanzado y maestría.
Posteriormente, este nivel se interpreta en base a lo requerido por el puesto en los
niveles de “por debajo de”, “a nivel de” o “por encima de las exigencias del cargo”.




CONCLUSIONES
       Aunque la evaluación de competencias se basa en el principio de la
evidencia del desempeño, para el seguimiento de egresados con base en este
enfoque se propone el uso de un instrumento de auto-reporte en el cual los
egresados evalúen, de acuerdo a su percepción, el grado en el cual su institución
educativa les proporcionó las competencias evaluadas.
Para ello es posible retomar las definiciones utilizadas por Alles (2002 y 2003) y
adaptarlas al esquema de autoreporte en donde éstas sean calificadas con una
escala tipo Likert, con el énfasis en la instrucción, de evaluar el grado en el cual su
institución educativa promovió el desarrollo de cada competencia, tal como fue
indicado por Warn y Tranter (2001)


Tabla 6. Propuesta
                               SEGUIMIENTO DE EGRESADOS
                                 (Nombre de la Universidad)
Con el fin de determinar en que grado nuestros planes de estudio están cumpliendo con su
objetivo, te pedimos que indiques en qué grado contribuyó tu universidad, a lo largo del estudio
de tu carrera, al desarrollo de las siguientes competencias profesionales de acuerdo a la
siguiente escala:
A.- No me proporcionaron ninguna experiencia relacionada con el desarrollo de esta competencia
B.- Me proporcionaron algunas experiencias aisladas relacionadas con el desarrollo de esta
competencia
C.-Me proporcionaron pocos experiencias, bien organizadas y supervisadas, relacionadas con el
desarrollo de esta competencia
D.- Me proporcionaron muchas experiencias, bien organizadas y supervisadas, relacionadas con
el desarrollo de esta competencia




                                                                                              19
COMPETENCIAS                                                                A   B   C      D
HABILIDAD ANALÍTICA
     Es la capacidad general que tiene una persona para realizar un
análisis lógico, la capacidad de identificar los problemas, reconocer la
información significativa, buscar y coordinar los datos relevantes.




        Para que ésta evaluación pueda ser común a todos los planes y programas
de estudio se recomienda considerar solo las competencias profesionales
genéricas, es decir, las comunes a todas las profesiones como trabajo en equipo,
análisis, integración, organización, etc., (en particular, a las indicadas en la
filosofía institucional y en el perfil de egreso de cada universidad) sin entrar a las
específicas de cada profesión (ya éstas están siendo evaluadas por otras
instancias como el CENEVAL).
Para la evaluación de competencias genéricas se puede elaborar un instrumento
que contenga un máximo de veinte competencias de modo que se pueda
responder en poco tiempo y que se pueda ajustar a un formato electrónico para
ser contestada en el portal de la universidad.


Los esquemas alternativos de entrevistas y evaluación de evidencias resultan más
difíciles de elaborar, implican entrenamiento a los evaluadores, son más costosos
y los beneficios no compensan todos estos costos. (Ver tabla 7)
Entre las ventajas del esquema de autoreporte están su viabilidad, sencillez,
rapidez y menor costo económico.
:
Además, autores como Hollon y Bemis (1981) indican que la precisión de los
autoreportes (entendida como el grado en que lo que se reporta concuerda con lo
que realmente ha ocurrido) puede ser alta y confiable, sobre todo cuando se está
enfocando la atención en evaluar a la institución educativa ( y no a sí mismo).


Tabla 7. Comparación de ventajas y desventajas de las alternativas de evaluación
de competencias
     AUTOREPORTE                        ENTREVISTA                         EVALUACION DE



                                                                                               20
EVIDENCIAS
Ventajas:                Ventajas:                    Ventajas:
  • Elaboración            • Basada en un                • Evaluación integral
      sencilla                 número limitado de        • Basada              en
  • Aplicación fácil y         evidencias                   diversas
      rápida               • Evaluación        que          evidencias
  • Rapidez al calificar       considera                 • Combina
  • Bajo costo                 conocimientos,               información        de
  • Confiabilidad              actitudes y valores          diversas fuentes:
      aceptable            • Se basa en pocos               examen,
                               casos reales e               entrevista,
                               hipotéticos                  expedientes,
                                                            portafolios, casos
                                                            trabajados, casos
                                                            simulados            o
                                                            hipotéticos, etc.
Desventajas:          Desventajas:                    Desventajas:
  • No es integral      • Solo           evalúa          • Dependencia de la
  • No se apega a la       parcialmente                     disponibilidad del
     recolección   de      habilidades                      evaluado
     evidencias         • Necesidad          de          • Alto costo
                           definir criterios de          • Elaboración
                           calificación                     complicada
                                                            (definición        de
                                                            estándares           y
                                                            elaboración        de
                                                            técnicas)
                                                         • Ocupa mas tiempo
                                                            de evaluado y
                                                            evaluadora
                                                         • Necesidad           de
                                                            sistematizar        la
                                                            aplicación        con
                                                            manuales             y
                                                            entrenamiento)
                                                         • Necesidad           de
                                                            asegurar            la
                                                            confiabilidad en la
                                                            calificación

Aunque se recomienda la primera alternativa (autoreporte) por ser la mas viable
para aplicar con egresados que ya tengan tiempo de haber terminado sus
estudios, siguen existiendo las dos opciones restantes con un nivel intermedio y




                                                                                21
alto de elaboración (entrevista y evidencias) para cuando la universidad pueda
disponer de los recursos y facilidad de contacto con los egresados.


Para completar esta propuesta, se plantean una serie de preguntas que deberán
ser contestadas por cada IES: ¿cuál es el nivel de cercanía al que se puede tener
acceso en torno a sus egresados?, ¿en qué momentos puede evaluar sus
competencias?, ¿cuándo están próximos a salir?, ¿un año después?, ¿cinco, diez
o más años?, ¿de qué manera se puede evaluar a los egresados?, ¿cuáles serían
los beneficios de realizar una investigación sobre los egresados basados en un
modelo de competencias?, ¿qué limitaciones tendría este tipo de abordaje? ¿cuál
sería su unidad de estudio: un egresado, una empresa en particular o ambos?,
¿podrán ser las instituciones certificadoras de los distintos campos o áreas
profesionales las que proporcionen información sobre sus egresados?, ¿de que
manera es posible retroalimentar la formación en cada institución educativa?.


Las respuestas a estos cuestionamientos abren una serie de posibilidades
respecto a la postura de cada institución en torno a la formación de sus
estudiantes y del grado de cercanía en el seguimiento de egresados. Incorporar el
modelo de educación por competencias profesionales o evaluar el desarrollo de
las mismas durante su formación profesional o años después del egreso, es una
decisión particular y respetable de cada Institución Educativa, sin embargo, en
éste momento, es el modelo con el que se construyen los nuevos planes y
programas de educación básica en México (de preescolar a secundaria) y es el
modelo de selección de personal de las empresas trasnacionales y de varios
países desarrollados (Inglaterra, Francia, Canadá, Australia, Estados Unidos).
Incorporar este esquema permitiría compartir el lenguaje común cada vez mas
globalizado de formar y evaluar por competencias (demostrando, con acciones,
que se tienen las habilidades, actitudes, conocimientos y valores para realizar
determinada tarea), que se está formando en competencias profesionales y
laborales, pero sobre todo en competencias para la vida: para saber, saber ser,
saber hacer y saber convivir.



                                                                                 22
Referencias
Alles, M. (2002). Gestión por competencias: El diccionario. Buenos Aires: Granica.
Alles, M. (2003). Elija al mejor. Como entrevistar por competencias. Buenos Aires:
       Granica.
Benitez, J.(2006). Medición, evaluación y diagnóstico de competencias. Accesado
      el 21 de febrero de 2006 en www.gestiopolis.com/canales5/rrhh/medivay.
      htmI
Brown, F.G. (2000). Principios de la medición en Psicología y educación. Primera
      edición 9ª. Reimpresión. México: Manual Moderno, 1976.
Centro Nacional de Evaluación para la Educación Superior, A.C. (1999). Guía del
      Examen General para el egreso de la licenciatura en Psicología, México:
      CENEVAL
Colardyn, D. (2002). La evaluación basada en competencias. Documento
      conceptual. Accesado el 21 de febrero de 2006 en www.ons.org/udse/
      secondary/documentos/1-Trad%20ASSESSMENT20%base-1.DOC
CONOCER Y SAGAR. (1999). La competencia laboral y la inocuidad alimentaria.
    México: Nacional Financiera, SNC, Fiduciaria del fideicomiso de los
    Sistemas Normalizado de Competencia laboral y de Certificación de
    competencia laboral.
Fletcher, S. (2000). Diseño de Capacitación basada en Competencias laborales.
       México; Panorama.
Gaide, S. (2004). Are technical skills “core competencies”? How do we measure
      them?. Distance education Report, november 15.
Gonczi, A. (1994). Competency based assessment in the professions in Australia.
      Assessment in Education: Principles, Policy and Practice, 1(1), pp. 27-41
Harrington, T.(1995). Assessment of abilities (ERIC Digest). Greensboro, NC:
       ERIC Clearinghouse on Counseling and Student Services [ED 389960]
Herverly, M y Fitt, D. X. (1994) Classroom assessment of student competencies.
      Assessment and Evaluation on higher education, 19(3). pp.215-224.
Hollon, S. D. y Bemis, K. M. (1981 ) Self-report and the assessment of cognitive
       functions. En: M. Hersen y A.S. Bellack. Behavioral Assessment. A practical
       handbook.(2nd Edition). New York: Pergamon Press.
Kersch, N y Evans, K. (2005). Self evaluation of tacit skills and competences of
      adult learning. European Education, 37(2), pp. 87-98.
Kjaernsli , M y Lie, S. (2004). PISA and Scientific Literacy: similarities and differ-
      ences between the Nordic countries. Scandinavian Journal of Educational
      Research, 48(4), pp. 271-286.




                                                                                   23
McClelland, D. (1998). Identifying competencies with behavioral-event interview.
      Psychological science, 9(5), pp. 331-339
Medel, J. O. y Flores, C. A. (2002). Acuerdo 286: La experiencia del CENEVAL en
      la acreditación de competencias profesionales. Memorias del Quinto Foro
      de Evaluación Educativa.
Norman, I. J., Watson, R. Murrells, T, Calman, L. & Redfern, S. (2002). The va-
     lidity and reliability of methods to assess the competence to practise of pre-
     registration nursing and midwifery students. International Journal of Nursing
     Studies, 39(2), 133-145.
Samperio, L. M. (2002). Reflexiones sobre la evaluación de las competencias
     laborales. Memorias del Quinto Foro de Evaluación Educativa
SENCE (2003). Enfoque de Capacitación por competencias, Innovación y
    Desarrollo. Subdepartamento de Estudios. Apuntes Técnicos. Recuperado
    el 2 de enero de 2006 de http://www.sence.cl/CAPACITxCOMPETENCIA/
    ApunteTEcnicoCapacitaciOnbasadAenCompetencias2.pdf
SEP (2001). Programa Nacional de Educación 2001-2006. D. F. México:
     Secretaria de Educación Pública.
Trull, T. T. y Phares, E. J. (2003). Psicología clínica. Conceptos, métodos y
       aspectos prácticos de la profesión. 5ª. Edición. México: Thompson.
Vargas, F. (2001). La evaluación basada en competencias. Una breve guía
      ilustrada con un caso de aplicación práctica. Documento CINTERFOR
Warn, J. y Tranter, P. (2001). Measuring Quality in Higher Education: a competen-
      cy approach. Quality in Higher Education, 7(3). pp. 191-
Whitear, G. (1997).     Para entender la evaluación.    Competencia laboral.
      Normalización, certificación, educación y capacitación. Antología de
      lecturas, tomo 1. México: Conocer y Alambra Mexicana.




                                                                                24

Competencias actividad 16

  • 1.
    LA EVALUACIÓN DECOMPETENCIAS: UN MARCO METODOLÓGICO Mtra. María Elena Rivera Heredia Universidad Simón Bolívar Mtro. Jose Alberto Bazaldua Zamarripa Instituto de Estudios Superiores de Tamaulipas Dr. Iván Matthew Rovira Gutiérrez Instituto Universitario del Estado de México L.A.E. Rafael Gerardo Conde Camacho Universidad Realística de México Mtro. Jaime Rodríguez Gómez Universidad de Montemorelos Resumen A partir de la necesidad de diversas IES de obtener retroalimentación sobre la formación que imparten, se propone el modelo de competencias para realizar un seguimiento de egresados. Primeramente se analizan los factores determinantes de la formación de profesionistas y se revisa el concepto de evaluación para estructurar una definición de la evaluación de competencias, señalando sus ventajas sobre la evaluación tradicional. Se enfatiza su fundamentación en dos tipos de evidencias, la directa y la indirecta, describiendo los pasos de una estrategia y diversos métodos para evaluar las competencias tales como la simulación, el análisis de expediente, la evidencia extraída de situaciones de trabajo y la entrevista evaluativa. Se describen las experiencias en México de la evaluación de competencias laborales por CONOCER y de competencias profesionales por el CENEVAL. Se revisan diversos instrumentos o metodologías para la evaluación de competencias profesionales o laborales utilizados en diferentes países, y el empleo de una escala de calificación en la mayoría de los casos. Se concluye con un análisis comparativo de las ventajas y desventajas del autoreporte, la entrevista y la evaluación de evidencias como alternativas para dicha evaluación, y se propone el uso del autoreporte para evaluar competencias genéricas en el seguimiento de egresados. INTRODUCCIÓN El reto educativo en México es muy grande: proporcionar servicios educativos de calidad, con equidad y pertinencia (Programa Nacional de Desarrollo Educativo 2001-2006). Para lograr dicho reto son necesarios múltiples procesos, uno de ellos, fundamental para la mejora continua es la evaluación. Heverly y Fitt (1994) señalan que las instituciones educativas que no están autoevaluando su efectividad serán evaluadas por agentes externos y que esto se hará en base a las competencias desarrolladas por sus egresados. 1
  • 2.
    Ante esta demandase considera necesario que las universidades realicen un seguimiento de sus egresados en base a un esquema de competencias para contar con una retroalimentación a sus programas actuales y como insumo para los programas a desarrollar. El uso del modelo de competencias para el seguimiento de egresados resulta válido aun cuando los planes de estudio no lo tomen como base, ya que cualquier perfil de egreso incluye los principales elementos que conforman las competencias: conocimientos, habilidades y actitudes. Por lo tanto, el presente trabajo tiene como objetivo realizar una revisión de las experiencias nacionales e internacionales en evaluación de competencias para proponer un esquema general de evaluación que sirva de base para que cada universidad interesada en este objetivo lo ajuste a sus propias necesidades. Antes de considerar algunos fundamentos teóricos en la evaluación de competencias, es necesario tener en mente que el proceso de formación de los egresados está influido por diversos factores contextuales, los cuales se pueden observar en la figura 1. Figura 1. Contexto para realizar la formación de los egresados. Deber ser de Plan de Necesidades Modelo la Educación Desarrollo del sector Educativo de Nacional laboral las IES PLANES Y PROGRAMAS DE ESTUDIO ESTUDIANTE ACTUAL Y EGRESADO COMPETENCIAS EDUCATIVAS, PROFESIONALES Y LABORALES . Nota. Desarrollado por Rivera Heredia para el presente documento Desde una perspectiva sistémica, las competencias educativas, profesionales y laborales de los egresados de las distintas instituciones de educación superior van transformándose al paso del tiempo, por lo que éstas pueden ser diferentes en sus egresados de distintas generaciones. Son los planes y programas de estudio el medio a través del cual se van desarrollando los perfiles de conocimientos, 2
  • 3.
    habilidades y actitudesque, en su conjunto, constituyen las competencias. Para la construcción de dichos planes y programas de estudio, en su primer contexto se contempla el “Deber Ser” de la Educación, su interrelación con el “Plan Nacional de Desarrollo” y con las necesidades y requerimientos del “Sector Laboral” y con la filosofía y misión de cada institución de Educación Superior aplicados en su “Modelo Educativo”. Con respecto a las necesidades del sector laboral es importante considerar las diferentes expectativas que puedan tener las empresas pequeñas y micros de las medianas y grandes y el posicionamiento que puedan tener en ellas los egresados de la propia universidad en relación con los de otras universidades. CONCEPTO DE EVALUACIÓN DE COMPETENCIAS Conviene aclarar que medición y evaluación no se refieren a lo mismo. Brown (2000) comenta que la medición únicamente responde a la pregunta: ¿cuánto?, proporcionando una descripción de la ejecución de una persona sin brindar información sobre el valor de dicha ejecución. Sin embargo, cuando la medición es interpretada, se le atribuye un cierto valor. En este punto se llega más allá de la descripción. Es así como al evaluar se intenta responder a la pregunta: ¿hasta qué punto es bueno? . La evaluación no es algo que se hace una vez y se acaba para siempre. En muchos casos, es un proceso progresivo, incluso un proceso cotidiano, para el conocimiento de la situación actual, la toma de decisiones o para la solución de un problema (Trull y Phares, 2003). Para los autores del presente trabajo, la evaluación de competencias es un proceso de recolección de evidencias explícitas sobre el desempeño profesional, laboral o educativo, con el propósito de formarse un juicio a partir de un criterio o referente estandarizado para identificar aquellas áreas de desempeño que han sido desarrolladas y aquellas que requieren ser fortalecidas. 3
  • 4.
    Algunas diferencias conrespecto a la evaluación tradicional de acuerdo con Vargas (2001) son: • Su base en el juicio “competente” o “aún no competente”. • Su sustento en evidencias del desempeño real, no en preguntas sobre lo que se sabe. • Su consideración como un proceso más que un momento. El propósito de la evaluación consiste en realizar juicios acerca del desempeño individual (Whitear, 1997, p. 177). El conocimiento es sólo un aspecto del desempeño ya que el desempeño competente requiere la habilidad de aplicar el conocimiento de manera adecuada. Para evaluar una competencia es necesario evaluar lo que se sabe, lo que se hace y cómo se hace. “Para desempeñar tareas confiables, se debe entender el conocimiento que soporta sus acciones, y sus acciones deben ser apropiadas para el establecimiento en el cual se aplican” (p.178), de ahí que un sistema de evaluación deberá hacer juicios confiables sobre si los individuos cumplen con las normas de desempeño en el rango requerido de contextos o situaciones. La evaluación de competencias toma en cuenta criterios de desempeño, por lo que no se compara al sujeto con otros, sino en función a si es competente o todavía no es competente para determinada tarea o función. En Australia, al igual que en otros países de habla inglesa, se han desarrollado estándares de evaluación basados en competencias, los cuales inicialmente se pensaban que eran útiles únicamente para las ocupaciones de nivel medio, sin embargo, Gonczi (1994) señala que éstos se pueden utilizar tanto en ocupaciones como en profesiones, llegando a ser evaluaciones mas válidas que las de aproximaciones tradicionales. Menciona las siguientes ventajas del enfoque de competencias: • Permite incorporar un rango mayor de atributos en la descripción de las competencias de muchas profesiones 4
  • 5.
    Se describe públicamente lo que deben hacer los profesionistas competentes y lo que se puede esperar de ellos • Proporciona metas mas claras para quienes imparten la educación profesional • Clarifica a los aprendices lo que se espera que logren • Da bases para elaborar procedimientos mas sólidos de evaluación de las habilidades profesionales. Para evaluar competencias se debe tener muy claro para qué se va a evaluar, qué se va a evaluar y cómo se hará. TIPOS DE EVIDENCIA La evaluación exitosa depende de la evidencia presentada, la cual podría provenir de su experiencia anterior, de su desempeño actual, o de un cuestionario. Los criterios para evaluar la calidad de la evidencia son: validez, autenticidad, confiabilidad, suficiencia, actualidad, transferibilidad y claridad de la presentación (Whitear, 1997). Existen dos formas de evidencia a recolectar: evidencia directa (constituida por bienes y servicios producidos por el candidato) y evidencia indirecta (evidencia e información de apoyo respecto del candidato). La evidencia puede ser recopilada en un ambiente real o en una situación de formación, capacitación o simulación. Los productos de evidencia pueden ser videos, grabaciones, ejercicios, reportes, proyectos terminados, entre otros (Fletcher, 2000). Tabla 1. Tipos de evidencias para evaluar competencias TIPOS DE EVIDENCIA EJEMPLOS 5
  • 6.
    Productos o artefactos Ejemplos del trabajo real producidos Evidencia de Observación del trabajo Planes y programas de trabajo desempeño Simulación del trabajo Informes o documentos Diseños y dibujos EVIDENCIA Programas de computación DIRECTA Datos financieros Evidencia Cuestionarios Cartas de clientes, proveedores, suplementaria Pruebas fuera del empleo etc. Evaluaciones de desempeño Bitácoras Testimonios EVIDENCIA Testimonio presencial INDIRECTA Material publicado Certificaciones ESTRATEGIAS PARA LA EVALUACIÓN DE COMPETENCIAS No existe un método exclusivo para evaluar las competencias, señalan Norman, Watson, Murrells, Calman y Redfern (2002), sino una amplia estrategia de medición que incluye múltiples métodos para asegurar que las personas hayan adquirido el complejo repertorio de conocimientos, habilidades y actitudes que se requieren para demostrar competencias. Cuando se pone énfasis en la ejecución, Gonczi (1994) recomienda tres principios para la evaluación de competencias: • Los métodos de evaluación deben ser usados en una forma integrada, es decir, que combinen la evaluación de conocimiento, comprensión, solución de problemas, habilidades técnicas, actitudes y ética, aunque se reconoce que en algunos casos los conocimientos se pueden evaluar independientemente de la ejecución. • Se deben elegir los métodos que sean mas directos y relevantes para lo que está siendo evaluado. • Mientras más amplia es la evidencia de la que se infiere la competencia, mas se podrá generalizar la ejecución a otras tareas. Como estrategia para evaluar las competencias de una profesión plantea los siguientes pasos: 6
  • 7.
    1. Definir yagrupar los componentes de cada competencia y los criterios de ejecución, por ejemplo (ver tabla 2), la competencia para recopilar, analizar y evaluar información que requiere desarrollar un abogado. Tabla 2. Ejemplo de definición, componente y criterio de una competencia para un abogado COMPETENCIA COMPONENTE CRITERIO Ayuda al cliente a desarrollar una historia y a obtener la declaración inicial Recopilar, Tomar Identifica la naturaleza del problema, lo que el cliente analizar y instrucciones del desea lograr, el relato del cliente de los hechos evaluar cliente relevantes, el punto de vista del opositor y de terceras información partes Señala al cliente vacíos e inconsistencias 2. Analizar los métodos de evaluación disponibles para determinar cuales pueden realizar una evaluación mas integrada y directa 3. Valorar los métodos de acuerdo a aspectos prácticos como tiempo y costo 4. Establecer una tabla de especificación con los métodos seleccionados y las competencias que cada uno de ellos evaluará para asegurar que todos los elementos de todas las competencias estén cubiertos por lo menos por una actividad. 5. Decidir cómo se va a juzgar a los candidatos, ya sea en forma cuantitativa (calificaciones) o por cumplimiento de estándares o criterios cualitativos, lo cual implica un juicio profesional, basado en la experiencia, por parte de los asesores El autor señala que para evaluar utilizando este esquema se requiere entrenar a los evaluadores además de que se les proporcione manuales y procedimientos de evaluación. También implica una mayor necesidad de asegurar la confiabilidad entre evaluadores que en una evaluación centrada solo en la tarea. De los diversos métodos existentes para evaluar competencias, Gonczi (1994), al estudiar los sistemas de evaluación de competencias de los egresados en 7
  • 8.
    Australia, habla enparticular de dos métodos que permiten la evaluación directa e integrada. • La simulación, en la cual un actor entrenado se presenta como cliente mientras se está videograbando la interacción. Implica preparar diversos escenarios o situaciones que plantean problemas distintos pero con la misma estructura: una necesidad inmediata, asuntos a largo plazo, información no revelada a menos que se pregunte, agendas ocultas del cliente, problemas que requieren soluciones fuera de la profesión, aspectos culturales que requieren un manejo con mucho tacto, aspectos éticos y arreglo de costo. • El archivo o expediente sobre un problema es una tarea que se lleva el egresado a su casa, que implica un análisis y presentación del caso basado en conocimiento de reglas y procedimientos y en la preparación de documentos, además de una investigación sobre lo que se sabe y lo que se ha hecho en casos similares. También menciona otros métodos útiles tales como: relatar la forma en que abordó los casos, un examen de conocimientos (opción múltiple) de tres horas, la interpretación de datos de medición, un estudio de casos en computadora, una entrevista de diagnóstico y otra de manejo, tres evaluaciones diferentes en un caso, entre otros. Otra estrategia para la evaluación de competencias es la de Colardyn (2002) quien enlista las siguientes acciones: • Preexistencia de estándares laborales y de aprendizaje o especificaciones • Especificación de un contexto en el que se va a recopilar la evidencia del desempeño. Implica definir cómo evaluar, con que herramienta y con qué procedimiento. • Recopilación de la evidencia. Las evidencias a recolectar deben ser definidas antes de la práctica de la evaluación. Menciona cinco tipos: 8
  • 9.
    1. Examen: elevaluado contesta preguntas, ya sea orales o escritas, cerradas o abiertas, relacionadas con su conocimiento y comprensión del campo de estudio. 2. Declaración y entrevista evaluativa: el candidato describe lo que hace o ha hecho, en forma oral y escrita, fundamentando que lo que ha hecho implica un dominio del aspecto evaluado. Los evaluadores formulan preguntas acerca del contexto laboral, de las actividades que desempeña, de los resultados obtenidos y de la transferencia de competencias a otros contextos. 3. Observación: se registra el desempeño del candidato en un escenario real, en una experiencia del pasado o en una situación simulada. Requiere una estructura metodológica bien definida y una alta capacitación a los evaluadores para que recopilen información relevante y sus registros sean confiables. En esta técnica los evaluadores solo observan sin hacer preguntas y califican el desempeño en base a indicadores predefinidos. 4. Simulaciones: el evaluado se desempeña en una situación muy parecida al contexto real de trabajo. Su dificultad radica en realizar un análisis laboral adecuado para asegurar que la situación es adecuada para obtener información válida y confiable. 5. Evidencia extraída de situaciones laborales: el evaluador observa lo que hizo el evaluado y éste puede explicar sus acciones y decisiones y describir los resultados que obtuvo. Otra técnica válida y confiable en la evaluación de competencias es la descrita por McClelland (1994), entendida como la entrevista de eventos conductuales. En esta entrevista el evaluado describe en sus propias palabras lo que dijo, hizo, pensó y sintió en seis situaciones de su trabajo (tres positivas y tres negativas). Se establecen procedimientos estandarizados para asegurar que las entrevistas sean comparables. Se definen las competencias y se codifican por su frecuencia y nivel de complejidad o amplitud con que se observaron en la entrevista. 9
  • 10.
    Por su parte,Benítez (2006) describe dos de las metodologías mas aplicadas para evaluar las competencias. a) Las tablas descriptivas: consisten en párrafos que describen las conductas observables en cada nivel de dominio de la competencia en orden ascendente. Para cada competencia se determina, según el puesto, en qué nivel se debe poseer la competencia y se compara con el nivel en que se ubica al empleado que ocupa dicho puesto. b) Los Indicadores de dominio: consisten en frases cortas que describen conductas observables y que, en conjunto, permiten evaluar el dominio de la competencia determinando qué nivel tiene la persona en cada uno de todo el conjunto de indicadores. Los niveles son: A (satisface plenamente o supera las exigencias del puesto), B (satisface las exigencias mínimas) ó C (requiere entrenamiento formativo para alcanzar el desempeño requerido). A partir del nivel de cada uno de todos los indicadores de la competencia se asigna una puntuación. Esta se compara con lo esperado y se clasifica la brecha como pequeña, moderada, considerable o critica. La brecha aceptable es menor en competencias importantes para el puesto que en las competencias complementarias. La evaluación de las competencias con base en las Normas Técnicas de Competencia Laboral (NTCL), de acuerdo con Samperio (2002) incluye las siguientes etapas: • Determinar las técnicas e instrumentos para evaluar la competencia laboral de candidatos • Determinar los planes de evaluación de la competencia laboral en una función específica • Integrar portafolios de evidencias de los candidatos a certificar sus competencias laborales. • Emitir juicios de competencia de candidatos para certificación • Orientar a los candidatos en relación con el resultado de la evaluación de su competencia laboral. 10
  • 11.
    LA EVALUACIÓN DECOMPETENCIAS EN MÉXICO A partir de la globalización de los mercados y de la acelerada innovación tecnológica, se presentan para México nuevos requerimientos hacia la fuerza laboral en materia de capacitación y educación. Medel y Flores (2002) relatan que, como respuesta a esta demanda, la Ley General de Educación, en su artículo 64 publicado en 1993, establece que se podrán crear procedimientos para otorgar certificados o títulos a personas que acrediten los conocimientos que correspondan a cierto nivel educativo, adquiridos ya sea por experiencia laboral o por medios autodidactas. Con el fin de validar conocimientos y experiencias de trabajadores adquiridos por medios no formales, surge el Consejo de Normalización y Certificación de Competencia Laboral conocido por sus siglas como CONOCER, el cual fue establecido en agosto de 1995 como organización tripartita, no lucrativa, de carácter nacional, integrada por seis representantes del sector empresarial, seis del sector social y los titulares de seis secretarías de estado. Su función consiste planear, operar, fomentar y actualizar el Sistema Normalizado y de Certificación de Competencia laboral mediante el desarrollo y establecimiento de metodologías y procedimientos para la elaboración de Normas Técnicas de Competencia Laboral, a través de los comités de Normalización así como la definición de los criterios para el establecimiento y operación de organismos certificadores e instancias de evaluación. Para CONOCER, el concepto de competencia laboral implica el saber, el saber ser y el saber hacer. Existen tres tipos de competencias laborales: las básicas, las genéricas y las específicas. El trabajo de normalización se está llevando a cabo mediante la aplicación de una metodología llamada análisis funcional. Para iniciar el proceso de normalización se usa como herramienta de trabajo el mapa funcional La estrategia de CONOCER consisten en la definición de 12 áreas de trabajo que abarcan todo el sector laboral. El objetivo final es contar con las 11
  • 12.
    Normas Técnicas deCompetencia Laboral para cada sector y después definir el mecanismo para aplicarlas (CONOCER Y SAGAR, 1999). Debido a que el proceso de establecimiento de una norma a nivel nacional es prolongado, en la experiencia Chilena (SENCE, 2003) señalan que tener un referencial de competencias no implica necesariamente contar con un marco nacional de competencias, se trata de contar con un modo de evaluar las competencias de los programas. Inicialmente es posible desarrollar una norma provisoria que certifique estas competencias. Luego, esa norma provisoria puede convertirse en un referencial de competencia. Esto es especialmente útil en materia de capacitación, en donde se hacen normas provisorias de competencias para responder a las demandas que en el tiempo son más urgentes, quizás una descripción de funciones sería lo más cercano, aunque hacer una norma provisoria es mejor. EXPERIENCIA EN MÉXICO DE EVALUACIÓN DE COMPETENCIAS A EGRESADOS: EL CASO DEL EXAMEN GENERAL DE EGRESO DE LA LICENCIATURA EN PSICOLOGÍA DE CENEVAL Entre las experiencias que existen en México para la evaluación de competencias profesionales en los egresados de licenciatura se encuentra el EGEL- PSICOLOGÍA (Examen General para el Egreso de la licenciatura en Psicología) el cual es un instrumento de evaluación especializado, cuyo objetivo es identificar la medida en la que se tienen los conocimientos, las habilidades y los valores que debe mostrar un recién egresado de sus estudios de licenciatura para iniciar su vida profesional. Tiene como finalidad el ser un instrumento útil, valido y confiable para valorar las competencias necesarias para iniciar una práctica psicológica de buena calidad en todas las regiones geográficas de México. Se construyó tomando en cuenta el perfil referencial de validez establecido por los cuerpos interinstitucionales, multirregionales y multisectoriales de académicos del país. También pretende ser un instrumento complementario al currículo que retroalimente y facilite la inserción laboral adecuada. El EGEL puede ser un instrumento indicativo previo a la presentación del examen profesional, o un 12
  • 13.
    instrumento complementario aotros indicadores de las IES a lo largo de la trayectoria académica del estudiante. En la tabla 3 se observan los tres niveles de actividad intelectual considerados por el CENEVAL para la evaluación de competencias. Tabla 3. Niveles de la actividad intelectual para evaluar las competencias logradas en la formación profesional COMPETENCIAS COMPLEJIDAD HABILIDADES EVALUADAS Evalúa la capacidad para identificar, clasificar, ordenar y COMPRENDER jerarquizar hechos, conceptos, principios y fundamentos de Y ORGANIZAR Básico manera no literal a como aparecen en los documentos LO APRENDIDO originales. Evalúa la capacidad para integrar la teoría con las habilidades técnico-metodológicas en la práctica profesional. Se APLICAR LO Intermedio demuestran el dominio y pericia en la comprensión y APRENDIDO utilización adecuada de conceptos, principios, procedimientos, técnicas, rutinas e instrumentos. Evalúa la capacidad para analizar, sintetizar y evaluar conceptos, principios, métodos, técnicas, procedimientos, estructuras de tarea y de planes de acción, en función de los RESOLVER principios de adecuación, organización y valores Alto PROBLEMAS profesionales requeridos ante situaciones problemáticas diversas, novedosas o rutinarias, así como para identificar y corregir errores importantes y proponer cursos de acción adecuados. Adaptado de CENEVAL, p.13 Las estrategias que se siguieron para la construcción del examen fueron: 1) Diseño del objeto a evaluar a partir de la definición de categorías de análisis derivadas de la información recabada y del debate de expertos. Posteriormente se identificaron los criterios a partir de los cuales se seleccionarían los cuales fueron: escencialidad, generalidad, especificidad, diversidad, relevancia y calidad. 2) Elaboración del perfil referencial de validez, que fue acordado colectivamente por las instituciones participantes, y establecido por los cuerpos colegiados interinsitucionales, intersectoriales y multirregionales tanto de las IES públicas como de las privadas. Se identificó el deber ser establecido en los planes y programas de estudio vigentes, así como lo recomendado por especialistas. Se consideraron datos de 13
  • 14.
    investigaciones y estudiosrealizados por agencias internas y externas sobre la realidad de la enseñanza de la profesión, el quehacer profesional demandado, la opinión de los egresados y la satisfacción de necesidades que el profesionistas debe cubrir a la luz de las demandas actuales y las emergentes previstas en un lapso de 5 años. 3) Definición de la naturaleza y estructura del examen. 4) Delimitación de los contenidos. 5) Estrategias para la elaboración, piloteo y calibración de reactivos; diseño de la guía y del examen. De igual manera, a partir del 2000, se delega al CENEVAL la función de acreditar conocimientos de niveles educativos y grados académicos adquiridos por medios no formales, con base en el Acuerdo 286 de la Secretaría de Educación Pública,. Quien desea acreditar su experiencia profesional para obtener un título de licenciatura debe pasar por las siguientes etapas de evaluación: • Presentar el EGEL (Examen General de Egreso de Licenciatura) correspondiente a la carrera • Responder sobre su experiencia profesional en una entrevista con un sinodal • Elaborar una tesina sobre sus conocimientos teóricos y prácticos • Defender la tesina en réplica oral ante sinodales. • Presentar un examen práctico (en algunos casos) Aclaran Medel y Flores (2002, p. 258) que “solamente personas con una probada capacidad para instrumentar conocimientos complejos en decisiones concretas y verificables, se encuentran en condiciones de aprobar las evaluaciones descritas”. OTRAS EXPERIENCIAS EN EVALUACIÓN DE COMPETENCIAS A lo largo del mundo se han tenido otras experiencias en evaluación de competencias profesionales, principalmente con estudiantes que están terminando el estudio de su carrera. McClelland (1994) describe la entrevista de eventos 14
  • 15.
    conductuales como unmétodo válido y confiable para evaluar competencias. En esta entrevista el evaluado describe con sus propias palabras lo que dijo, hizo, pensó y sintió en seis situaciones de su trabajo (tres positivas y tres negativas). Para el análisis de las competencias, los evaluadores establecen procedimientos estandarizados para asegurar que las entrevistas sean comparables. Además, definen las competencias y se codifican por su frecuencia y nivel de complejidad o amplitud con la que éstas se observaron en la entrevista. Heverly y Fitt (1994) evalúan las competencias de investigación con una autocalificación del estudiante en una escala del 1 al 5. Por su parte, Harrington (1995) describe tres formatos para la evaluación de habilidades en base a un autoreporte: • Una lista de habilidades con sus definiciones en las que el evaluado indica en cuáles se siente mas fuerte • Una escala de Likert en la que el evaluado se compara con su grupo de edad para indicar en qué nivel está en cada habilidad: excelente, arriba del promedio, promedio, abajo del promedio o deficiente • Se presentan ejemplos de aplicaciones de cada habilidad en las cuales el evaluado se ubica en un nivel de bajo a alto y se obtiene una suma total de cada habilidad. También Warn y Tranter 2001 usaron un cuestionario con diversas preguntas para cada competencia (algunas tomadas de otros instrumentos) para una autoevaluación, fundamentando la validez de este método en que se ha encontrado correspondencia con la evaluación de calificadores independientes (aunque en la autoevaluación se califiquen un poco mejor). Para minimizar la deseabilidad social, en este cuestionario se pidió a los egresados que evaluaran en qué grado había contribuido su institución educativa para que desarrollaran las diferentes competencias evaluada. Se usó una escala de 5 puntos: pobre desarrollo, menos del adecuado, adecuado, mejor que el adecuado y buen desarrollo. 15
  • 16.
    Otros parámetros deevaluación son los propuestos por Martha Alles (2002) quien proporciona 160 competencias laborales que pueden ser evaluadas en uno de cuatro niveles: 1) Alto 2) Bueno, por encima del promedio 3) Mínimo necesario para el puesto (de acuerdo al perfil requerido). No implica una subvalorización de la competencia 4) Insatisfactorio Considera que cada empresa debe elaborar su propio diccionario de competencias y definir sus propios niveles de evaluación, ya que algunas empresas establecen el nivel cuatro como el mínimo satisfactorio. De su diccionario se reproducen en la tabla 4 los niveles para una de sus competencias. Tabla 4. Ejemplo de los niveles de desarrollo de la Competencia Analítica COMPETENCIA ANALÍTICA(análisis de prioridad, criterio lógico, sentido común) Este tipo de competencia tiene que ver con el tipo y alcance de razonamiento y la forma en que un candidato organiza cognitivamente un trabajo. Es la capacidad general que tiene una persona para realizar un análisis lógico, la capacidad de identificar los problemas, reconocer la información significativa, buscar y coordinar los datos relevantes. Se puede incluir aquí la habilidad para analizar, organizar y presentar datos financieros y estadísticos y para establecer conexiones relevantes entre datos numéricos. A Realiza análisis lógicos, identifica problemas, reconoce información significativa, busca y coordina datos relevantes. Tiene mucha capacidad y habilidad para analizar, organizar y presentar datos financieros y estadísticos y para establecer conexiones relevantes entre datos numéricos. B Analiza información e identifica problemas coordinando datos relevantes. Tiene mucha capacidad y habilidad para analizar, organizar y presentar datos y para establecer conexiones relevantes entre datos numéricos. C Puede analizar e identificar problemas, coordinar datos relevantes, organizar y presentar datos numéricos. D Tiene escasa capacidad para el análisis y para identificar problemas y coordinar los datos relevantes. Alles(2002, p. 142) En otra publicación, la misma autora describe el uso de la entrevista para ubicar a los candidatos en los niveles de evaluación de cada competencia. Para 16
  • 17.
    mostrar un ejemplose reproducen en la tabla 5 las preguntas para evaluar la competencia analítica mencionada anteriormente. Tabla 5. Ejemplo de preguntas para evaluar la Competencia Analítica COMPETENCIA ANALÍTICA Preguntas asociadas 1 Conseguir la resolución de una asignación implica recoger información y datos de otros. Cómo lo hace usted?. Deme ejemplos. 2 ¿Recuerda alguna situación problemática que haya tenido que solucionar recientemente? ¿Qué pasó?¿Cómo la identificó? ¿Cómo la analizó?¿Cómo la resolvió?¿Cómo organizó el trabajo suyo y el de sus colaboradores? 3 Cuénteme una decisión importante que haya tenido que tomar recientemente en su trabajo. ¿Cuál era la situación?¿Porqué escogió esa alternativa? 4 Describa un desafío importante que usted haya asumido en los últimos meses. ¿Qué elementos consideró para hacer frente a la situación?¿Cuáles de éstos consideró prioritarios? ¿Cómo manejó la situación? 5 ¿Alguna vez tuvo un producto o servicio que estuviera en problemas?¿Cuáles eran las causas del problema?¿Qué decisiones tomó?¿Qué consecuencias previó que podrían suscitarse al tomar esos cursos de acción?¿Cuál fue el resultado final? 6 ¿Cómo identifica problemas potenciales en su sector? 7 Descríbame una situación compleja por la que haya atravesado su departamento en los últimos años. ¿Cómo analizó la situación? ¿Qué decisiones tuvo que tomar?¿Cómo coordinó su equipo de trabajo? 8 ¿Utiliza datos financieros en su trabajo?¿Qué estadísticas presenta en sus informes? 9 ¿Considera usted que las tareas que realiza son relevantes para la organización?¿Cuál es su grado de importancia y porqué? (Alles, 2003, p.149) Dados los grandes avances tecnológicos, existe un nuevo grupo de cuatro competencias básicas que permiten clasificar a las personas como alfabetos o analfabetas tecnológicos.(Graham, 2003, citada en Gaide, 2004), las cuales son: • Creación de documentos electrónicos (procesador de palabras y publicaciones electrónicas) • Organización de datos (administración de hojas de datos y bases de datos, elaboración de tablas y gráficas) • Presentación para comunicar ideas y pensamientos • Comunicación electrónica (correo electrónico, mensajería instantánea y navegación en Internet) 17
  • 18.
    Ubica cada competenciaen dos niveles: 1, que corresponde a habilidades básicas y 2 que hace referencia a habilidades avanzadas. Agrega que las universidades deben considerar estas competencias como centrales y que deben evaluar no solo lo que enseñan sino también lo que aprenden los alumnos. Considera que las universidades deben proponerse que por lo menos el 80% de sus alumnos manejen estas habilidades en el nivel 2. En el estudio de la OCDE conocido como PISA (Kjaernsli y Lie, 2004), se evaluaron las competencias en estudiantes de secundaria presentando textos reales, como artículos de periódicos o revistas, y formulando preguntas de opción múltiple o de respuesta construida.. En un ejemplo que proporcionan, partir del texto se pedía a los estudiantes que dieran una explicación para diversas situaciones del texto (para evaluar el proceso intelectual de valorar críticamente datos científicos, el conocimiento de hechos y la comprensión conceptual). Por su parte, Kersh y Evans (2005) describen un proceso de autoevaluación de habilidades y competencias que fue utilizado para evaluar el aprendizaje de adultos y promover el aprendizaje posterior, no para certificar ni acreditar competencias Benítez (2006) diferencia la perspectiva gerencial de la curricular sobre las competencias. Desde el punto de vista curricular o educativo competencia es la “aptitud para desempeñar idóneamente un oficio u ocupación” (p.1) y el concepto se utiliza para certificar la competencia. Por lo tanto, la competencia se considera una variable discreta y binaria que solo puede tener dos valores: competente o no competente. Para proporcionar el juicio anterior se puede utilizar una variable continua que ubica el 100 como la competencia requerida pero proporciona cierto margen de error de modo que establece un punto de corte indicando que de 92 puntos en adelante la persona se considera competente. Desde el punto de vista gerencial, el desempeño adecuado de cada puesto requiere la aplicación de cierto número de competencias, entendiendo éstas como 18
  • 19.
    “características personales subyacentesque soportan el desempeño superior” (p. 2). Aunque dos o más puestos compartan como requisito una misma competencia, no necesariamente en cada puesto se requiere un nivel de dominio del 100 por ciento. Por lo tanto, se establecen, generalmente, de 1 a 4 niveles de dominio que varían desde básico hasta intermedio, avanzado y maestría. Posteriormente, este nivel se interpreta en base a lo requerido por el puesto en los niveles de “por debajo de”, “a nivel de” o “por encima de las exigencias del cargo”. CONCLUSIONES Aunque la evaluación de competencias se basa en el principio de la evidencia del desempeño, para el seguimiento de egresados con base en este enfoque se propone el uso de un instrumento de auto-reporte en el cual los egresados evalúen, de acuerdo a su percepción, el grado en el cual su institución educativa les proporcionó las competencias evaluadas. Para ello es posible retomar las definiciones utilizadas por Alles (2002 y 2003) y adaptarlas al esquema de autoreporte en donde éstas sean calificadas con una escala tipo Likert, con el énfasis en la instrucción, de evaluar el grado en el cual su institución educativa promovió el desarrollo de cada competencia, tal como fue indicado por Warn y Tranter (2001) Tabla 6. Propuesta SEGUIMIENTO DE EGRESADOS (Nombre de la Universidad) Con el fin de determinar en que grado nuestros planes de estudio están cumpliendo con su objetivo, te pedimos que indiques en qué grado contribuyó tu universidad, a lo largo del estudio de tu carrera, al desarrollo de las siguientes competencias profesionales de acuerdo a la siguiente escala: A.- No me proporcionaron ninguna experiencia relacionada con el desarrollo de esta competencia B.- Me proporcionaron algunas experiencias aisladas relacionadas con el desarrollo de esta competencia C.-Me proporcionaron pocos experiencias, bien organizadas y supervisadas, relacionadas con el desarrollo de esta competencia D.- Me proporcionaron muchas experiencias, bien organizadas y supervisadas, relacionadas con el desarrollo de esta competencia 19
  • 20.
    COMPETENCIAS A B C D HABILIDAD ANALÍTICA Es la capacidad general que tiene una persona para realizar un análisis lógico, la capacidad de identificar los problemas, reconocer la información significativa, buscar y coordinar los datos relevantes. Para que ésta evaluación pueda ser común a todos los planes y programas de estudio se recomienda considerar solo las competencias profesionales genéricas, es decir, las comunes a todas las profesiones como trabajo en equipo, análisis, integración, organización, etc., (en particular, a las indicadas en la filosofía institucional y en el perfil de egreso de cada universidad) sin entrar a las específicas de cada profesión (ya éstas están siendo evaluadas por otras instancias como el CENEVAL). Para la evaluación de competencias genéricas se puede elaborar un instrumento que contenga un máximo de veinte competencias de modo que se pueda responder en poco tiempo y que se pueda ajustar a un formato electrónico para ser contestada en el portal de la universidad. Los esquemas alternativos de entrevistas y evaluación de evidencias resultan más difíciles de elaborar, implican entrenamiento a los evaluadores, son más costosos y los beneficios no compensan todos estos costos. (Ver tabla 7) Entre las ventajas del esquema de autoreporte están su viabilidad, sencillez, rapidez y menor costo económico. : Además, autores como Hollon y Bemis (1981) indican que la precisión de los autoreportes (entendida como el grado en que lo que se reporta concuerda con lo que realmente ha ocurrido) puede ser alta y confiable, sobre todo cuando se está enfocando la atención en evaluar a la institución educativa ( y no a sí mismo). Tabla 7. Comparación de ventajas y desventajas de las alternativas de evaluación de competencias AUTOREPORTE ENTREVISTA EVALUACION DE 20
  • 21.
    EVIDENCIAS Ventajas: Ventajas: Ventajas: • Elaboración • Basada en un • Evaluación integral sencilla número limitado de • Basada en • Aplicación fácil y evidencias diversas rápida • Evaluación que evidencias • Rapidez al calificar considera • Combina • Bajo costo conocimientos, información de • Confiabilidad actitudes y valores diversas fuentes: aceptable • Se basa en pocos examen, casos reales e entrevista, hipotéticos expedientes, portafolios, casos trabajados, casos simulados o hipotéticos, etc. Desventajas: Desventajas: Desventajas: • No es integral • Solo evalúa • Dependencia de la • No se apega a la parcialmente disponibilidad del recolección de habilidades evaluado evidencias • Necesidad de • Alto costo definir criterios de • Elaboración calificación complicada (definición de estándares y elaboración de técnicas) • Ocupa mas tiempo de evaluado y evaluadora • Necesidad de sistematizar la aplicación con manuales y entrenamiento) • Necesidad de asegurar la confiabilidad en la calificación Aunque se recomienda la primera alternativa (autoreporte) por ser la mas viable para aplicar con egresados que ya tengan tiempo de haber terminado sus estudios, siguen existiendo las dos opciones restantes con un nivel intermedio y 21
  • 22.
    alto de elaboración(entrevista y evidencias) para cuando la universidad pueda disponer de los recursos y facilidad de contacto con los egresados. Para completar esta propuesta, se plantean una serie de preguntas que deberán ser contestadas por cada IES: ¿cuál es el nivel de cercanía al que se puede tener acceso en torno a sus egresados?, ¿en qué momentos puede evaluar sus competencias?, ¿cuándo están próximos a salir?, ¿un año después?, ¿cinco, diez o más años?, ¿de qué manera se puede evaluar a los egresados?, ¿cuáles serían los beneficios de realizar una investigación sobre los egresados basados en un modelo de competencias?, ¿qué limitaciones tendría este tipo de abordaje? ¿cuál sería su unidad de estudio: un egresado, una empresa en particular o ambos?, ¿podrán ser las instituciones certificadoras de los distintos campos o áreas profesionales las que proporcionen información sobre sus egresados?, ¿de que manera es posible retroalimentar la formación en cada institución educativa?. Las respuestas a estos cuestionamientos abren una serie de posibilidades respecto a la postura de cada institución en torno a la formación de sus estudiantes y del grado de cercanía en el seguimiento de egresados. Incorporar el modelo de educación por competencias profesionales o evaluar el desarrollo de las mismas durante su formación profesional o años después del egreso, es una decisión particular y respetable de cada Institución Educativa, sin embargo, en éste momento, es el modelo con el que se construyen los nuevos planes y programas de educación básica en México (de preescolar a secundaria) y es el modelo de selección de personal de las empresas trasnacionales y de varios países desarrollados (Inglaterra, Francia, Canadá, Australia, Estados Unidos). Incorporar este esquema permitiría compartir el lenguaje común cada vez mas globalizado de formar y evaluar por competencias (demostrando, con acciones, que se tienen las habilidades, actitudes, conocimientos y valores para realizar determinada tarea), que se está formando en competencias profesionales y laborales, pero sobre todo en competencias para la vida: para saber, saber ser, saber hacer y saber convivir. 22
  • 23.
    Referencias Alles, M. (2002).Gestión por competencias: El diccionario. Buenos Aires: Granica. Alles, M. (2003). Elija al mejor. Como entrevistar por competencias. Buenos Aires: Granica. Benitez, J.(2006). Medición, evaluación y diagnóstico de competencias. Accesado el 21 de febrero de 2006 en www.gestiopolis.com/canales5/rrhh/medivay. htmI Brown, F.G. (2000). Principios de la medición en Psicología y educación. Primera edición 9ª. Reimpresión. México: Manual Moderno, 1976. Centro Nacional de Evaluación para la Educación Superior, A.C. (1999). Guía del Examen General para el egreso de la licenciatura en Psicología, México: CENEVAL Colardyn, D. (2002). La evaluación basada en competencias. Documento conceptual. Accesado el 21 de febrero de 2006 en www.ons.org/udse/ secondary/documentos/1-Trad%20ASSESSMENT20%base-1.DOC CONOCER Y SAGAR. (1999). La competencia laboral y la inocuidad alimentaria. México: Nacional Financiera, SNC, Fiduciaria del fideicomiso de los Sistemas Normalizado de Competencia laboral y de Certificación de competencia laboral. Fletcher, S. (2000). Diseño de Capacitación basada en Competencias laborales. México; Panorama. Gaide, S. (2004). Are technical skills “core competencies”? How do we measure them?. Distance education Report, november 15. Gonczi, A. (1994). Competency based assessment in the professions in Australia. Assessment in Education: Principles, Policy and Practice, 1(1), pp. 27-41 Harrington, T.(1995). Assessment of abilities (ERIC Digest). Greensboro, NC: ERIC Clearinghouse on Counseling and Student Services [ED 389960] Herverly, M y Fitt, D. X. (1994) Classroom assessment of student competencies. Assessment and Evaluation on higher education, 19(3). pp.215-224. Hollon, S. D. y Bemis, K. M. (1981 ) Self-report and the assessment of cognitive functions. En: M. Hersen y A.S. Bellack. Behavioral Assessment. A practical handbook.(2nd Edition). New York: Pergamon Press. Kersch, N y Evans, K. (2005). Self evaluation of tacit skills and competences of adult learning. European Education, 37(2), pp. 87-98. Kjaernsli , M y Lie, S. (2004). PISA and Scientific Literacy: similarities and differ- ences between the Nordic countries. Scandinavian Journal of Educational Research, 48(4), pp. 271-286. 23
  • 24.
    McClelland, D. (1998).Identifying competencies with behavioral-event interview. Psychological science, 9(5), pp. 331-339 Medel, J. O. y Flores, C. A. (2002). Acuerdo 286: La experiencia del CENEVAL en la acreditación de competencias profesionales. Memorias del Quinto Foro de Evaluación Educativa. Norman, I. J., Watson, R. Murrells, T, Calman, L. & Redfern, S. (2002). The va- lidity and reliability of methods to assess the competence to practise of pre- registration nursing and midwifery students. International Journal of Nursing Studies, 39(2), 133-145. Samperio, L. M. (2002). Reflexiones sobre la evaluación de las competencias laborales. Memorias del Quinto Foro de Evaluación Educativa SENCE (2003). Enfoque de Capacitación por competencias, Innovación y Desarrollo. Subdepartamento de Estudios. Apuntes Técnicos. Recuperado el 2 de enero de 2006 de http://www.sence.cl/CAPACITxCOMPETENCIA/ ApunteTEcnicoCapacitaciOnbasadAenCompetencias2.pdf SEP (2001). Programa Nacional de Educación 2001-2006. D. F. México: Secretaria de Educación Pública. Trull, T. T. y Phares, E. J. (2003). Psicología clínica. Conceptos, métodos y aspectos prácticos de la profesión. 5ª. Edición. México: Thompson. Vargas, F. (2001). La evaluación basada en competencias. Una breve guía ilustrada con un caso de aplicación práctica. Documento CINTERFOR Warn, J. y Tranter, P. (2001). Measuring Quality in Higher Education: a competen- cy approach. Quality in Higher Education, 7(3). pp. 191- Whitear, G. (1997). Para entender la evaluación. Competencia laboral. Normalización, certificación, educación y capacitación. Antología de lecturas, tomo 1. México: Conocer y Alambra Mexicana. 24