SlideShare una empresa de Scribd logo
1 de 69
1
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
(SÍNTESIS DEL
DOCUMENTO DE TRABAJO)
ELABORACIÓN Y VALIDACIÓN
DE INSTRUMENTOS DE
EVALUACIÓN DE
COMPETENCIAS
PROFESIONALES
2012
2
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
El presente documento es la síntesis de los aspectos importantes que
comprende el documento de trabajo titulado elaboración y validación de
instrumentos de evaluación de competencias profesionales, elaborado por la
DEC-CONEAU en el 2012 con la finalidad de servir de soporte de aprendizaje a
los que se forman como evaluadores de competencias profesionales.
Por ser una parte del documento de trabajo, se aborda desde la
metodología para la elaboración de instrumentos de evaluación de
competencias profesionales que comprende los procedimientos generales para
la elaboración de la matriz de instrumentos de evaluación de competencias
profesionales, explicando sus componentes como son: los criterios de
desempeño, indicadores y reactivos de evaluación así como las evidencias
requeridas para la evaluación.
Un aspecto importante del documento es la elaboración de instrumentos
para la evaluación de competencias profesionales, se describe los requisitos,
componentes y tipos de instrumentos como son: las listas de chequeo para el
recojo de evidencias de desempeño y producto y el cuestionario para el recojo
de evidencias conocimientos
El documento finaliza abordando la validez de instrumentos de
evaluación, desde la validación externa donde se describe el procedimiento de
la validez de contenido por juicio de expertos, las evidencias basadas en el
contenido con ejemplos de procedimiento de validez según Gregory y la V de
AIKEN. Un aspecto importante que se detalla también es la confiabilidad de un
instrumento según métodos en el cálculo de la fiabilidad.
3
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
SISTEMA NACIONAL DE EVALUACIÓN, ACREDITACIÓN Y CERTIFICACIÓN DE
LA CALIDAD EDUCATIVA - S.I.N.E.A.C.E
Consejo Superior:
Peregrina Morgan Lora (IPEBA) PRESIDENTE
Jaime Zárate Aguilar (CONEAU)
Luis Humberto Ludeña Saldaña (CONEACES)
CONSEJO DE EVALUACIÓN, ACREDITACIÓN Y CERTIFICACIÓN DE LA
CALIDAD DE LA EDUCACIÓN SUPERIOR UNIVERSITARIA - C.O.N.E.A.U.
Directorio:
Jaime Zárate Aguilar
Miguel Ángel Saravia Rojas
Francisco Delgado de la Flor Badaracco
Jonathan Golergant Niego
Edwin Uribe Pomalaza
Wilson Alcántara Vidal
Dirección de Evaluación y Certificación:
Elaborado por: Revisado por: Aprobado por:
Ítala Navarro Montenegro
Ruth Seminario Rivas
Silvia Bravo Hernández
Myriam Sosa Espinoza
Valia Venegas Mejía
Lima-Perú
4
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
INTRODUCCIÓN
La Certificación profesional en el Perú es una realidad aún incipiente y débil. Tres años
de trabajo conjunto, CONEAU-Colegios Profesionales, es poco tiempo para los logros
alcanzados a la fecha. Sin embargo, ello no nos desvía del convencimiento de que hay
muchos aspectos a mejorar.
Uno de los aspectos críticos de la evaluación de competencias es el recojo de
evidencias del postulante, a través del empleo de instrumentos de evaluación con
características idóneas, válidos y confiables.
Con base en la experiencia desarrollada hasta ahora de capacitación para el
fortalecimiento de capacidades en los colegios profesionales y en una dinámica de
mejora continua, la DEC-CONEAU ha diseñado y está ejecutando el Curso de
elaboración de instrumentos para la evaluación de competencias profesionales.
El curso, aborda los aspectos conceptuales generales de la evaluación de
competencias y la elaboración de los instrumentos más utilizados para ella, enfatiza
dos aspectos esenciales. El primero es una metodología para asegurar que los
instrumentos se elaboren cubriendo todos los componentes de la norma de
competencia a través de una matriz de consistencia; y el segundo es el desarrollo de
procesos de validación externa e interna de los instrumentos elaborados.
El presente es todavía un documento de trabajo que busca orientar a los participantes
que se forman como evaluadores de competencias profesionales correspondientes al
módulo denominado instrumentos de evaluación de competencias profesionales,
esperamos mejorarlo con los aportes y críticas constructivas de sus lectores.
Un agradecimiento especial a la Profesora Ítala Navarro Montenegro por su sustantivo
aporte al presente documento.
5
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
ÍNDICE
1. CONCEPTOS CLAVES Y CONSIDERACIONES IMPORTANTES PARA LA
ELABORACIÓN DE INSTRUMENTOS DE EVALUACIÓN DE COMPETENCIAS
PROFESIONALES.
2. MARCO CONCEPTUAL DE LA EVALUACIÓN DE COMPETENCIAS PROFESIONALES
2.1 Definiciones de evaluación de competencias profesionales
2.2 Evaluación tradicional frente a evaluación de competencias
2.3.Evaluación de competencias profesionales en el Perú
2.4 Características de la evaluación de competencias
2.5 Principios básicos de la evaluación de competencias
2.6 Fases o etapas de la evaluación de competencias
2.7. Norma de competencia como estándar de evaluación de competencias profesionales
3. METODOLOGÍA PARA LA ELABORACIÓN DE INSTRUMENTOS DE EVALUACIÓN DE
COMPETENCIAS PROFESIONALES.
3.1 Procedimientos generales para elaboración de la matriz de instrumentos de evaluación de
competencias profesionales
3.2. Criterios de desempeño
3.3 indicadores de evaluación
3.4. Reactivos de evaluación
3.5 evidencias requeridas para la evaluación de competencias
4. ELABORACIÓN DE INSTRUMENTOS PARA LA EVALUACION DE COMPETENCIAS
PROFESIONALES.
4.1 Instrumentos de evaluación de competencias
4.1.1 Requisitos de los Instrumentos de evaluación
4.1.2 Componentes del instrumento de evaluación:
4.1.3 Instrumentos de evaluación para el recojo de evidencias de desempeño y producto
4.1.3.1 La Lista de Chequeo
4.1.4 instrumento de evaluación de conocimientos. Cuestionario
4.1.5 pasos para la elaboración del cuestionario.
5. VALIDEZ DE UN INSTRUMENTO.
5.1 Validación externa de instrumentos de evaluación
5.1.1 Procedimiento de la validez de contenido por juicio de expertos
5.1.2 Evidencias basadas en el contenido
5.1.3 Ejemplo de procedimiento de validez según Gregory y la V de AIKEN.
5.2 Confiabilidad
5.2.1 Confiabilidad de un instrumento
5.2.2 Enfoques y métodos en el cálculo de la fiabilidad
ANEXOS
6
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
3. METODOLOGÍA PARA LA ELABORACIÓN DE INSTRUMENTOS DE
EVALUACIÓN DE COMPETENCIAS PROFESIONALES
La evaluación de competencias profesionales es un proceso importante y complejo
con varias etapas y procedimientos en cada una de ellas. Por ello es necesario
establecer una metodología pertinente que permita la congruencia y consistencia de la
evaluación a través de instrumentos válidos y confiables.
La metodología para la elaboración de instrumentos de evaluación de competencias
profesionales consiste en elaborar una matriz de consistencia y congruencia de todos
los componentes de la norma de competencia, estableciendo indicadores que
permitan elaborar los reactivos o preguntas según técnicas e instrumentos para el
recojo de las evidencias requeridas.
Una Matriz o rúbrica es una tabla de doble entrada, en la evaluación de competencias
se emplea para ordenar todos los componentes de la norma de competencia a
evaluar, con la finalidad de establecer los indicadores de evaluación según los tipos de
evidencias para que partir de estos se formulen los reactivos o preguntas que irán en
el instrumento de evaluación.
La matriz permite organizar todos los componentes de la norma a evaluar de manera
total y sistemática.
3.1 Procedimientos generales para elaboración de la matriz de
instrumentos de evaluación de competencias profesionales
Para la construcción de la matriz se recomiendan los siguientes pasos:
1) Colocar en la primera columna de la matriz la norma de competencia a evaluar
(recuerda que la norma está integrada por competencias concretas a las que
se les denomina elementos de competencia.)
2) En la segunda columna colocar en orden cada elemento de competencia de la
norma a evaluar, esto es muy importante para ubicar los criterios en el
elemento de competencia que le corresponda.
3) En la tercera columna colocar los criterios correspondientes al elemento de
competencia. Realizar igual con todos los elementos de la norma.
4) En la cuarta columna colocar el rango correspondiente al elemento de
competencia
5) En la quinta columna colocar todos los conocimientos y comprensión
esenciales del elemento de competencia
6) En la sexta columna establecer los indicadores según evidencias de
evaluación, está columna se subdivide en tres para los indicadores de
conocimiento, desempeño y producto. Cada indicador se formula analizando
cada criterio de desempeño, el rango y los conocimientos y comprensión
esenciales correspondientes al criterio analizado. Ejemplo: si en el elemento de
competencia Recoger evidencias de las competencias del postulante según
pautas establecidas por la entidad certificadora y CONEAU, de la norma:
Ejecutar la evaluación de las competencias de los postulantes, según las
normas y procedimientos establecidos por la entidad certificadora, tiene los
criterios a,b,c,d,e y en los conocimientos y comprensión esenciales el
conocimiento 1 está relacionado al criterio a) el conocimiento 2, 3, 4 y 5
también; quiere decir que ningún criterio puede quedar al margen del
conocimiento establecido en la norma por lo tanto el criterio a) tiene cinco
7
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
indicadores. Es bueno también revisar el rango que debe ser cubierto o estar
relacionado con los criterios y conocimientos. En la construcción de los
indicadores de conocimientos se debe considerar los niveles de complejidad
del pensamiento: baja, media y alta, utilizando para ello una taxonomía en
coherencia al criterio requerido en la norma y la experticia del profesional. Los
niveles de complejidad de los indicadores formulados determinaran los pesos
para colocar el puntaje de las preguntas.
Para formular los indicadores de desempeño se analiza el criterio
correspondiente y se redacta en acción de desempeño observable, ejemplo:
Orienta al postulante sobre la evaluación según evidencia a recoger y pautas
establecidas.
Los indicadores de producto se formulan analizando cada criterio, según lo
que indica el criterio, ejemplo: registro de instrumento de desempeño.
7) Establecer las técnicas y los instrumentos en la parte final de las columnas que
corresponde a los indicadores según evidencias. Ejemplo: para recoger
evidencias de conocimiento la técnica es formulación de preguntas y el
instrumente el cuestionario. Para el recojo de evidencias de desempeño la
técnica de evaluación es observación y su instrumento la lista de chequeo de
desempeño, la técnica para el recojo de evidencias de producto es la
valoración de producto y su instrumento la lista de chequeo de producto.
SECUENCIA PARA LA ELABORACIÓN DE MATRIZ DE CONSISTENCIA DE
INSTRUMENTOS DE EVALUACIÓN DE COMPETENCIAS PROFESIONALES
A continuación un ejemplo de matriz de elaboración de instrumentos de evaluación de
competencias profesionales:
NORMA DE COMPETENCIA Y ELEMENTOS DE
COMPETENCIA A EVALUAR
CRITERIOS DE DESEMPEÑO DEL ELEMENTO
DE COMPETENCIA
FORMULACIÓN DE INDICADORES DE
EVALUACION SEGÚN EVIDENCIAS DE
DESEMPEÑO CONOCIMIENTO Y PRODUCTO
1
2
3 RANGO
CONOCIMIENTOS Y COMPRENSIÓN
ESENCIALES4
5
8
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
MATRIZ DE CONSISTENCIA PARA LA ELABORACIÓN DE INSTRUMENTOS DE EVALUACIÓN DE
COMPETENCIAS PROFESIONALES
NORMA DE
COMPETENCIA
ELEMEN
TOS
CRITERIOS DE
DESEMPEÑO
RANGO CONOCIMIENTOS
Y COMPRENSIÓN
ESENCIALES
INDICADORES DE EVALUACIÓN SEGÙN EVIDENCIAS
Ejecutar la
evaluación de las
competencias de
los postulantes,
según las normas y
procedimientos
establecidos por la
entidad
1.
Recoger
evidenci
as de las
compete
ncias del
postulan
te según
pautas
estableci
das por
la
entidad
certifica
dora y
CONEA
U.
CONOCIMIENTO DESEMPEÑO PRODUCT
O
a) El postulante
es orientado
sobre la
evaluación, según
tipos de
evidencias a
recoger y pautas
establecidas.
Técnicas de
evaluación:
Observación
en ambiente
real
Simulación
Valoración de
productos
Formulación
de preguntas
Tipos de
evidencias:
Conocimiento
Desempeño
Producto
1. Normas de
competencias en
que se evaluará al
postulante
priorizadas por la
entidad
certificadora. (a, b,
c, d)
2.Habilidades
sociales del
evaluador de
competencias (Guía
del participante del
curso de
evaluadores) (a)
3.Técnicas de
evaluación de
competencias
según Guía de
evaluación
CONEAU ( a, b, c,
d)
4.Tipos de
evidencias para la
evaluación de
competencias
según Guía de
1. Identifica las normas de competencia a evaluar,
según priorización de la Entidad certificadora.
2. Identifica la comunicación asertiva como habilidad
social del evaluador.
3. Diferencia las técnicas de evaluación de
competencias según guía de participantes del
curso de evaluadores
4. Identifica los tipos,características y condiciones de
instrumentos de evaluación de competencias a
aplicar según guía de evaluación CONEAU.
5.Analiza los tipos de evidencias para la evaluación
de competencias según directrices de
normalización CONEAU.
6.Analiza la actuación ética del evaluador en un
caso.
7.Identifica los procedimientos para la aplicación de
los instrumentos de evaluación de competencias.
1.Orienta al
postulante
sobre la
evaluación
según
evidencia a
recoger y
pautas
establecidas
b) Los
instrumentos de
evaluación de
conocimiento se
aplican de
acuerdo a las
evidencias a
recoger y pautas
establecidas.
1. Identifica las evidencias de conocimiento de
las normas de competencia a evaluar.
2. Describe el procedimiento del uso de
instrumentos de recojo de evidencias de
conocimiento,según técnica.
3. Identifica evidencias de conocimiento para
la evaluación de competencias
4. Analiza la actuación ética del evaluador en
casos de aplicación de instrumentos de evaluación
de conocimiento.
5. Analiza un caso de aplicación de un
cuestionario.
6. Analiza un caso de registro de evidencias de
conocimiento.
2. Aplica
instrumentos
de
conocimiento
según
evidencia a
recoger y
pautas
establecidas.
Registros
de
instrument
os de
conocimien
to
aplicados
9
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
certificadora. c) Los
instrumentos de
evaluación de
desempeño se
aplican de
acuerdo a las
evidencias a
recoger y pautas
establecidas.
Tipos de
instrumentos:
Cuestionario
Lista de
chequeo
evaluación
CONEAU (a, b, c,
d)
5.Pautas éticas de
la evaluación de
competencias
según código de
ética del evaluador
CONEAU(a, b, c, d
y e)
6. Procedimientos
para la aplicación
de los instrumentos
de evaluación de
competencias
según Guía de
evaluación de
CONEAU (a, b, c,
d).
7. Procedimiento
para el registro de
evidencias según
Guía de evaluación
CONEAU (b, c, d,
e).
8. Pautas para la
determinación del
logro de las
competencias
según Guía de
evaluación
CONEAU (e).
1. Analiza las evidencias de desempeño de las
normas de competencia a evaluar en un caso
2. Relaciona el instrumento de evaluación de
desempeño con a técnica correspondiente a la
evidencia a recoger
3. Describe las características,condiciones y
procedimientos del uso del instrumento de
evaluación de desempeño.
4. Analiza la actuación ética del evaluador en casos
de aplicación de instrumentos de evaluación de
desempeño.
5. Analiza la aplicación de una lista de verificación de
desempeño en un caso.
6. Describe el procedimiento para el registro de
evidencias.
3. Aplica
instrumentos
de desempeño
según
evidencia a
recoger
Registro
de
instrument
o de
desempeñ
o
d) Los
instrumentos de
evaluación de
producto se
aplican de
acuerdo a las
evidencias a
recoger y pautas
establecidas.
1. Identifica las evidencias de producto de las
normas de competencia a evaluar.
2. Relaciona el instrumento de evaluación de
producto con la técnica correspondiente a la
evidencia a recoger
3. Describe las características,condiciones y
procedimientos del uso del instrumento de
evaluación de producto.
4. Analiza la actuación ética del evaluador en
casos de aplicación de instrumentos de evaluación
de producto.
5. Describe los procedimientos para la
aplicación del instrumento de evaluación de
producto.
6. Describe el procedimiento para el registro de
evidencias de producto
4. Aplica
instrumentos
de producto
según
evidencia a
recoger
Registro
de
instrument
o de
producto
e) La
determinación del
logro de la
competencia es
registrada en los
formatos
establecidos
según pautas
establecidas.
1. Reconoce los principios éticos en la
determinación del logro de las competencias ysu
registro.
2. Analiza los procedimientos para la
determinación del logro de las competencias.
3. Describe el procedimiento para el registro del logro
de las competencias.
5. Registra el
logro de la
competencia
en los
formatos
establecidos
Registro
de logro de
competenc
ia
10
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
2.
Comunic
ar a los
actores
involucra
dos los
resultado
s de la
evaluació
n, según
normas
estableci
das
a) Los
expedientes
de los
postulantes
evaluados son
revisados y
organizados
de acuerdo a
pautas de la
entidad
certificadora.
Actores
Involucrados
.Postulante
evaluado
.Responsables
de
evaluación/ges
tión
-
Resultado de
la evaluación
-Demostró la
Competencia
- no demostró
la
competencia
1.Organización del
expediente del
evaluado para el
informe final de la
evaluación (en
Guía
Procedimientos
para la
Evaluación de
Competencias
con fines de
certificación
profesional-
CONEAU) (a)
2. Pautas para la
comunicación de
los resultados a
los postulantes
evaluados (en
Guía de
evaluación
CONEAU)(b).
3. Pautas de
elaboración del
informe (en Guía
Procedimientos
para la
Evaluación de
Competencias
con fines de
certificación
profesional-
CONEAU) (c, d,
e).
4. Pautas para la
entrega del
informe (en Guía
Procedimientos
para la
evaluación de
1.Reconoce la organización del expediente del
evaluado para el informe final de la evaluación.
2. Analiza la ética del evaluador en relación a la
revisión y organización de los expedientes de los
postulantes evaluados.
1.Revisa y
organiza
expedientes
de evaluados
según pautas
de EC
Registro
de
verificación
y
expediente
s
organizado
s
b) La
comunicación
de los
resultados de
la evaluación
es realizada
de manera
individual,
empática,
asertiva y
respetuosa
con el
postulante
según pautas
establecidas.
1.Diferencia la comunicación individual, empática,
asertiva, y respetuosa de los resultados de la
evaluación.
2. Analiza las formas de comunicación de los
resultados en un caso.
2. Comunica al
postulante los
resultados de
la evaluación
de manera
empática,
asertiva,
respetuosa
siguiendo
pautas
establecidas.
c) La redacción
del informe
final a la EC
es realizada
con la
participación
del equipo
evaluador.
1.Reconoce las recomendaciones para la elaboración
del informe final de resultados de la evaluación.
3.Redacta el
informe final a
la EC con
participación
del equipo
evaluador
Informe
final
consolidad
o de
resultados
de
evaluación
de
competenc
ias
d) El informe de
la evaluación
de
1. Identifica las partes del informe final de la
evaluación.
3. Analiza las pautas éticas del evaluador de
4. Redacta el
informe final
cumpliendo
11
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
competencias
es redactado
cumpliendo
las
recomendacio
nes
establecidas
por la entidad
certificadora.
competencias –
CONEAU) (e)
6. Pautas de
manejo de
contingencias en
la evaluación y
elaboración del
informe de la EC.
(e)
7. Pautas de ética
del evaluador de
competencias.
(a, e, d)
8. Contingencias en
la elaboración
del informe
según EC(f)
competencia en la redacción del informe. recomendacio
nes
establecida
por la EC
e) La
presentación del
informe se realiza
considerando su
integridad,
seguridad y
confidencialidad
de acuerdo a lo
establecido por la
EC.
1. Analiza las pautas para la presentación del
informe final de la evaluación de competencias en
un caso.
2. Identifica los principios éticos en la presentación
del informe final de la evaluación
5. Realiza la
presentación
del informe
considerando
su integridad,
seguridad y
confidencialida
d de acuerdo a
lo establecido
por la EC.
f) Las
contingencias
durante la
elaboración del
informe son
manejadas de
acuerdo a pautas
establecidas por
la EC.
1.Reconoce pautas para el manejo de contingencias
en la elaboración del informe a la EC.
2.Analiza las pautas éticas del evaluador de
competencias en el manejo de contingencias en la
elaboración del informe a la EC.
6. Maneja
contingencias
durante la
elaboración
del informe de
acuerdo a
pautas
establecidas
por la EC.
TECNICAS E INSTRUMENTOS SEGÙN EVIDENCIAS
Formulación de
peguntas-
Cuestionario
Observación-Lista
de chequeo de
desempeño
Análisis de producto-Lista de chequeo de
producto
12
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
3.2. CRITERIOS DE DESEMPEÑO
La evaluación por competencias se basa en criterios que son juicios técnicos y éticos
que orientan el desempeño profesional.
Los criterios de desempeño son la base para poder evaluar si un profesional alcanza
el resultado esperado del desempeño establecido en el elemento de competencia,
expresan lo que se espera del desempeño y el cómo se espera que sea el resultado.
Por lo tanto los criterios describen la calidad de los resultados de los desempeños,
identifican los aspectos esenciales o críticos para el desempeño del elemento de
competencia.
Expresión
Los criterios de desempeño se deben expresar con oraciones en las que se identifique
claramente el:
 Desempeño crítico o el resultado crítico, y
 Enunciado evaluativo.
Estructura gramatical
Los criterios se redactan siguiendo la estructura OBJETO+VERBO+CONDICIÓN,
donde el desempeño o resultado esperado que se expresa con el objeto y el verbo,
debe poder evaluarse con base en lo enunciado en la condición.
EJEMPLOS DE CRITERIOS
OBJETO VERBO CONDICIÓN
Sobre qué aplicar.
Sujeto o cosa sobre el
que se aplica la acción
Acción.
Acción principal del
profesional.
Cómo:
Especificación/restricción.
Los referentes para evaluar la
acción fundamental
EJEMPLO:
1. El postulante
2. Los instrumentos de
evaluación de
conocimiento
3.Los expedientes de
los postulantes
evaluados
4 .La comunicación de
los resultados de la
evaluación
es orientado
se aplican
son revisados y
organizados
es realizada
sobre la evaluación, según
tipos de evidencias a recoger y
pautas establecidas.
de acuerdo a las evidencias a
recoger y pautas establecidas.
de acuerdo a pautas de la
entidad certificadora.
de manera individual,
empática, asertiva y
respetuosa con el postulante
según pautas establecidas.
13
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
3.3 INDICADORES DE EVALUACIÓN
3.3.1 Definiciones
El Diccionario de la Real Academia Española define al indicador como aquello “que
indica o sirve para indicar”, mientras que este último término es a su vez definido como
"dar a entender o significar una cosa con indicios o señales". Una definición parecida
proporciona el diccionario Larousse, que define al indicador como aquello “que indica,
que permite conocer” o “que sirve para indicar”. Por su parte, el Oxford Dictionary lo
define como “una cosa que señala algo” o “un tablero que da información sobre la
situación actual”. 1
Los indicadores son construidos desde los criterios de desempeño descritos en el
elemento de competencia de la norma a evaluar.
Son definidos como medidas objetivas de los sucesos del proceso que a su vez
permiten evaluar si se está cumpliendo o no, o en qué medida, los criterios de
evaluación que se han elaborado.
Son variables empíricas que permiten al evaluador medir el elemento de competencia
y constituyen el máximo grado de operacionalización de la competencia profesional.
Los indicadores son específicos y concretos, sirven para elaborar los reactivos del
instrumento de medición.
3.3.2 Ventajas
 Los indicadores de evaluación describen las habilidades, conocimientos, y
actitudes, destrezas que se desean evaluar. Hacen observable a los criterios del
elemento de competencia permitiendo valorar el desempeño del profesional con
objetividad al recoger las evidencias.
 Permite la elaboración de instrumentos pertinentes.
 Permiten verificar el cumplimiento de los criterios de evaluación (condiciones de
desempeño).
3.3.3 Las características que deben tener los Indicadores:
 Representan una medida cuantitativa o cualitativa.
 Deben revelar los propósitos de los criterios de evaluación elaborados.
 Deben ser comprensibles para que puedan ser interpretados por todos los
involucrados en el proceso.
 Deben ser verificables.
 Deben servir para orientar futuras decisiones para mantener o modificar
acciones.
3.3.4 Estructura de un indicador
Los indicadores presentan generalmente los siguientes elementos: capacidad
específica o acción observable, contenido y condición de calidad.
1 Alejandro Tiana Ferrer. Indicadores de evaluación en educación.
14
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
Capacidad específica (acción) que, generalmente, hace alusión a una operación
mental.
Contenido hace posible el desarrollo de la capacidad específica. Responde a la
pregunta ¿qué es lo que... (la capacidad específica)? La respuesta es el contenido.
Condición en el que se evidencia el desarrollo de la capacidad en productos
tangibles.
Ejemplo:
Reconoce la organización del expediente del evaluado para el informe final de la
evaluación, según pautas establecidas.
¿Qué hace el evaluado? Capacidad específica o acción= Reconoce
¿Qué reconoce el evaluado? Contenido=La organización del expediente del evaluado
¿Cuál es la condición/producto? Condición de calidad = según pautas establecidas
para la organización de expediente del postulante a certificación
3.3.5. Recomendaciones
 Debe haber coherencia entre criterios, indicadores y las preguntas (reactivos,
ítems) que se plantean en el instrumento de evaluación. Para un indicador se
puede formular más de un reactivo o pregunta.
 Los criterios de evaluación son confundidos con los Indicadores y por lo tanto
tiene mala aplicación. Al elaborarlos se tendrá en cuenta que los criterios
representen lo sustantivo de los propósitos del elemento de competencia, y que
las medidas de los Indicadores permitan evaluar si se están cumpliendo esos
criterios de desempeño.
 Para establecer los indicadores de conocimiento es necesario considerar los
niveles de complejidad del pensamiento: bajo, medio y alto, de esa forma los
reactivos o preguntas medirán todos los niveles según taxonomía.
A continuación presentamos la complejidad de los niveles de pensamiento
expresado en capacidades y sus características.
COMPLEJIDAD DEL PENSAMIENTO
CAPACIDAD CARACTERÍSTICAS
Se observa la capacidad cuando el evaluado:
Identifica Señala algo, hace marcas, subraya, resalta expresiones,
hace listas, registra lo que observa, etc.
Relaciona Establece las conexiones lógicas, causales o
cronológicas entre hechos e ideas, buscando
coherencia o soluciones.
Infiere Extrae conclusión/es (“ir más allá”) a partir de la
interpretación.
Interpreta Identifica los aspectos fundamentales y comprende el
significado.
Juzga Apoya o rechaza una inferencia, con el respaldo de
15
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
argumentos.
Sintetiza Enuncia brevemente lo esencial de un tema,
organizándolo de un modo personal.
Identifica supuestos Descubre por inferencia algo que funciona como
fundamento y cuya verdad no ha sido probada.
Clasifica Distribuye objetos o ideas en clases o conjuntos,
según un criterio de clasificación.
En los anexos encontrará un cuadro completo de los niveles de complejidad del
pensamiento expresados en capacidades, según procesos mentales. También la de L
D´Hainaut)2
Ejemplo de criterios e indicadores de norma de competencia del evaluador:
CRITERIOS INDICADORES
a) El postulante es orientado
sobre la evaluación, según
tipos de evidencias a recoger
y pautas establecidas.
1. Identifica las normas de competencia a evaluar, según
priorización de la Entidad certificadora.
2. Identifica la comunicación asertiva como habilidad social
del evaluador.
3. Diferencia las técnicas de evaluación de competencias
según guía de participantes del curso de evaluadores
4. Identifica los tipos, características y condiciones de
instrumentos de evaluación de competencias a aplicar
según guía de evaluación CONEAU.
5. Analiza los tipos de evidencias para la evaluación de
competencias según directrices de normalización
CONEAU.
6. Analiza la actuación ética del evaluador en un caso.
7. Identifica los procedimientos para la aplicación de los
instrumentos de evaluación de competencias.
3.4. REACTIVOS DE EVALUACIÓN
Un reactivo es una unidad de medida, con un estímulo (pregunta, actividad, etc ) y
una respuesta preestablecida, de la cual se puede inferir el desempeño del evaluado
(conocimiento, habilidad, predisposición o cualidad). Adaptado de Osterlind (1990)
“Un reactivo es la formulación de una proposición o un problema para que sea
contestado por un sujeto, con el fin de conocer el nivel de dominio de un tema o área
de conocimiento determinado”
CENEVAL-UNAM 2006
De los conceptos anteriores podemos concluir que un reactivo es una pregunta a
contestar, afirmación a valorar, problema a resolver, característica a cubrir o acción a
realizar; están siempre contenidos en un instrumento de evaluación específico; tienen
la intención de provocar o identificar la manifestación de algún comportamiento,
respuesta o cualidad.
2 Ver CASAS, Luis. “Evaluaciónde capacidades yvaloresenla sociedad delconocimiento”. 2007. Editorial Norma
(fundamentos de la Taxonomía D’ HAINAUT comoherramienta útilpara evaluaciónde capacidades. Pág. 63-71)
16
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
El reactivo debe ser cuidadosamente construido, como base para conocer el logro de
la competencia.
Criterios para construir un reactivo (Osterlind, 2003)
1.-Los indicadores deben estar claramente definidos
2.- Debe haber congruencia entre los criterios indicadores y los reactivos, ya que es la
base de la validez
3.- La unidimensionalidad o atribución a una sola habilidad.
4.- La Independencia de la respuesta de un reactivo respecto a otro.
5.- El uso correcto del lenguaje, reglas de puntuación, redacción, etc.
Tipos de reactivos:
Existen diferentes reactivos, según el tipo de evidencia a recoger. Ejemplo reactivos
cognitivos para la evaluación de los conocimientos y reactivos cualitativos para
evidencias de desempeño y producto.
3.5 EVIDENCIAS REQUERIDAS PARA LA EVALUACIÓN DE COMPETENCIAS
3.5.1 Definiciones:
“Las evidencias son pruebas claras y objetivas, elementos tangibles que permiten
demostrar que se ha logrado cubrir de manera satisfactoria un requerimiento o un
criterio específico de desempeño”.3
"Pruebas necesarias para evaluar y juzgar la competencia laboral de una persona,
definida en los criterios de desempeño y los conocimientos y compresiones esenciales
y delimitadas por el rango de aplicación" (SENA, 2005)
De las definiciones podemos concluir que las evidencias son:
Pruebas claras y manifiestas de los conocimientos, habilidades, destrezas y actitudes
que una persona posee y que determinan su competencia.
Evidencia significa demostrar o poner de manifiesto algo. Las evidencias como parte
de los componentes de la competencia, refieren de manera precisa si el evaluado es
capaz de realizar la función referida en la competencia de manera consistente.
¿Por qué son valiosas?
– Demuestran el grado de alcance de la competencia
– Documentan la experiencia del evaluado.
– Conforman el portafolio del evaluado
– Son un insumo importante en el proceso de mejora
Los tipos de evidencias son:
3 Directrices para la identificación y normalización de competencias con fines de certificación
profesional. CONEAU-2da versión 2011
17
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
1. De desempeño
Son las habilidades, destrezas, conocimientos y actitudes aplicados en la
ejecución de una función.
2. De Producto
Es la demostración tangible, que resulta al ejecutar una función productiva, y su
valoración se fundamenta en las condiciones del criterio de desempeño.
3. De Conocimiento
Son los conocimientos que fundamentan la práctica; es el saber qué, por qué y
para qué. Son teorías, principios, conceptos e información relevante que una
persona aplica para lograr resultados en su desempeño laboral.
4-ELABORACIÓN DE INSTRUMENTOS PARA LA EVALUACION DE
COMPETENCIAS PROFESIONALES
4.1 Instrumentos de evaluación de competencias
El instrumento de evaluación es un documento referido a una norma de competencia
en el que se establecen los mecanismos que permiten determinar si una persona es
competente o no, con relación a una o varias funciones laborales. (CONOCER,
México)
El instrumento de evaluación es una herramienta destinada a documentar los aspectos
a verificar y sus resultados, en relación con las habilidades, destrezas y conocimientos
que poseen los trabajadores para desempeñar una función productiva, basándose en
una norma de competencia. (SENA, Colombia).
Los instrumentos de evaluación se constituyen en la base de un Sistema de
Evaluación y Certificación de Competencias, y de su planificación y organización
dependen sus resultados.
Para ello se debe aplicar técnicas y contar con instrumentos de evaluación elaborados
específicamente, que sean válidos y confiables.
Las evidencias de desempeño, son pruebas de la manera cómo el/la profesional
ejecuta los procedimientos y técnicas al realizar una función. Se evalúan
principalmente mediante la observación sistemática basada en indicadores de
desempeño que deben ser registradas rigurosamente; se puede complementar con
entrevista y videos.4
4 Adaptado de Tobón, S. Competencias, calidad y educación superior. Cooperativa Editorial, Magisterio,
Bogotá, Colombia 2006:143.
18
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
Las evidencias de producto, son pruebas o productos específicos que dan cuenta de
las finalidades de la competencia evaluada (resultado inmediato) en los que hay que
considerar sus requerimientos de calidad.i5
Las evidencias de conocimiento fundamentan la práctica; es el saber qué, por qué y
para qué. Son teorías, principios, conceptos e información relevante que una persona
aplica para lograr resultados en su desempeño profesional.
Dado que es indispensable recoger de manera eficaz las evidencias se hace necesaria
la selección del instrumento en coherencia a la técnica.
Existen diversas técnicas para evaluar competencias. Las técnicas son herramientas
metodológicas que permiten obtener las evidencias requeridas por la norma de
competencia durante el proceso de evaluación de desempeño de una persona. Es
conveniente definir la técnica que permita recoger el mayor número de evidencias
requeridas en la norma con el fin de reducir costos y hacer más eficiente el proceso de
evaluación. (SENA, Colombia. 20036
)
Las técnicas más usadas para recoger evidencias de desempeño son:
1. la observación directa en ambiente real de trabajo,
2. la simulación de situaciones,
3. análisis de productos, análisis de documentos, y
4. entrevistas.
1. Técnica de observación
La observación directa en ambiente real de trabajo es la técnica por excelencia
para recoger evidencias7
. A través de esta técnica se obtiene información sobre el
comportamiento o la conducta espontánea del profesional. Esta técnica es
aplicable en cualquier momento de la evaluación continua, aunque su mayor
utilidad está en el recojo de datos para valorar el dominio de procedimientos y el
desarrollo de actitudes durante el trabajo diario (relación consigo mismo, con sus
compañeros de trabajo, comprobar su índice de autoestima, capacidad autocrítica,
autonomía, colaboración, respeto, etc.).8
Para facilitar la observación y reducir las omisiones, sesgos y otros aspectos
subjetivos asociados al observador es imperativo la elaboración y uso de
instrumentos: listas de chequeo.
2. Simulación de Situaciones
La simulación de situaciones (SS) es una técnica a través de la cual se generan
condiciones similares a las reales de un ambiente o escenario laboral profesional,
pero teniendo bajo control diferentes variables complejas, como riesgo,
temperatura, situaciones atípicas que afectan el resultado esperado entre otras.
Se debe usar cuando no es posible la observación directa en el ambiente real de
trabajo, por razones de costos, riesgos, seguridad del paciente y del evaluado,
5Idem. Tobón 2006
6 Guía para seleccionar técnicas y elaborar instrumentos de evaluación de competencias laborales. SENA -
Colombia, 2003.
7Idem. SENA, Colombia. 2003
8 Adaptado de Canales, Isaac. …180?
19
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
baja frecuencia de la actividad, procurando una representación auténtica del
desempeño a evaluar.
3. Valoración de productos
Técnica utilizada cuando son observables los productos que genera la función
productiva; el producto refleja evidencias esenciales sobre el desempeño.
Los productos pueden ser registros, formatos, reportes, planes, informes, diseño
de procesos, maquetas, , entre otros, según la profesión.
Siempre la evaluación del producto debe hacerse con el rigor establecido para así
efectivamente determinar la competencia del evaluado.
Procedimiento para seleccionar las técnicas
1. Analizar globalmente las normas que componen la profesión.
2. Analizar la norma de competencia y los elementos que la integran.
3. Estudiar los componentes normativos de cada elemento.
4. Identificar para cada evidencia requerida la(s) técnica(s) más adecuadas para
su evaluación. Precisar cuáles evidencias se pueden obtener en el ambiente
real de trabajo, el sitio en que se pueden recoger, las que deben generarse por
simulación u otras técnicas, y determine (si la norma no lo señala), las veces
que se requiere ejecutar la misma actividad para recoger las evidencias. Tener
en cuenta aspectos claves: frecuencia, riesgo, complejidad, costos materiales,
secretos de la organización.
4.1.1 Requisitos de los Instrumentos de evaluación
Validez: Un instrumento es considerado válido cuando sirve para evaluar lo que se
pretende. En otras palabras: cuando la información que permite obtener es coherente
con los criterios y evidencias de desempeño, de producto y de conocimiento
estipulados en la norma.
Confiabilidad: Un instrumento es confiable cuando al ser aplicado por distintas
personas para evaluar a un mismo postulante, se obtienen resultados semejantes en
situaciones similares. Al ser utilizado por una persona para evaluar al mismo
postulante, en diversas oportunidades, se obtienen resultados semejantes.
Representatividad: La relevancia de los distintos aspectos considerados en detrimento
de los menos significativos.
Objetividad: independencia del juicio del evaluador en el registro de la información.
¿Quiénes elaboran los instrumentos de evaluación?
a. Un equipo técnico conformado por expertos en la competencia
correspondiente.
b. Formados en la metodología de evaluación y certificación de competencias y
c. Formados en la elaboración de instrumentos de evaluación de competencias.
¿Cómo se elabora un instrumento de evaluación?
20
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
Identificando en la matriz de consistencia para la elaboración de instrumentos de
evaluación, la técnica de evaluación y el tipo de instrumento según la evidencia a
recoger.
4.1.2 Componentes del instrumento de evaluación:
1. Información general para el proceso de evaluación
2. Introducción
3. Instrucciones de aplicación del instrumento.
4. Tabla de aplicación o cuerpo del instrumento.
5. Instrucciones para la calificación del instrumento.
6. Instrucciones para determinación del resultado.
7. Resultado
8. Retroalimentación al candidato.
9. Firmas correspondientes
4.1.3 Instrumentos de evaluación para el recojo de evidencias de desempeño y
producto
4.1.3.1 La Lista de Chequeo
Es un instrumento de evaluación que contiene una serie de enunciados afirmativos o
interrogativos sobre los resultados (hechos, características o secuencia de acciones,
entre otros) que debe demostrar una persona en su desempeño para ser considerada
competente. Estos resultados están previstos en la norma de competencia y mediante
la lista de chequeo se pretende constatar su presencia o ausencia.
Procedimiento de elaboración
1. Identificar los indicadores de desempeño establecidos en la matriz de
consistencia para la elaboración de instrumentos de evaluación de
competencias profesionales.
2. Según el orden secuencial de los indicadores redactar el reactivo (actividad del
desempeño).
Recomendaciones: Tener muy en cuenta lo siguiente:
1. Los reactivos deben ser ordenados en la secuencia del proceso.
2. Los reactivos deben ser claramente observables.
3. Los reactivos deben ser explícitos, con redacción directa y precisa.
4. Los reactivos deben posibilitar sólo distinciones dicotómicas (SI/NO), (correcto
/incorrecto).
5. La cantidad de reactivos es determinada por los indicadores de desempeño
Ejemplos de lista de chequeo de desempeño y producto.
21
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
LISTA DE CHEQUEO DEL DESEMPEÑO
I. INFORMACIÓN GENERAL PARA EL PROCESO DE EVALUACIÓN
FECHA DE INSCRIPCIÓN DÍA: MES: AÑO:
ENTIDAD CERTIFICADORA CONEAU
NOMBRES Y APELLIDOS
DE EVALUADOR (A):
LUGAR DE EVALUACIÓN
FECHA DE EVALUACIÓN
DATOS DEL EVALUADO (A)
DNI COLEGIATURA APELLIDO PATERNO APELIDO MATERNO NOMBRES
TIPO DE INSTRUMENTO
DE EVALUACIÓN
LISTA DE CHEQUEO DE
DESEMPEÑO
CÓDIGO DEL INSTRUMENTO DE EVALUACIÓN:
LChD-ECP-OD-003-DEC-2012
DATOS DE LA NORMA DE COMPETENCIA A EVALUAR
CÓDIGO VERSIÓN NOMBRE
3 1 Ejecutar la evaluación de las competencias de los postulantes, según las
normas y procedimientos establecidos por la entidad certificadora.
ELEMENTOS DE
COMPETENCIA
3.1 Recoger evidencias de las competencias del postulante según pautas establecidas
por la entidad certificadora y CONEAU..
3.2 Comunicara los actores involucrados los resultados de la evaluación, según normas
establecidas.
II. INTRODUCCIÓN
Este documento presenta el instrumento de evaluación del desempeño correspondiente el elemento de
competencia 3.1. “Recoger evidencias de las competencias del postulante según pautas
establecidas por la entidad certificadora y CONEAU”. Perteneciente a la Norma de Competencia 3,
que el evaluador(a) debe demostrar para ser considerado(a) competente en la norma correspondiente.
El presente instrumento de evaluación está diseñado para evaluar la competencia profesional de las
personas que se desempeñan como EVALUADORES DE COMPETENCIAS PROFESIONALES y
contiene las instrucciones que debe seguir para su aplicación.
Posteriormente se presentan las instrucciones de calificación del instrumento de evaluación, así como
para la emisión del juicio de competencia.
El instrumento contiene trece (13) reactivos.
III. INSTRUCCIONES DE APLICACIÓN DEL INSTRUMENTO DE EVALUACIÓN
Usted encontrará la tabla de aplicación o cuerpo del instrumento que contiene los reactivos a aplicar, su
numeración o código, un espacio de registro de cumplimiento (SI/NO) y otro para el registro de
observaciones que como evaluador considere conveniente realizar.
Marque SI, cuando el candidato cumpla con el desempeño o muestre las evidencias correspondientes y
NO cuando no cumpla con los aspectos señalados.
22
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
IV. TABLA DE APLICACIÓN O CUERPO DEL INSTRUMENTO DE EVALUACIÓN
REACTIVOS (ASPECTOS A EVALUAR) SI NO OBSERVACIONES
1. Se encuentra en el lugar establecido para la evaluación a
la hora indicada.
2. Utiliza vestimenta apropiada según sea el caso (profesión
y requerimientos de bioseguridad).
3. Saluda de manera cordial al postulante y entabla una
comunicación amigable.
4. Orienta al postulante sobre las normas de
comportamiento,la ejecución del desempeño y el inicio y
término de la evaluación.
5. Se ubica en un lugar que le permita recoger evidencias y
se desplaza para observar con mayor detalle el ítem
requerido en el instrumento.
6. Registra lo observado en el instrumento de evaluación
correspondiente.
7. Evita interferir en el desempeño del evaluado.
8. Evita hacer gestos,señales o sonidos que perturben al
evaluado.
9. Terminado el desempeño del postulante le invita a
esperar unos minutos para la comunicación del resultado.
10.Revisa el instrumento aplicado yregistra el resultado
antes de llamar al postulante para comunicar el resultado.
11.Informa al evaluado el resultado de la evaluación de
manera asertiva.
12.Firma y solicita la firma del postulante en el instrumento
con el resultado de la evaluación.
13.Se despide del evaluado de forma cordial.
V. INSTRUCCIONES PARA LA CALIFICACIÓN DEL INSTRUMENTO DE EVALUACIÓN
Todas las respuestas afirmativas indican la competencia.
VI. INSTRUCCIONES PARA LA EMISIÓN DEL RESULTADO
Si todos los reactivos son afirmativos el resultado es que cumple lo solicitado por la norma de
competencia y si hay algún reactivo con respuesta negativa el resultado es que No Cumple.No puede
haber ítem sin marcar.
VII. RESULTADO DE LA EVALUACIÒN
CUMPLE NO CUMPLE
VIII. RETROALIMENTACIÓN AL CANDIDATO – IDENTIFICACIÓN DE ASPECTOS PARA MEJORA
(Anotar el número del reactivo que requiere mejorar).
N° de los aspectos para mejora:( ), ( ), ( ), ( ), ( )
IX. FIRMAS CORRESPONDIENTES
……………………………. …………………………… ………………………………
FIRMA DEL EVALUADOR FIRMA DEL EVALUADOR FIRMA DEL EVALUADO
23
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
LISTA DE CHEQUEO DEL PRODUCTO
I. INFORMACIÓNGENERAL PARA ELPROCESO DE EVALUACIÓN
FECHA DE INSCRIPCIÓN DÍA: MES: AÑO: 2010
ENTIDAD CERTIFICADORA CONEAU
NOMBRES Y APELLIDOSDE
EVALUADOR(A):
LUGAR DE EVALUACIÓN
FECHA DE EVALUACIÓN
DATOS DEL EVALUADO (A)
DNI COLEGIATURA APELLIDO PATERNO APELIDO MATERNO NOMBRES
TIPO DE INSTRUMENTO DE
EVALUACIÓN
LISTA DE CHEQUEO DE PRODUCTO
CÓDIGO DELINSTRUMENTO DE EVALUACIÓN:
LChP-ECP-001 EC
DATOS DE LA NORMA DE COMPETENCIA A EVALUAR
CÓDIGO VERSIÓN NOMBRE
3 0 Ejecutar la evaluación de las competencias de los postulantes, según las
normas y procedimientos establecidos por la entidad certificadora.
ELEMENTOS DE
COMPETENCIA
3.1 Recoger evidencias de las competencias del postulante según pautas establecidas
por la entidad certificadora y CONEAU..
3.2 Comunicara los actores involucrados los resultados de la evaluación, según
normas establecidas.
II. INTRODUCCIÓN
Este documento presenta el instrumento de evaluación de los productos correspondientes del elemento de
competencia 3.1. “Aplicar instrumentos de evaluación para recopilar las evidencias de las competencias del
postulante, según las normas de competencia a evaluar y los procedimientos establecidos por la entidad
certificadora”, perteneciente a la Norma de Competencia de Ejecutar la evaluación de las competencias de los
postulantes, según las normas y procedimientos establecidos por la entidad certificadora, que una persona debe
demostrar para ser considerada competente.
El presente instrumento de evaluación de producto está diseñado para evaluar la competencia profesional de las
personas que se desempeñan como EVALUADORES DE COMPETENCIAS PROFESIONALES y contiene las
instrucciones que debe seguir para su aplicación.
Posteriormente se presentan las instrucciones de calificación del instrumento de evaluación, así como para la
emisión del resultado de la evaluación.
El instrumento contiene seis (8) reactivos.
III. INSTRUCCIONES DEAPLICACIÓN DEL INSTRUMENTO DE EVALUACIÓN
Usted encontrará la tabla de aplicación o cuerpo del instrumento que contiene los reactivos a evaluar, su
numeración o código, un espacio de registro de cumplimiento (SI/NO) y otro para el registro de observaciones que
como evaluador considere conveniente realizar.
Marque SI, cuando el producto cumpla con el criterio o ítem (reactivo) correspondiente y NO cuando no cumpla con
los aspectos señalados.
24
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
IV. TABLA DEAPLICACIÓNO CUERPODEL INSTRUMENTO DE EVALUACIÓN
REACTIVOS (ASPECTOS A EVALUAR) SI NO OBSERVACIONES
1. Cumple con las recomendaciones generales de presentación y registro de formatos
y documentos (Hacer documento de recomendaciones: legibilidad, orden, limpieza,
enmendaduras con iniciales, información completa, color del lapicero, lápiz?…)
2. Contiene todos los datos de “Información General” del instrumento.
3. Todos los ítems de la tabla de aplicación están marcados según el contenido del
portafolio de aplicación del instrumento.
4. El resultado de la evaluación es coherente con las instrucciones del mismo para la
emisión del resultado.
5. La sumatoria de los puntajes por rubros y el puntaje total son correctos .
6. Contiene el porcentaje alcanzado.
7. El porcentaje registrado es coherente con el cálculo matemático establecido para la
equivalencia del 20% como máximo.
8. Aparecen las firmas de los evaluadores y del evaluado.
V. INSTRUCCIONES PARA LA CALIFICACIÓN DEL INSTRUMENTO DE EVALUACIÓN
Todas las respuestas afirmativas indican la competencia.
VI. INSTRUCCIONES PARA LA EMISIÓN DEL RESULTADO
Si todos los reactivos son afirmativos el resultado es que “cumple” lo solicitado por la norma de competencia y si hay algún
reactivo con respuesta negativa el resultado es que “NoCumple”. Marque con una “X” o un “/” enel casillero al lado derecho de
cada resultado.
VII. RESULTADO DE LA EVALUACIÓN
RESULTADO CUMPLE NO CUMPLE
VIII. RETROALIMENTACIÓN AL CANDIDATO – IDENTIFICACIÓN DE ASPECTOS PARA MEJORA (Anote el número del
reactivo que debe mejorar)
N° de los aspectos para mejora: ( ), ( ), ( ), ( ), ( )
IX. FIRMAS CORRESPONDIENTES
……………………………. …………………………… ………………………………
FIRMA DEL EVALUADOR FIRMA DEL EVALUADOR FIRMA DEL EVALUADO
25
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
4.1.4. INSTRUMENTO DE EVALUACIÓN DE CONOCIMIENTOS. CUESTIONARIO
El instrumento más utilizado para evaluar conocimientos es el cuestionario (CT)
de preguntas.
Mateo (2000:74) establece que suele entenderse por pregunta una
declaración, asunto o tema sobre el que se va a evaluar. También se
denomina ítem.
Estos pueden ser de dos tipos:
A) PRUEBAS DE DESARROLLO
Son aquellas en las que se solicita, a través de preguntas, el desarrollo por
escrito de un discurso que evidencie el desarrollo de determinadas
capacidades. Pueden ser de respuesta libre u orientada.
Éstas pueden ser cortas o restringidas, o respuesta libre frente a una
interrogante o tema específico. Generalmente se emplean cuando se desea
evaluar la capacidad de análisis y síntesis, la organización de la información, la
consistencia de los argumentos, la inferencia y el juicio crítico.
Las pruebas de desarrollo son útiles, pues fomentan la exposición ordenada y
clara, el desarrollo del razonamiento y el pensamiento crítico, así como la
discriminación de información relevante y complementaria.
Una de las mayores dificultades de este tipo de pruebas es la calificación, pues
pueden verse seriamente afectadas por la subjetividad del evaluador. Las
siguientes sugerencias podrían contrarrestar tales efectos:
 Precisar en forma clara los aspectos que se tendrán en cuenta en la
calificación y comunicarlos al evaluado antes del examen. Por ejemplo:
exposición lógica de las ideas, concisión, adecuado uso de los conectores,
entre otros.
 Explicitar claramente el tipo de respuesta (corta o de extensión libre).
 Dar pistas sobre lo que se espera que desarrolle el evaluado (que explique,
que resuma, que presente contraejemplos, etc.)
 Tener paciencia en la corrección y hacerlo respuesta por respuesta para
manejar los mismos criterios de calificación.Este tipo de pruebas se puede
utilizar para evaluar la interpretación de cuadros estadísticos, la comprensión
lectora, el juicio crítico, la producción de textos, el manejo de información, entre
otras capacidades.
B) LAS PRUEBAS OBJETIVAS
Las pruebas objetivas son el tipo de pruebas escritas formadas por una serie
de preguntas que sólo admiten una respuesta correcta y cuya calificación es
siempre uniforme y precisa para todos los evaluados.
Son las de uso más común debido a su facilidad de calificación y a la creencia
de que eliminan toda posibilidad de subjetivismo.
La clave para que las pruebas objetivas se conviertan en instrumentos eficaces
de evaluación, es la calidad con que se elaboren pues de esa forma lograrán
poner en juego un gran número de capacidades del evaluado.
26
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
Características de las pruebas objetivas:
A) Objetiva La prueba conduce a mediciones independientes del evaluador.
B) Confiable Arroja resultados consistentes. La prueba tiene precisión.
C) Válida La prueba mide lo que pretende medir, es coherente a la
competencia a evaluar.
Etapas para el desarrollo de la prueba escrita
1.- DISEÑO
¿Qué tipo de prueba va a ser?
¿Cuáles son los indicadores de evaluación?(responden a los
criterios de la competencia)
¿Cuál es mi tabla de especificaciones, cómo va a estar
estructurado el instrumento?
2.- ELABORACIÓN
¿Cómo se evaluará?
Preguntas
Casos prácticos
3.- PILOTEO Sometida a revisión por expertos.
Aplicada en forma experimental.
Permite identificar y corregir dificultades y asegurase que van
resultar replicables, precisas, completas, realistas y prácticas
4.- VALIDACIÓN
¿Cómo se analizará que sea objetivo, valido y confiable?
5.- CALIFICACIÓN
¿Cuál será el criterio de calificación y la asignación de ésta?
1.- El diseño
Es la planeación del instrumento.
a. Perfil de referencia:
Es el fundamento de la prueba y objeto de medida de la prueba relacionado a la
competencia a evaluar expresado en indicadores que responden a los criterios de la
competencia.
b. Tabla de Especificaciones
Presenta la organización lógica de los componentes definidos operacionalmente
Establece el nivel y tipo cognoscitivo con que deberán ser medidos en la prueba
(descrito en los indicadores).
2.-Elaboración
Es la construcción de la prueba o cuestionario con base en el diseño y en la tabla de
especificaciones de la matriz de consistencia.
Se debe partir de los indicadores descritos en la matriz de consistencia de la norma a
evaluar.
Se parte de la evaluación de la capacidad (reconocer, describir, comparar, seleccionar,
analizar, sintetizar, evaluar, aplicar, etc) a los diferentes niveles de dominio (bajo,
medio, alto)por medio de reactivos de opción múltiple, o de puntuaciones asignadas a
tipo de respuesta en relación con los criterios. Ver anexo 2 cuadros de capacidades y
procesos cognitivos.
Desarrollo del Instrumento
27
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
Debe abarcar todos los aspectos contemplados en la descripción de la norma de
competencia, el perfil de referencia y la tabla de especificaciones.
Los instrumentos de conocimientos, puede estar formado por:
 Preguntas de opción múltiple: completamiento, apareamiento, solución
 problemas, jerarquización, identificación de graficas o diagramas y cuestionario
directo.
 Preguntas abiertas
 Situaciones prácticas, etc.
3.- Piloteo
 Monitorear la confiabilidad y validez de los exámenes.
 Vigilar el nivel de dificultad y la capacidad de discriminación de los ítems.
 Generar bancos de reactivos o items suficientemente amplios.
 Realizar pilotajes de los exámenes.
4.- Validación
 Consiste en analizar la construcción de los reactivos que realmente
representen al criterio a evaluar y analizar los resultados de aplicaciones
preliminares de la prueba para confirmar estadísticamente su validez y su
confiabilidad así como establecer las condiciones definitivas para el manejo y
administración del instrumento con los usuarios.
5.-Calificación
Es el mecanismo de ponderación y valoración de los resultados obtenidos
 Utilizar un criterio de calificación y explicarlo.
 En el caso de prueba objetiva: Analizar la dificultad de reactivos, considerando
para la calificación los que se encuentren en el rango de aceptables, mejorar
los reactivos que no estén en ese rango. Analizar la discriminación de estos, en
caso de que no discriminen, revisar redacción del reactivo y los distractores
para plantearlo de manera diferente.
 Establecer con base a lo anterior los puntos de corte.
 En el caso de la evaluación del desempeño, establecer el puntaje aprobatorio.
El CONEAU considera que los reactivos en una prueba de conocimientos pueden
tener diferentes pesos de acuerdo a su nivel de complejidad, sin embargo para
demostrar la competencia debe alcanzarse el 100% de la evaluación.
TIPOS DE PRUEBAS OBJETIVAS
 DE RESPUESTAALTERNATIVA
Este tipo de pruebas plantean una serie de proposiciones que el evaluado debe
marcar como verdaderas o falsas. Únicamente tendrá estas dos opciones para
responder, de allí su nombre de respuesta alternativa.
Podemos emplear este tipo de pruebas cuando deseemos evaluar:
- la capacidad para identificar la exactitud de hechos.
- las definiciones de los términos.
- la capacidad de distinguir los hechos de las opiniones.
- la capacidad de percatarse de las relaciones de causa y efecto.
28
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
Para la elaboración de este tipo de pruebas y potenciar sus beneficios podemos seguir
las siguientes recomendaciones:
Ejemplo:
En relación a los procedimientos generales para la aplicación de los instrumentos de
evaluación, según la guía de evaluación CONEAU, identifique las afirmaciones
verdaderas y las falsas y marque la respuesta correcta.
i. El equipo evaluador debe estar conformado por un mínimo de dos evaluadores. ( )
ii. Todos los instrumentos deben ser firmados por el postulante y al menos uno de los
evaluadores. ( )
iii. La firma del postulante en el instrumento de evaluación es requisito para la apelación
a que hubiere lugar. ( )
iv. Antes de comunicar los resultados intermedios y el resultado final de la evaluación, el
equipo evaluador debe realizar una verificación de todo lo actuado. ( )
a. V F F V b. V V V F c. V F V V d. V V F V
 DE CORRESPONDENCIA
Este tipo de reactivos exigen al evaluado establecer relaciones entre dos columnas
paralelas, de tal manera que cada palabra, número o símbolo de una de ellas
corresponda con una palabra, oración o frase de la otra columna.
Ejemplo: Relacione las técnicas de evaluación con sus respectivos enunciados.
A. Formulación de preguntas ( ) Técnica por excelencia para recoger evidencias.
B. Observación directa ( ) Genera condiciones similares a las normales.
C. Simulación de situaciones ( ) Usada cuando son observables los productos.
D. Valoración de productos ( ) Obtiene evidencias de los conocimientos esenciales.
a. A B C D b. D B A C c. C A D B d. B C D A
Las siguientes orientaciones pueden ser de ayuda para el evaluador:
 Evitar aseveraciones muy generales.
 Evitar aseveraciones negativas
 Evitar oraciones demasiado largas y complejas.
 Evitar incluir dos ideas en una aseveración, a menos que se trate de apreciar una
relación de causa a efecto.
 Si en la aseveración se incluye una opinión, debe indicarse a quién corresponde
 Calcular que las aseveraciones ciertas y las expresiones falsas tengan más o
menos la misma longitud
 Usar sólo material homogéneo (que se refieran al mismo tema) dentro de
cada columna.
 Construir las columnas con diferente número de elementos.
 Tratar de que el ejercicio sea breve (que no supere los 6 pares de relación).
 Procurar que todo el ejercicio quede contenido en una misma página.
29
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
 DE SELECCIÓN MÚLTIPLE
Es el tipo de reactivos que plantean una pregunta, un problema o una aseveración
inconclusa junto con una lista de soluciones entre las que sólo una es correcta. El
evaluado debe seleccionar la correcta subrayando, encerrando en un círculo, etc.
Generalmente son empleados cuando se pretende evaluar:
- Identificación de información (datos, hechos).
- Uso de métodos y procedimientos.
- Aplicación de hechos y principios (cuando en la prueba se le presentan
situaciones nuevas en las que puede aprovechar sus conocimientos).
- habilidad para interpretar relaciones de causa y efecto.
Ejemplo:
En la orientación al postulante un evaluador es preguntado sobre la justificación para
recoger evidencias de desempeño. La respuesta correcta a esa inquietud es:
a. La norma de competencia indica un rubro de evidencias de desempeño y por
tanto es obligatorio recogerlas.
b. Las evidencias de desempeño son las más importantes de evaluar, por tanto no
puede omitirse recogerlas.
c. La competencia se demuestra en el desempeño mismo por tanto no se puede
omitir su recojo en la evaluación.
d. Las evidencias de desempeño no son indispensables por tanto evaluará la
posibilidad de omitirla en su caso.
Este tipo de reactivos presenta ventajas y desventajas:
Ventajas Desventajas
 Amplitud de su campo de aplicación.
 Evitan la ambigüedad y la vaguedad
de las respuestas.
 Pueden centrarse en puntos
específicos.
 Permiten al evaluador, por medio del
análisis de las respuestas incorrectas,
descubrir con mayor claridad las
deficiencias de los evaluados.
 Se limita a los productos del
aprendizaje, en desmedro del
proceso.
 No son apropiados para medir la
capacidad de organizar y presentar
ideas.
 Resulta difícil elaborar las
alternativas de forma que todas
parezcan posibles pero que sólo
exista una respuesta correcta.
Para elaborar pruebas o preguntas de selección múltiple debemos tomar en cuenta las
siguientes recomendaciones:
30
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
 DE ORDENAMIENTO
Es el tipo de reactivos que demandan al evaluado ordenar o secuenciar debidamente
los datos, hechos o partes de un proceso presentadas en sucesión desordenada.
En general, este tipo de reactivos se pueden emplear cuando se pretende evaluar:
- la capacidad de ubicar cronológicamente hechos históricos.
- la comprensión de la secuencia en determinados procesos.
- la capacidad de organizar mentalmente ciertos conocimientos.
Para elaborar pruebas con este tipo de preguntas debemos tomar en cuenta lo
siguiente:
Plantear cada hecho o etapa con claridad y precisión.
4.1.5 PASOS PARA LA ELABORACIÓN DEL CUESTIONARIO.
Una vez identificados los indicadores se hace necesaria una representación
esquemática de su distribución, con el propósito de no incurrir en errores producto
del subjetivismo o la simpatía por algunos indicadores. En tal sentido, en una tabla
de especificaciones se hace una relación de indicadores, anotando a continuación
el porcentaje que represente la importancia o jerarquía de cada uno de ellos dentro
del total de indicadores como también la cantidad de ítems por indicador. El
porcentaje de importancia relativa debe ser resultado del acuerdo entre varios
especialistas, para erradicar la influencia de opiniones y factores personales en la
decisión final.
1ero.- TABLA DE ESPECIFICACIONES DE LA PRUEBA
Tomamos como referencia para ejemplificar el elemento de competencia “Recoger
evidencias de las competencias del postulante aplicando los instrumentos de
evaluación de la entidad certificadora”
a) Determinación de los propósitos: Evaluación de competencias profesionales
para la certificación.
La prueba que se va a elaborar debe servir para evaluar indicadores de evidencia de
conocimiento según el elemento de competencia. “Recoger evidencias de las
 Cuidar que el problema o aseveración que se exponga se encuentre claramente
definido e incluya sólo la información necesaria para que su lectura sea ágil.
 Expresar la aseveración en forma negativa sólo cuando sea absolutamente
necesario.
 Formular las posibles respuestas cuidando que éstas guarden congruencia
gramatical con la aseveración (si la aseveración termina en “...es la:_______" no
pueden ponerse artículos masculinos entre las respuestas).
 Cuidar que todas las respuestas sean de posible aceptación aunque una sola sea
correcta.
 Plantear la aseveración de modo que ésta no sugiera la respuesta.
 La respuesta correcta de un reactivo debe colocarse en una ubicación diferente
respecto a los demás reactivos.
31
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
competencias del postulante aplicando los instrumentos de evaluación de la entidad
certificadora”
b) Identificación del objeto a evaluar. Una vez establecido el propósito, se determina
el objeto a evaluar, es decir la identificación de los sujetos a quienes se les aplicará la
prueba. En este caso, los evaluadores de la entidad certificadora.
Tabla de especificación de la prueba
ELEMENTO DE
COMPETENCIA
Conocimientos
y comprensión
esenciales
CRITERIOS Indicador
PESO
(%)
Cantidad
de
preguntas
/
Número
de
pregunta
1. 1.Recoger
evidencias de las
competencias del
postulante aplicando
los instrumentos de
evaluación de la
entidad certificadora
1.Normas de
competencias en
que se evaluará al
postulante. (a, b, c,
d)
2.Habilidades
sociales del
evaluador de
competencias (Guía
del participante del
curso de
evaluadores) (a)
3.Técnicas de
evaluación de
competencias ( a, b,
c, d)
4.Tipos,
características y
condiciones de
instrumentos de
evaluación de
competencias (a, b,
c, d)
5.Tipos de
evidencias para la
evaluación de
competencias (a, b,
c, d)
6.Pautas éticas de
la evaluación de
competencias (a, b,
c, d y e)
A) El postulante
es orientado
sobre la
evaluación,
según tipos de
evidencias a
recoger.
1. Identifica las normas de
competencia a evaluar,
según priorización de la EC.
2.5
1 1
2 Identifica la comunicación
asertiva como habilidad
socialdel evaluador.
2.5
1 2
3. Diferencia las técnicas de
evaluación de
competencias según guía
de participantes del curso
de evaluadores
4
1 3
4. Identifica los tipos
características y
condiciones de
instrumentos de evaluación
de competencias a aplicar
según guía de evaluación
CONEAU.
2.5
1 4
5. Analiza los tipos de
evidencias para la
evaluación de
competencias según
directrices de normalización
CONEAU.
4
1 5
6. Analiza la actuación ética
del evaluador en un caso.
4 1 6
7. Identifica los
procedimientos para la
aplicación de los instrumentos
de evaluación de
competencias
4
1 7
B) Los
instrumentos de
evaluación de
conocimiento se
aplican de
acuerdo a las
evidencias a
recoger
1.-Identifica las evidencias de
conocimiento de las normas
de competencia a evaluar.
2.5
1 8
2.Describe el procedimiento
del uso de instrumentos de
recojo de evidencias de
conocimiento, según técnica.
4
1 9
3.Identifica evidencias de
conocimiento para la
evaluación de competencias
2.5
1 10
4. Analiza la actuación ética
del evaluador en casos de
aplicación de instrumentos de
evaluación de conocimiento.
4
1 11
32
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
7. Procedimientos
para la aplicación de
los instrumentos de
evaluación de
competencias (a, b,
c, d).
8. Procedimiento
para el registro de
evidencias (b, c, d,
e).
9. Pautas para la
determinación del
logro de la
competencia (e).
5. Analiza un caso de
aplicación de un cuestionario. 4 1 12
6. Analiza un caso de registro
de evidencias de conocimiento 4 1 13
C) Los
instrumentos de
evaluación de
desempeño se
aplican de
acuerdo a las
evidencias a
recoger.
1.-Analiza las evidencias de
desempeño de las normas de
competencia a evaluar en un
caso.
4
1 14
2. Relaciona el instrumento de
evaluación de desempeño con
a técnica correspondiente a la
evidencia a recoger
4
1 15
3Describe las características,
condiciones y procedimientos
del uso del instrumento de
evaluación de desempeño.
4
1 16
4. Analiza la actuación ética
del evaluador en casos de
aplicación de instrumentos de
evaluación de desempeño.
4
1 17
5. Analiza un caso de
aplicación de una lista de
verificación de desempeño.
4
1 18
6. Describe el procedimiento
para el registro de evidencias
4
1 19
D) Los
instrumentos de
evaluación de
producto se
aplican de
acuerdo a las
evidencias a
recoger.
1.Identifica las evidencias de
producto de las normas de
competencia a evaluar.
2.5
1 20
2.Relaciona el instrumento de
evaluación de producto con la
técnica correspondiente a la
evidencia a recoger.
4
1 21
3.Describe las características,
condiciones y procedimientos
del uso del instrumento de
evaluación de producto.
2.5
1 22
4.Analiza la actuación ética del
evaluador en casos de
aplicación de instrumentos de
evaluación de producto.
4
1 23
5.Describe los procedimientos
para la aplicación del
instrumento de evaluación de
producto.
4
1 24
6.-.Describe el procedimiento
para el registro de evidencias
de producto
4
1 25
E) La
determinación
del logro de la
competencia es
registrada en los
formatos
establecidos
1.-Reconoce los principios
éticos en la determinación del
logro de las competencias y su
registro.
2.5
1 26
2.Analiza los procedimientos
para la determinación del logro
de las competencias.
4
1 27
3. Describe el procedimiento
para el registro dellogro de las
competencias
4
1 28
TOTAL
100 28
33
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
c) Elección de la escala de medición. Se debe determinar si la escala será
decimal, vigesimal, centesimal u otra. Para el ejemplo la escala es centesimal.
d) Asignación de los puntajes de la prueba. Los puntajes de la prueba deben estar
de acuerdo con los criterios a evaluar y éstos se derivan de los elementos de la
competencia.
Para el ejemplo se ha considerado cinco criterios y el criterio C “Los instrumentos
de evaluación de desempeño se aplican de acuerdo a las evidencias a recoger” es el
que más puntaje tiene (24) y el criterio E “La determinación del logro de la competencia
es registrada en los formatos establecidos” es el que menos puntaje tiene (10,5).
e) Asignación de pesos a los reactivos o ítems. El puntaje total del criterio sirve de
parámetro para asignar pesos a los reactivos o ítems de la prueba en función de las
capacidades y conocimientos a evaluar. En el ejemplo, los reactivos de menor peso
(2,5) corresponden al criterio A “El postulante es orientado sobre la evaluación, según
tipos de evidencias a recoger” proceso básico de describir o explicar.
f) Jerarquización lógica de los ítems. Es conveniente presentar previamente los
ítems simples y los más complejos después. También conviene agrupar los ítems por
afinidad temática u otros criterios que considere el evaluador.
2do.- Elaboración de la estructura del cuestionario
La estructura de la prueba (cuestionario) se expresa mediante un cuadro de doble
entrada en el que se explicita el contenido y la capacidad a evaluar. En el ejemplo
propuesto, se trata de medir los conocimientos en función de dos variables: a)
algunas las capacidades según la taxonomía de L.D´Hainaut, y b) los
conocimientos sobre normas, técnicas, procedimientos, registro de evidencias para
el logro de las competencias profesionales.
Las capacidades que se pretenden medir deben estar identificadas en forma clara y
precisa. En este caso, se ha considerado la Taxonomía propuesta por L.D´Hainaut
(reproducción, conceptualización, aplicación, exploración, movilización y resolución de
problemas), de esta taxonomía para el ejemplo sólo se ha considerado a tres
capacidades.
34
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
Tabla de estructura de la prueba
En el ejemplo propuesto se observa que se elaborará una prueba con 28 ítems o
reactivos que darán un puntaje de 100 puntos que resultan de multiplicar el total de
ítems de cada nivel de dominio por el peso asignado.
La asignación de pesos depende de la importancia que asigne el evaluador a un
determinado nivel o dominio de la capacidad del elemento de competencia a evaluar.
En el presente caso se observa que se está asignando mayor peso (4) a la
conceptualización, aplicación de la información y resolución de problemas.
Elaboración de los reactivos de la prueba
Para cada indicador se formularán varios reactivos o ítems. Si el evaluador dispone
de un banco de ítems, reactivos o preguntas, seleccionará los ítems más adecuados
para la prueba que está construyendo, teniendo en cuenta las necesidades de la
evaluación. En caso contrario, deberá elaborar los ítems previstos en la estructura
cubriendo la totalidad de conocimientos requeridos para el criterio de evaluación.
El conjunto de ítems conforman una muestra representativa del universo de
contenidos que interesa evaluar.
Por ejemplo, uno de los instrumentos que utilizaremos para medir competencias
profesionales es una prueba de conocimientos (cuestionario) donde elaboraremos
preferentemente reactivos de opción múltiple.
capacidad/ conocimiento Reproduc
ción
conceptu
alización
aplicación Solución de
problemas
TOTAL PUNTAJE
1. Normas de competencias en
que se evaluará al postulante.(a,
b, c, d)
3 2 5 15.5
2.Habilidades sociales del
evaluador de competencias (Guía
del participante del curso de
evaluadores) (a)
1 2 3 10.5
3.Técnicas de evaluación de
competencias ( a, b, c, d)
1 2 1 4 14.5
4.Tipos,características y
condiciones de instrumentos de
evaluación de competencias (a,
b, c, d)
1 3 4 14.5
5.Tipos de evidencias para la
evaluación de competencias (a,
b, c, d)
1 2 1 4 14.5
6.Pautas éticas de la evaluación
de competencias (a,b, c, d y e)
2 2 4 16
7. Procedimientos para la
aplicación de los instrumentos de
evaluación de competencias (a,
b, c, d).
1 1 2 4 14,5
Total 8 7 7 6 28
Peso 2.5 4 4 4
Puntaje total 20 28 28 24 100
35
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
Tabla de criterios, indicadores y reactivos del elemento de Competencia
“Recoger evidencias de las competencias del postulante aplicando los
instrumentos de evaluación de la entidad certificadora”
CRITERIO INDICADOR REACTIVO ALTERNATIVAS
A) El
postulante
es
orientado
sobre la
evaluación,
según
tipos de
evidencias
a recoger.
1. Identifica las normas
de competencia a
evaluar, según
priorización de la EC.
2. Identifica la
habilidad social de
comunicación:
asertividad.
3. Diferencia las
técnicas de
evaluación de
competencias según
guía de participantes
del curso de
evaluadores
4. Identifica los tipos
características y
condiciones de
instrumentos de
evaluación de
competencias a
aplicar según guía de
evaluación Coneau.
5.Analiza los tipos de
evidencias para la
evaluación de
competencias según
directrices de
normalización
CONEAU.
a)Las normas de competencia a
evaluar son priorizadas por:
b)Una habilidad social del
evaluador de competencias es
la comunicación asertiva que
consiste en:
c) Relacione las técnicas de
evaluación con sus
respectivos enunciados.
d)Los tipos de instrumentos
para evaluar competencias
de acuerdo a la guía de
evaluación del CONEAU son:
e)En la orientación al postulante
un evaluador es preguntado
sobre la justificación para
recoger evidencias de
desempeño.La respuesta
correcta a esa inquietud es:
a. CONEAU - SINEACE
b. Postulante a evaluar
c. Colegio Profesional
d. Evaluador certificado
a. Expresar lo que piensa,cree
y siente en forma positiva.
b. Demostrar afecto,confianza
y perseverancia al
postulante.
c. Justificar sus errores y
equivocaciones ante los
demás
d. Analizar sus fortalezas y
debilidades para
relacionarse.
A. Formulación de preguntas
B. Observación directa
C. Simulación de situaciones
D. Valoración de productos
( ) Técnica por excelencia
para recoger evidencias.
( ) Genera condiciones
similares a las normales
( ) Usada cuando son
observables los productos
( ) Obtiene evidencias de los
conocimientos esenciales.
a. A B C D b. D B A C c.
C A D B d. B C D A
a. Cuestionarios yguías de
entrevistas.
b. Listas de chequeo y
cuestionarios.
c. Estudio de casos y listas de
chequeo.
d. Encuestas y guías de
entrevistas
a. La norma de competen-cia
indica un rubro de
evidencias de desempe-ño y
por tanto es obliga-torio
recogerlas.
b. Las evidencias de
desempeño son las más
importantes de evaluar,por
tanto no puede omitirse
recogerlas.
c. La competencia se
demuestra en el desempeño
mismo por tanto no se puede
omitir su recojo en la
evaluación.
d. Las evidencias de desem-
peño no son indispensables
por tanto evaluará la posibi-
lidad de omitirla en su caso.
36
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
6.Analiza la actuación
ética del evaluador
en un caso.
7. Identifica los
procedimientos
para la aplicación
de los
instrumentos de
evaluación de
competencias.
f) Falta elaborar
g)En relación a los
procedimientos generales
para la aplicación de los
instrumentos de evaluación,
según la guía de evaluación
CONEAU, identifique las
afirmaciones verdaderas ylas
falsas y marque la respuesta
correcta.
i. El equipo evaluador debe
estar conformado por un
mínimo de dos evaluadores.
( )
ii. II.-Todos los instrumen- tos
deben ser firmados por el
postulante y al menos uno
de los evaluadores.( )
iii. III-La firma del postulante en
el instrumento de evaluación
es requisito para la
apelación a que hubiere
lugar.( )
iv. IV.Antes de comunicar los
resultados interme-dios y el
resultado final de la
evaluación, el equipo
evaluador debe realizar una
verificación de todo lo
actuado.( )
a. VFFV b. VVVF c.
VFVV d. VVFV
37
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
EJEMPLO DE CUESTIONARIO
I. INFORMACIÓNGENERAL PARA ELPROCESO DE EVALUACIÓN
FECHA DE INSCRIPCIÓN DÍA: MES: AÑO: 2010
ENTIDAD CERTIFICADORA CONEAU
NOMBRES Y APELLIDOSDE
EVALUADOR(A):
LUGAR DE EVALUACIÓN
FECHA DE EVALUACIÓN
DATOS DEL EVALUADO (A)
DNI COLEGIATURA APELLIDO PATERNO APELIDO MATERNO NOMBRES
TIPO DE INSTRUMENTO DE
EVALUACIÓN
CUESTIONARIO
CÓDIGO DELINSTRUMENTO DE EVALUACIÓN:
C-ECP-001 EC
DATOS DE LA NORMA DE COMPETENCIA A EVALUAR
CÓDIGO VERSIÓN NOMBRE
ELEMENTOS DE
COMPETENCIA
II. INTRODUCCIÓN
Este documento presenta el instrumento de evaluación de los productos correspondientes del elemento de
competencia 3.1……………, perteneciente a la Norma de Competencia de……………………….., que una persona
debe demostrar para ser considerada competente.
El presente instrumento de evaluación está diseñado para evaluar la competencia profesional de las personas que
se desempeñan como ……………………………y contiene las instrucciones que debe seguir para su aplicación.
Posteriormente se presentan las instrucciones de calificación del instrumento de evaluación, así como para la
emisión del resultado de la evaluación.
El instrumento contiene …… reactivos.
38
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
III. INSTRUCCIONES DEAPLICACIÓN DEL INSTRUMENTO DE EVALUACIÓN
Usted encontrará la tabla de ……..
IV. TABLA DEAPLICACIÓNO CUERPODEL INSTRUMENTO DE EVALUACIÓN
1 En la evaluacióndeldolorabdominalunodelossiguientesaspectoses menosrelevante:
a) Tiempodeinicio
b) Ubicación ycaracterísticas
c) Tiempode duración
d) Mejoraconanalgésico
2.
3.
ETC.
V. INSTRUCCIONES PARA LA CALIFICACIÓN DEL INSTRUMENTO DE EVALUACIÓN
Todas las …..
VI. INSTRUCCIONES PARA LA EMISIÓN DEL RESULTADO
Si todos los reactivos…..
VII. RESULTADO DE LA EVALUACIÒN
CUMPLE NO CUMPLE
VIII. RETROALIMENTACIÓN AL CANDIDATO – IDENTIFICACIÓN DE ASPECTOS PARA MEJORA
(Anotar el número del reactivo que requiere mejorar).
N° de los aspectos para mejora:( ), ( ), ( ), ( ), ( )
IX. FIRMAS CORRESPONDIENTES
……………………………. …………………………… ………………………………
FIRMA DEL EVALUADOR FIRMA DEL EVALUADOR FIRMA DEL EVALUADO
39
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
HOJA DE RESPUESTAS
FECHA DE
INSCRIPCIÓN
DÍA: 30 MES: MAYO AÑO:
ENTIDAD
CERTIFICADORA
COLEGIO …
NOMBRES Y APELLIDOS
DE EVALUADOR (A):
XXXXXX
LUGAR DE EVALUACIÓN EMERGENCIA
FECHA DE EVALUACIÓN DD—MM—AA
DATOS DEL EVALUADO (A)
DNI COLEGIATURA APELLIDO PATERNO APELIDO
MATERNO
NOMBRES
TIPO DE INSTRUMENTO DE
EVALUACIÓN
CUESTIONARIO
CÓDIGO DEL INSTRUMENTO DE
EVALUACIÓN:
DATOS DE LA NORMA DE COMPETENCIA A EVALUAR
CÓDIGO VERSIÓN NOMBRE
ELEMENTOS DE
COMPETENCIA
RESPUESTAS
A B C D A B C D A B C D
1 X 11 X 21
2 X 12 X 22
40
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
3 X 13 X 23
4 X 14 X 24
5 X 15 X 25
6 X 16 X 26
7 X 17 X 27
8 X 18 28
9 X 19 28
10 D C B A 20 30
41
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
5. VALIDEZ DE UN INSTRUMENTO
Algunos autores definen:
 La validez de un instrumento de medición es el grado en que el instrumento
mide realmente lo que el investigador pretende medir. (Hernández Sampieri)
 Grado en que un instrumento realmente mide lo que el investigador
pretende. (Thorndike)
Ambas definiciones coinciden que el requisito de un instrumento para lograr la
confiabilidad es la validez. Pero lo recíproco no es cierto, puesto que un instrumento
puede ser confiable sin ser válido.
La validación de un instrumento sirve para controlar variables confusas, sesgos,
generar mejores procesos e interpretar de mejor modo los procedimientos
realizados.
Para determinar la validez de un instrumento es necesario el análisis psicométrico
que exige respuesta a las siguientes preguntas:
¿Hasta qué punto son consistentes las puntuaciones? Responder esta interrogante
implica informar sobre la confiabilidad del instrumento.
¿Qué es lo que mide la prueba? Responder esta interrogante implica informar sobre
la validez del instrumento.
En tal sentido, para determinar la eficacia del instrumento de medición se debe
precisar su validez y confiabilidad.
Eficacia del instrumento de medición
La eficacia del instrumento de recolección de datos está referida a su validez y
confiabilidad.
Validez de Contenido (validez externa)
A través de la validez de contenido se trata de determinar hasta dónde los ítems de
una prueba son representativos de los indicadores del criterio a evaluar de las
competencias profesionales que se desea medir, establece la relación del instrumento
con los criterios de los elementos de la competencia que pretende medir. Da garantías
de que se ha operacionalizado claramente desde la competencia, unidad de
competencia, elementos de la competencia, criterios, indicadores y reactivos. El
instrumento (prueba) a través de los ítems debe contener los conocimientos
claramente definidos.
Si no se cuenta con la seguridad de que los reactivos representan a los contenidos de
los criterios de la competencia en evaluación se debe proceder a la consulta de
42
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
expertos quienes evalúan la representatividad de los indicadores relevantes de los
criterios de los elementos de la competencia.
La validez de contenido establece la relación del instrumento con los criterios de los
elementos de la competencia que pretende medir. Siendo indispensable elaborar la
tabla de especificaciones, elaborar la prueba que se ajusta a la tabla de
especificaciones y determinar si los ítems de una prueba son representativos de los
indicadores del criterio a evaluar. ( capacidad del instrumento).
Validez de criterio (Validez externa)
Nos permite expresar el grado de eficacia con el que se puede predecir o pronosticar
un criterio a partir de las puntuaciones del instrumento.
 Validez Concurrente: Si el criterio se fija en el presente, cuando los
resultados del instrumento se correlacionan con el criterio en el mismo
momento. Por ejemplo una encuesta para detectar preferencias del
electorado antes de las elecciones se correlaciona con los resultados
finales de la elección.
 Validez Predictiva: Si el criterio se fija en el futuro. Ejemplo una prueba
de admisión para ser evaluador, se puede comparar sus resultados
con su rendimiento futuro (criterio: promedios finales). Es decir la
validez predictiva se juzga por la calidad del rendimiento obtenido por
el participante en un tiempo posterior al que fue aplicado el
instrumento.
Si las dos medidas se dan en el mismo momento se habla de validez concurrente,
pero si la segunda medida se hace en un futuro y la primera se hace con la intención
de estimar la segunda se habla de validez predictiva.
Validez de constructo (Validez interna)
Se define como el grado en que una prueba mide la construcción teórica elaborada
respecto a los conocimientos o conducta que se mide.
Los procedimientos estadísticos apuntan a establecer de manera probabilística
grupos de ítems que deberán ser definidos como dimensiones. Estas dimensiones
son conceptualizadas de manera consensuada para otorgarle el carácter de útiles y
científicamente válidos, por cuanto no existe una prueba patrón.
Si los dominios han sido construidos de manera teórica, la estadística corrobora la
idoneidad de estas agrupaciones y nos daremos respuestas a estas interrogantes:
 ¿El concepto teórico está reflejado realmente en el instrumento?
 ¿Qué significan las puntuaciones del instrumento?
 ¿El instrumento mide el constructo y sus dimensiones?¿Por qué sí? ¿Por qué
no?
 ¿Cómo opera el instrumento? (Hernández-Sampieri, 2010)
5.1 VALIDACIÓN EXTERNADE INSTRUMENTOS DE EVALUACIÓN
43
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
5.1.1 Procedimiento de la validez de contenido por juicio de expertos
Evalúa la capacidad del instrumento para recoger lo que se desea medir:
Se presentan tres momentos:
1.- Cuando no sabemos las respuestas que nos van a dar las unidades de estudio hay
una aproximación a la población y las interrogantes deben ser abiertas y con ellas se
procederá a construir una lista de ítems.
2.-Juicio de expertos cuando el conocimiento disponible es insuficiente para que el
evaluador pueda construir un instrumento de manera autónoma.
3.-La revisión del conocimiento disponible cuando existe la teoría suficiente para
poder construir un instrumento.
Esta validez se refiere a si el cuestionario elaborado, y por tanto si los ítems elegidos,
son evidencias de lo que se pretende medir.
5.1.2 Evidencias basadas en el contenido
Aglutina dos tipos de estudio suplementarios. Unos encaminados a evaluar las
relaciones entre el constructo y el contenido del test, y otros dirigidos a valorar los
factores contextuales internos y externos que puedan añadir varianza no deseada
(Elosua, 2003)
El objetivo de este tipo de estudios es obtener evidencias para determinar si los ítems
del instrumento representan adecuadamente el constructo que se pretende medir. No
olvidemos que los ítems son el estímulo necesario para obtener las muestras de
conducta indicadoras del constructo. Este tipo de estudio examina si los ítems pueden
hacer bien su papel (GONZALES, 2006: 16)
Para ello hay cuatro estrategias: La fundamentación en una teoría, la consulta a
expertos, el análisis de errores y la supervisión de los resultados totales. (ANASTASI Y
URBINA, 1998), las dos primeras son las más reconocidas y recurrentes.
En el primer caso, la fundamentación teórica, la evidencia basada en el contenido la
realiza el mismo investigador apoyándose en la teoría y los supuestos que guían la
selección de los ítems (BRIONES, 2001); en este sentido, el dominio de contenido de
un variable, normalmente, es definido o establecido por la literatura (teorías y
antecedentes) (HERNANDEZ,2006: 279)
La forma en que esta estrategia se opera presenta ciertas ambigüedades e
imprecisiones: Algunos autores hacen referencia al análisis racional de los contenidos
posibles (MUÑIZ, 2003), Otros a la operacionalización de las variables (CASTAÑEDA,
DE LA TORRE, MORAN Y LARA) y otros la articulan a una estrategia global que
integra: Fundamentación teórica, consulta a expertos y análisis estadístico.
(HERNANDEZ, 2006: 279).
La estrategia de consulta a expertos, consiste en preguntar a uno o varios expertos si
los reactivos evalúan lo que uno quiere que evalúe (SALKIND, 1999) esta estrategia
es planteada como complementaria o simultánea de la fundamentación teórica por
algunos autores(BRIONES, 2001; HERNADEZ,2006; MUÑIZ, 2003), mientras que
otros plantean su uso en caso de que el constructo o variable de estudio sea definida
44
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
de manera aproximada o imprecisa, esto es, sin una buena fundamentación
teórica.(GREGORY, 2001)
Relevancia entendida como relación de la variable, y los ítems, con la teoría utilizada
(PARDO, 2006)
La consulta a expertos se utiliza básicamente para establecer si los ítems del
instrumento representan adecuadamente el constructo que se pretende medir.
3.1.3. Veamos un ejemplo: Procedimiento según GREGORY, 2001
El siguiente cuestionario tiene el objetivo central “Recoger evidencias de las
competencias del postulante aplicando los instrumentos de evaluación de la entidad
certificadora”
Le pedimos su colaboración para establecer la validez de contenido, en caso de aceptar
le sugerimos seguir las siguientes instrucciones:
1° Lea cuidadosamente la especificación de cada una de las secciones de esta tabla
de especificaciones, ya que cada una representa, diferentes dimensiones de estudio:
Elemento de competencia, criterio de desempeño, indicador y conocimientos.
2° A continuación indique que tan bien considera usted que el ítem o reactivo sea
parte del, indicador, del criterio de desempeño y de la unidad de competencia que se
aborda a continuación:
3° Juzgue cada ítem o reactivo de manera individual comparando el contenido del ítem
con el contenido de la dimensión de estudio. (Analice la tabla de especificaciones de la
prueba con la tabla de criterios, indicadores y reactivos)
Tabla de especificaciones de la prueba de conocimientos
ELEMENTO DE
COMPETENCIA
Conocimiento CRITERIOS Indicador
PESO
(%)
Cantidad
de
preguntas
Número
de
pregunta
1. 1.Recoger
evidencias de las
competencias del
postulante aplicando
los instrumentos de
evaluación de la
entidad certificadora
1.Normas de
competencias en
que se evaluará al
postulante. (a, b, c,
d)
2.Habilidades
sociales del
evaluador de
competencias (Guía
del participante del
curso de
evaluadores) (a)
3.Técnicas de
evaluación de
competencias ( a, b,
c, d)
A) El postulante
es orientado
sobre la
evaluación,
según tipos de
evidencias a
recoger.
1. Identifica las normas de
competencia a evaluar,
según priorización de la EC.
2.5
1 1
2. Identifica la habilidad social
de comunicación:
asertividad.
2.5
1 2
3. Diferencia las técnicas de
evaluación de
competencias según guía
de participantes del curso
de evaluadores
4
1 3
4. Identifica los tipos
características y
condiciones de
instrumentos de evaluación
de competencias a aplicar
según guía de evaluación
CONEAU.
2.5
1 4
45
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
4.Tipos,
características y
condiciones de
instrumentos de
evaluación de
competencias (a, b,
c, d)
5.Tipos de
evidencias para la
evaluación de
competencias (a, b,
c, d)
6.Pautas éticas de
la evaluación de
competencias (a, b,
c, d y e)
7. Procedimientos
para la aplicación de
los instrumentos de
evaluación de
competencias (a, b,
c, d).
8. Procedimiento
para el registro de
evidencias (b, c, d,
e).
9. Pautas para la
determinación del
logro de la
competencia (e).
5. Analiza los tipos de
evidencias para la
evaluación de
competencias según
directrices de normalización
CONEAU.
4
1 5
6. Analiza la actuación ética
del evaluador en un caso.
4
1 6
7. Identifica los procedimien-
tos para la aplicación de los
instrumentos de evaluación
de competencias
4
1 7
B) Los
instrumentos de
evaluación de
conocimiento se
aplican de
acuerdo a las
evidencias a
recoger
1. Identifica las evidencias de
conocimiento de las normas
de competencia a evaluar.
2.5
1 8
2. Describe el procedimiento
del uso de instrumentos de
recojo de evidencias de
conocimiento, según
técnica.
4
1 9
3. Identifica evidencias de
conocimiento para la
evaluación de
competencias
2.5
1 10
4. Analiza la actuación ética
del evaluador en casos de
aplicación de instrumentos
de evaluación de
conocimiento.
4
1 11
5.Analiza un caso de
aplicación de un
cuestionario.
4
1 12
6. Analiza un caso de registro
de evidencias de
conocimiento
4
1 13
C) Los
instrumentos de
evaluación de
desempeño se
aplican de
acuerdo a las
evidencias a
recoger.
1.-Analiza las evidencias de
desempeño de las normas de
competencia a evaluar en un
caso.
4
1 14
2. Relaciona el instrumento de
evaluación de desempeño con
a técnica correspondiente a la
evidencia a recoger
4
1 15
3Describe las características,
condiciones y procedimientos
del uso del instrumento de
evaluación de desempeño.
4
1 16
4. Analiza la actuación ética
del evaluador en casos de
aplicación de instrumentos de
evaluación de desempeño.
4
1 17
5. Analiza un caso de
aplicación de una lista de
verificación de desempeño.
4
1 18
6. Describe el procedimiento
para el registro de evidencias
4
1 19
D) Los
instrumentos de
evaluación de
producto se
aplican de
acuerdo a las
evidencias a
recoger.
1.Identifica las evidencias de
producto de las normas de
competencia a evaluar.
2.5
1 20
2.Relaciona el instrumento de
evaluación de producto con la
técnica correspondiente a la
evidencia a recoger
4
1 21
3. Describe las características,
condiciones y procedimientos
2.5 1 22
46
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
del uso del instrumento de
evaluación de producto.
4. Analiza la actuación ética
del evaluador en casos de
aplicación de instrumentos de
evaluación de producto.
4
1 23
5. Describe los procedimientos
para la aplicación del
instrumento de evaluación de
producto.
4
1 24
6.-.Describe el procedimiento
para el registro de evidencias
de producto
4
1 25
E) La
determinación
del logro de la
competencia es
registrada en los
formatos
establecidos
1.-Reconoce los principios
éticos en la determinación del
logro de las competencias y su
registro.
2.5
1 26
2.Analiza los procedimientos
para la determinación del logro
de las competencias.
4
1 27
3. Describe el procedimiento
para el registro dellogro de las
competencias
4
1 28
TOTAL 100 28
47
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
TABLA DE CRITERIOS, INDICADORES Y REACTIVOS
CRITERIO INDICADOR REACTIVO escala
El
postulante
es
orientado
sobre la
evaluación,
según
tipos de
evidencias
a recoger.
1. Identif ica las normas de
competencia a ev aluar,
según priorización de la
EC.
2. Identif ica la habilidad social
de comunicación:
asertiv idad.
3. Dif erencia las técnicas de
ev aluación de
competencias según guía
de participantes del curso
de ev aluadores
4. Identif ica los tipos
características y
condiciones de
instrumentos de ev aluación
de competencias a aplicar
según guía de ev aluación
Coneau.
5. Analiza los tipos de
ev idencias para la
ev aluación de
competencias según
directrices de
normalización CONEAU.
6. Analiza la actuación ética
del ev aluador en un caso.
7. Identif ica los
procedimientos para la
aplicación de los
instrumentos de
ev aluación de
competencias.
1.-Las normas de competencia a ev aluar son
priorizadas por:
a. CONEAU - SINEACE
b .Postulante a ev aluar
c. Colegio Prof esional
d. Ev aluador certif icado
2.-Una habilidad social del ev aluador de
competencias es la comunicación asertiv a que
consiste en:
a. Expresar lo que piensa, cree y siente
en f orma positiv a.
b. Demostrar af ecto, conf ianza y
persev erancia al postulante.
c. Justif icar sus errores y equiv ocaciones
ante los demás
d. Analizar sus f ortalezas y debilidades para
relacionarse.
3. Relacione las técnicas de ev aluación con
sus respectiv os enunciados.
a. Formulación de preguntas
b. Observ ación directa
c. Simulación de situaciones
d. Valoración de productos
( ) Técnica por excelencia para recoger
ev idencias.
( ) Genera condiciones similares a las
normales
( ) Usada cuando son observ ables los
productos
( ) Obtiene ev idencias de los
conocimientos esenciales
4.-Los tipos de instrumentos para ev aluar
competencias de acuerdo a la guía de
ev aluación del CONEAU son:
a. Cuestionarios y guías de entrev istas.
b. Listas de chequeo y cuestionarios.
c. Estudio de casos y listas de chequeo.
d. Encuestas y guías de entrev istas
5.-En la orientación al postulante un ev aluador
es preguntado sobre la justif icación para
recoger ev idencias de desempeño. La
respuesta correcta a esa inquietud es:
a. La norma de competencia indica un rubro
de ev idencias de desempeño y por tanto
es obligatorio recogerlas.
b. Las ev idencias de desempeño son las
más importantes de ev aluar, por tanto no
puede omitirse recogerlas.
c. La competencia se demuestra en el
desempeño mismo por tanto no se puede
omitir su recojo en la ev aluación.
d. Las ev idencias de desempeño no son
indispensables por tanto ev aluará la
posibilidad de omitirla en su caso.
6.-Falta elaborar
7.-En relación a los procedimientos generales
para la aplicación de los instrumentos de
ev aluación, según la guía de ev aluación
CONEAU, identif ique las af irmaciones
v erdaderas y las f alsas y marque la respuesta
correcta.
I.-El equipo ev aluador debe estar conf ormado
por un mínimo de dos ev aluadores. ( )
II.-Todos los instrumentos deben ser f irmados
por el postulante y al menos uno de los
0
1
2
3
0
1
2
3
0
1
2
3
0
1
2
3
0
1
2
3
0
1
2
3
0
1
2
3
48
Documento de trabajo DEC-CONEAU – Prohibida su reproducción
ev aluadores. ( )
III-La f irma del postulante en el instrumento de
ev aluación es requisito para la apelación a
que hubiere lugar. ( )
IV.Antes de comunicar los resultados
intermedios y el resultado f inal de la
ev aluación, el equipo ev aluador debe realizar
una v erif icación de todo lo actuado. ( )
4°Para evaluar utilice la siguiente escala.
0 El ítem no pertenece a la dimensión de estudio
1 El ítem probablemente no pertenece a la dimensión de estudio
2 El ítem probablemente si pertenece a la dimensión de estudio
3El ítem si pertenece a la dimensión de estudio.
5° Anota su consideración en la columna de la escala de la tabla de criterios,
indicadores y reactivos.
6° Completa la tabla resumen
Tabla de resumen criterio A
Ítem
Experto
1
Experto
2
Experto
3
Experto
4
Experto
5
Experto
6
Total (S)
sumatoria de
acuerdos
media
T/6
ESCALA
1 0 2 3 1 2 3 11 1,8 débil
validez
2 3 3 1 2 2 3 14 2.3 validez
aceptable
3
4
5
6
7
total
7° Procedemos a observar la media de cada ítem, y en caso de ser menor 1,5 el
ítem se elimina.
Con los ítems restantes se obtiene una media general de cada criterio que lo
compone y el resultado se interpreta con la siguiente escala:
Intervalos Escalas
1,6 a 2 Débil validez
2,1 a 2,5 Validez aceptable
2,6 en adelante Validez fuerte
8° Se consolidan los resultados de validez de contenido en una tabla de validez y
se
Elaboración instrumentos evaluación competencias
Elaboración instrumentos evaluación competencias
Elaboración instrumentos evaluación competencias
Elaboración instrumentos evaluación competencias
Elaboración instrumentos evaluación competencias
Elaboración instrumentos evaluación competencias
Elaboración instrumentos evaluación competencias
Elaboración instrumentos evaluación competencias
Elaboración instrumentos evaluación competencias
Elaboración instrumentos evaluación competencias
Elaboración instrumentos evaluación competencias
Elaboración instrumentos evaluación competencias
Elaboración instrumentos evaluación competencias
Elaboración instrumentos evaluación competencias
Elaboración instrumentos evaluación competencias
Elaboración instrumentos evaluación competencias
Elaboración instrumentos evaluación competencias
Elaboración instrumentos evaluación competencias
Elaboración instrumentos evaluación competencias
Elaboración instrumentos evaluación competencias
Elaboración instrumentos evaluación competencias

Más contenido relacionado

La actualidad más candente

Modelos de evaluacion educativa
Modelos de evaluacion educativaModelos de evaluacion educativa
Modelos de evaluacion educativaLoveAll13
 
Tyler Metodo de evaluacion por objetivos
Tyler Metodo de evaluacion por objetivosTyler Metodo de evaluacion por objetivos
Tyler Metodo de evaluacion por objetivosJhonny Rojas Diaz
 
Modelo de acreditación para programas de estudios de educación superior unive...
Modelo de acreditación para programas de estudios de educación superior unive...Modelo de acreditación para programas de estudios de educación superior unive...
Modelo de acreditación para programas de estudios de educación superior unive...Joel Garcia Soto
 
Enfoque cuantitativo y cualitativo evaluación
Enfoque cuantitativo y cualitativo evaluaciónEnfoque cuantitativo y cualitativo evaluación
Enfoque cuantitativo y cualitativo evaluaciónjesylorein
 
Las estrategias e instrumentos de evaluación desde un enfoque formativo
Las estrategias  e instrumentos de evaluación desde un enfoque formativoLas estrategias  e instrumentos de evaluación desde un enfoque formativo
Las estrategias e instrumentos de evaluación desde un enfoque formativoSEIEM
 
GUÍA PARA EL USO, MANEJO E INTERPRETACIÓN DE LOS PROGRAMAS DE ESTUDIO
GUÍA PARA EL USO, MANEJO E INTERPRETACIÓN DE LOS PROGRAMAS DE ESTUDIOGUÍA PARA EL USO, MANEJO E INTERPRETACIÓN DE LOS PROGRAMAS DE ESTUDIO
GUÍA PARA EL USO, MANEJO E INTERPRETACIÓN DE LOS PROGRAMAS DE ESTUDIOJ.V.García
 
Clase 3 s3 planteamiento del problema
Clase 3 s3 planteamiento del problemaClase 3 s3 planteamiento del problema
Clase 3 s3 planteamiento del problemaJacinto Arroyo
 
Evaluacion Educativa
Evaluacion EducativaEvaluacion Educativa
Evaluacion EducativaVilma H
 
evaluacion institucional
 evaluacion institucional evaluacion institucional
evaluacion institucionalCary Reynoso
 
Cuadro comparativo evaluacion formativa y sumativa
Cuadro comparativo evaluacion formativa y sumativaCuadro comparativo evaluacion formativa y sumativa
Cuadro comparativo evaluacion formativa y sumativaGustavo6747
 
Propuesta estandares aprendizaje
Propuesta estandares aprendizajePropuesta estandares aprendizaje
Propuesta estandares aprendizajeANIBAL C
 
Modelo evaluacion' Scriven
Modelo evaluacion' ScrivenModelo evaluacion' Scriven
Modelo evaluacion' ScrivenJenn Gonzalez
 
Metodos de Supervision
Metodos de SupervisionMetodos de Supervision
Metodos de Supervisionnorielr
 
Con que evaluar y como - instrumentos
Con que evaluar y como - instrumentosCon que evaluar y como - instrumentos
Con que evaluar y como - instrumentoseriklarasalazar
 

La actualidad más candente (20)

Modelos de evaluacion educativa
Modelos de evaluacion educativaModelos de evaluacion educativa
Modelos de evaluacion educativa
 
Tyler Metodo de evaluacion por objetivos
Tyler Metodo de evaluacion por objetivosTyler Metodo de evaluacion por objetivos
Tyler Metodo de evaluacion por objetivos
 
Modelo de acreditación para programas de estudios de educación superior unive...
Modelo de acreditación para programas de estudios de educación superior unive...Modelo de acreditación para programas de estudios de educación superior unive...
Modelo de acreditación para programas de estudios de educación superior unive...
 
Enfoque cuantitativo y cualitativo evaluación
Enfoque cuantitativo y cualitativo evaluaciónEnfoque cuantitativo y cualitativo evaluación
Enfoque cuantitativo y cualitativo evaluación
 
Las estrategias e instrumentos de evaluación desde un enfoque formativo
Las estrategias  e instrumentos de evaluación desde un enfoque formativoLas estrategias  e instrumentos de evaluación desde un enfoque formativo
Las estrategias e instrumentos de evaluación desde un enfoque formativo
 
Enfoques de evaluación
Enfoques de evaluaciónEnfoques de evaluación
Enfoques de evaluación
 
GUÍA PARA EL USO, MANEJO E INTERPRETACIÓN DE LOS PROGRAMAS DE ESTUDIO
GUÍA PARA EL USO, MANEJO E INTERPRETACIÓN DE LOS PROGRAMAS DE ESTUDIOGUÍA PARA EL USO, MANEJO E INTERPRETACIÓN DE LOS PROGRAMAS DE ESTUDIO
GUÍA PARA EL USO, MANEJO E INTERPRETACIÓN DE LOS PROGRAMAS DE ESTUDIO
 
Cuadro comparativo curriculo
Cuadro comparativo curriculoCuadro comparativo curriculo
Cuadro comparativo curriculo
 
Clase 3 s3 planteamiento del problema
Clase 3 s3 planteamiento del problemaClase 3 s3 planteamiento del problema
Clase 3 s3 planteamiento del problema
 
Evaluacion Educativa
Evaluacion EducativaEvaluacion Educativa
Evaluacion Educativa
 
Evaluacion de entrada
Evaluacion de entradaEvaluacion de entrada
Evaluacion de entrada
 
Evaluación institucional u1
Evaluación institucional u1Evaluación institucional u1
Evaluación institucional u1
 
evaluacion institucional
 evaluacion institucional evaluacion institucional
evaluacion institucional
 
Cuadro comparativo evaluacion formativa y sumativa
Cuadro comparativo evaluacion formativa y sumativaCuadro comparativo evaluacion formativa y sumativa
Cuadro comparativo evaluacion formativa y sumativa
 
Propuesta estandares aprendizaje
Propuesta estandares aprendizajePropuesta estandares aprendizaje
Propuesta estandares aprendizaje
 
Modelo evaluacion' Scriven
Modelo evaluacion' ScrivenModelo evaluacion' Scriven
Modelo evaluacion' Scriven
 
Metodos de Supervision
Metodos de SupervisionMetodos de Supervision
Metodos de Supervision
 
Unidad 2. Funciones del supervisor
Unidad 2. Funciones del supervisorUnidad 2. Funciones del supervisor
Unidad 2. Funciones del supervisor
 
Unidad 4. Administración educativa
Unidad 4. Administración educativaUnidad 4. Administración educativa
Unidad 4. Administración educativa
 
Con que evaluar y como - instrumentos
Con que evaluar y como - instrumentosCon que evaluar y como - instrumentos
Con que evaluar y como - instrumentos
 

Similar a Elaboración instrumentos evaluación competencias

Manual de evaluacion de competencias laborales
Manual de evaluacion de competencias laboralesManual de evaluacion de competencias laborales
Manual de evaluacion de competencias laboralesSilvia Laura Manza Diaz
 
Manual de evaluacion de competencias laborales
Manual de evaluacion de competencias laboralesManual de evaluacion de competencias laborales
Manual de evaluacion de competencias laboralesSilvia Laura Manza Diaz
 
EC0301 Diseño de cursos de formación del capital humano de manera presencial ...
EC0301 Diseño de cursos de formación del capital humano de manera presencial ...EC0301 Diseño de cursos de formación del capital humano de manera presencial ...
EC0301 Diseño de cursos de formación del capital humano de manera presencial ...Libreria E-duca
 
1.sistema nacional de evaluación
1.sistema nacional de evaluación 1.sistema nacional de evaluación
1.sistema nacional de evaluación belyroblero
 
Ssce0110 mf1445 3 evaluación
Ssce0110 mf1445 3 evaluaciónSsce0110 mf1445 3 evaluación
Ssce0110 mf1445 3 evaluaciónNombre Apellidos
 
EVALUACION POR COMPETENCIAS MODIFICADO POR JUAN PAREDES.pptx
EVALUACION POR COMPETENCIAS MODIFICADO POR JUAN PAREDES.pptxEVALUACION POR COMPETENCIAS MODIFICADO POR JUAN PAREDES.pptx
EVALUACION POR COMPETENCIAS MODIFICADO POR JUAN PAREDES.pptxMoreiraMedranoLilian
 
proceso de evaluación EC1002 (002).pdf
 proceso de evaluación EC1002 (002).pdf proceso de evaluación EC1002 (002).pdf
proceso de evaluación EC1002 (002).pdfconalep2
 
Proceso de Evaluación y Acreditación
Proceso de Evaluación y AcreditaciónProceso de Evaluación y Acreditación
Proceso de Evaluación y AcreditaciónGiovanni Pinto
 
Esquema de calificación y definición de listas de prelación Concursos de Op...
Esquema de calificación y definición de listas de  prelación  Concursos de Op...Esquema de calificación y definición de listas de  prelación  Concursos de Op...
Esquema de calificación y definición de listas de prelación Concursos de Op...Alonso Mendez Torres
 
guia-proceso-evaluacion-EC1002.pdf
guia-proceso-evaluacion-EC1002.pdfguia-proceso-evaluacion-EC1002.pdf
guia-proceso-evaluacion-EC1002.pdfjorge635221
 
Manual reactivos ceneval.
Manual reactivos ceneval.Manual reactivos ceneval.
Manual reactivos ceneval.zakuvmupn
 
Coneau propuesta de estandares maestria profesional
Coneau propuesta de estandares maestria profesionalConeau propuesta de estandares maestria profesional
Coneau propuesta de estandares maestria profesionalEDYMAC23
 
GUIA_ORIENTACION_ASPIRANTE_POSTCONFLICTO_PRIMARIA 2018.pdf
GUIA_ORIENTACION_ASPIRANTE_POSTCONFLICTO_PRIMARIA 2018.pdfGUIA_ORIENTACION_ASPIRANTE_POSTCONFLICTO_PRIMARIA 2018.pdf
GUIA_ORIENTACION_ASPIRANTE_POSTCONFLICTO_PRIMARIA 2018.pdfCarlos Montes Rodriguez
 
!41646d2e2061706c69636164612061206c6f732052522e48482e2028556e69646164203229
!41646d2e2061706c69636164612061206c6f732052522e48482e2028556e69646164203229!41646d2e2061706c69636164612061206c6f732052522e48482e2028556e69646164203229
!41646d2e2061706c69636164612061206c6f732052522e48482e2028556e69646164203229Barbara Lizana
 
sistema de evaluacion de la competencia
sistema de evaluacion de la competenciasistema de evaluacion de la competencia
sistema de evaluacion de la competenciaVicente Sanchez
 
5.2 proceso-de-evaluacion-del-desempeño.-capital-humano 2
5.2 proceso-de-evaluacion-del-desempeño.-capital-humano 25.2 proceso-de-evaluacion-del-desempeño.-capital-humano 2
5.2 proceso-de-evaluacion-del-desempeño.-capital-humano 2Arantziitha Aquino
 

Similar a Elaboración instrumentos evaluación competencias (20)

Manual de evaluacion de competencias laborales
Manual de evaluacion de competencias laboralesManual de evaluacion de competencias laborales
Manual de evaluacion de competencias laborales
 
Manual de evaluacion de competencias laborales
Manual de evaluacion de competencias laboralesManual de evaluacion de competencias laborales
Manual de evaluacion de competencias laborales
 
EC0301 Diseño de cursos de formación del capital humano de manera presencial ...
EC0301 Diseño de cursos de formación del capital humano de manera presencial ...EC0301 Diseño de cursos de formación del capital humano de manera presencial ...
EC0301 Diseño de cursos de formación del capital humano de manera presencial ...
 
Estándar conocer
Estándar conocerEstándar conocer
Estándar conocer
 
1.sistema nacional de evaluación
1.sistema nacional de evaluación 1.sistema nacional de evaluación
1.sistema nacional de evaluación
 
Ssce0110 mf1445 3 evaluación
Ssce0110 mf1445 3 evaluaciónSsce0110 mf1445 3 evaluación
Ssce0110 mf1445 3 evaluación
 
EVALUACION POR COMPETENCIAS MODIFICADO POR JUAN PAREDES.pptx
EVALUACION POR COMPETENCIAS MODIFICADO POR JUAN PAREDES.pptxEVALUACION POR COMPETENCIAS MODIFICADO POR JUAN PAREDES.pptx
EVALUACION POR COMPETENCIAS MODIFICADO POR JUAN PAREDES.pptx
 
Evaluacion de instituciones
Evaluacion de institucionesEvaluacion de instituciones
Evaluacion de instituciones
 
proceso de evaluación EC1002 (002).pdf
 proceso de evaluación EC1002 (002).pdf proceso de evaluación EC1002 (002).pdf
proceso de evaluación EC1002 (002).pdf
 
Proceso de Evaluación y Acreditación
Proceso de Evaluación y AcreditaciónProceso de Evaluación y Acreditación
Proceso de Evaluación y Acreditación
 
Esquema de calificación y definición de listas de prelación Concursos de Op...
Esquema de calificación y definición de listas de  prelación  Concursos de Op...Esquema de calificación y definición de listas de  prelación  Concursos de Op...
Esquema de calificación y definición de listas de prelación Concursos de Op...
 
guia-proceso-evaluacion-EC1002.pdf
guia-proceso-evaluacion-EC1002.pdfguia-proceso-evaluacion-EC1002.pdf
guia-proceso-evaluacion-EC1002.pdf
 
Acreditacion Para La Calidad
Acreditacion Para La CalidadAcreditacion Para La Calidad
Acreditacion Para La Calidad
 
Manual reactivos ceneval.
Manual reactivos ceneval.Manual reactivos ceneval.
Manual reactivos ceneval.
 
Coneau propuesta de estandares maestria profesional
Coneau propuesta de estandares maestria profesionalConeau propuesta de estandares maestria profesional
Coneau propuesta de estandares maestria profesional
 
Estandar ec0772
Estandar ec0772Estandar ec0772
Estandar ec0772
 
GUIA_ORIENTACION_ASPIRANTE_POSTCONFLICTO_PRIMARIA 2018.pdf
GUIA_ORIENTACION_ASPIRANTE_POSTCONFLICTO_PRIMARIA 2018.pdfGUIA_ORIENTACION_ASPIRANTE_POSTCONFLICTO_PRIMARIA 2018.pdf
GUIA_ORIENTACION_ASPIRANTE_POSTCONFLICTO_PRIMARIA 2018.pdf
 
!41646d2e2061706c69636164612061206c6f732052522e48482e2028556e69646164203229
!41646d2e2061706c69636164612061206c6f732052522e48482e2028556e69646164203229!41646d2e2061706c69636164612061206c6f732052522e48482e2028556e69646164203229
!41646d2e2061706c69636164612061206c6f732052522e48482e2028556e69646164203229
 
sistema de evaluacion de la competencia
sistema de evaluacion de la competenciasistema de evaluacion de la competencia
sistema de evaluacion de la competencia
 
5.2 proceso-de-evaluacion-del-desempeño.-capital-humano 2
5.2 proceso-de-evaluacion-del-desempeño.-capital-humano 25.2 proceso-de-evaluacion-del-desempeño.-capital-humano 2
5.2 proceso-de-evaluacion-del-desempeño.-capital-humano 2
 

Último

INSTITUCION EDUCATIVA LA ESPERANZA SEDE MAGDALENA
INSTITUCION EDUCATIVA LA ESPERANZA SEDE MAGDALENAINSTITUCION EDUCATIVA LA ESPERANZA SEDE MAGDALENA
INSTITUCION EDUCATIVA LA ESPERANZA SEDE MAGDALENAdanielaerazok
 
NUVO PROGRAMAS DE ESCUELAS NUEVO-ACUERDO-CTE.pdf
NUVO PROGRAMAS DE ESCUELAS NUEVO-ACUERDO-CTE.pdfNUVO PROGRAMAS DE ESCUELAS NUEVO-ACUERDO-CTE.pdf
NUVO PROGRAMAS DE ESCUELAS NUEVO-ACUERDO-CTE.pdfisrael garcia
 
12 Clasificacion de las Computadoras.pdf
12 Clasificacion de las Computadoras.pdf12 Clasificacion de las Computadoras.pdf
12 Clasificacion de las Computadoras.pdfedwinmelgarschlink2
 
Institucion educativa la esperanza sede la magdalena
Institucion educativa la esperanza sede la magdalenaInstitucion educativa la esperanza sede la magdalena
Institucion educativa la esperanza sede la magdalenadanielaerazok
 
Buscadores, SEM SEO: el desafío de ser visto en la web
Buscadores, SEM SEO: el desafío de ser visto en la webBuscadores, SEM SEO: el desafío de ser visto en la web
Buscadores, SEM SEO: el desafío de ser visto en la webDecaunlz
 
Guia para el registro en el sitio slideshare.pdf
Guia para el registro en el sitio slideshare.pdfGuia para el registro en el sitio slideshare.pdf
Guia para el registro en el sitio slideshare.pdflauradbernals
 
COMPETENCIAS CIUDADANASadadadadadadada .pdf
COMPETENCIAS CIUDADANASadadadadadadada .pdfCOMPETENCIAS CIUDADANASadadadadadadada .pdf
COMPETENCIAS CIUDADANASadadadadadadada .pdfOscarBlas6
 
institucion educativa la esperanza sede magdalena
institucion educativa la esperanza sede magdalenainstitucion educativa la esperanza sede magdalena
institucion educativa la esperanza sede magdalenajuniorcuellargomez
 

Último (8)

INSTITUCION EDUCATIVA LA ESPERANZA SEDE MAGDALENA
INSTITUCION EDUCATIVA LA ESPERANZA SEDE MAGDALENAINSTITUCION EDUCATIVA LA ESPERANZA SEDE MAGDALENA
INSTITUCION EDUCATIVA LA ESPERANZA SEDE MAGDALENA
 
NUVO PROGRAMAS DE ESCUELAS NUEVO-ACUERDO-CTE.pdf
NUVO PROGRAMAS DE ESCUELAS NUEVO-ACUERDO-CTE.pdfNUVO PROGRAMAS DE ESCUELAS NUEVO-ACUERDO-CTE.pdf
NUVO PROGRAMAS DE ESCUELAS NUEVO-ACUERDO-CTE.pdf
 
12 Clasificacion de las Computadoras.pdf
12 Clasificacion de las Computadoras.pdf12 Clasificacion de las Computadoras.pdf
12 Clasificacion de las Computadoras.pdf
 
Institucion educativa la esperanza sede la magdalena
Institucion educativa la esperanza sede la magdalenaInstitucion educativa la esperanza sede la magdalena
Institucion educativa la esperanza sede la magdalena
 
Buscadores, SEM SEO: el desafío de ser visto en la web
Buscadores, SEM SEO: el desafío de ser visto en la webBuscadores, SEM SEO: el desafío de ser visto en la web
Buscadores, SEM SEO: el desafío de ser visto en la web
 
Guia para el registro en el sitio slideshare.pdf
Guia para el registro en el sitio slideshare.pdfGuia para el registro en el sitio slideshare.pdf
Guia para el registro en el sitio slideshare.pdf
 
COMPETENCIAS CIUDADANASadadadadadadada .pdf
COMPETENCIAS CIUDADANASadadadadadadada .pdfCOMPETENCIAS CIUDADANASadadadadadadada .pdf
COMPETENCIAS CIUDADANASadadadadadadada .pdf
 
institucion educativa la esperanza sede magdalena
institucion educativa la esperanza sede magdalenainstitucion educativa la esperanza sede magdalena
institucion educativa la esperanza sede magdalena
 

Elaboración instrumentos evaluación competencias

  • 1. 1 Documento de trabajo DEC-CONEAU – Prohibida su reproducción (SÍNTESIS DEL DOCUMENTO DE TRABAJO) ELABORACIÓN Y VALIDACIÓN DE INSTRUMENTOS DE EVALUACIÓN DE COMPETENCIAS PROFESIONALES 2012
  • 2. 2 Documento de trabajo DEC-CONEAU – Prohibida su reproducción El presente documento es la síntesis de los aspectos importantes que comprende el documento de trabajo titulado elaboración y validación de instrumentos de evaluación de competencias profesionales, elaborado por la DEC-CONEAU en el 2012 con la finalidad de servir de soporte de aprendizaje a los que se forman como evaluadores de competencias profesionales. Por ser una parte del documento de trabajo, se aborda desde la metodología para la elaboración de instrumentos de evaluación de competencias profesionales que comprende los procedimientos generales para la elaboración de la matriz de instrumentos de evaluación de competencias profesionales, explicando sus componentes como son: los criterios de desempeño, indicadores y reactivos de evaluación así como las evidencias requeridas para la evaluación. Un aspecto importante del documento es la elaboración de instrumentos para la evaluación de competencias profesionales, se describe los requisitos, componentes y tipos de instrumentos como son: las listas de chequeo para el recojo de evidencias de desempeño y producto y el cuestionario para el recojo de evidencias conocimientos El documento finaliza abordando la validez de instrumentos de evaluación, desde la validación externa donde se describe el procedimiento de la validez de contenido por juicio de expertos, las evidencias basadas en el contenido con ejemplos de procedimiento de validez según Gregory y la V de AIKEN. Un aspecto importante que se detalla también es la confiabilidad de un instrumento según métodos en el cálculo de la fiabilidad.
  • 3. 3 Documento de trabajo DEC-CONEAU – Prohibida su reproducción SISTEMA NACIONAL DE EVALUACIÓN, ACREDITACIÓN Y CERTIFICACIÓN DE LA CALIDAD EDUCATIVA - S.I.N.E.A.C.E Consejo Superior: Peregrina Morgan Lora (IPEBA) PRESIDENTE Jaime Zárate Aguilar (CONEAU) Luis Humberto Ludeña Saldaña (CONEACES) CONSEJO DE EVALUACIÓN, ACREDITACIÓN Y CERTIFICACIÓN DE LA CALIDAD DE LA EDUCACIÓN SUPERIOR UNIVERSITARIA - C.O.N.E.A.U. Directorio: Jaime Zárate Aguilar Miguel Ángel Saravia Rojas Francisco Delgado de la Flor Badaracco Jonathan Golergant Niego Edwin Uribe Pomalaza Wilson Alcántara Vidal Dirección de Evaluación y Certificación: Elaborado por: Revisado por: Aprobado por: Ítala Navarro Montenegro Ruth Seminario Rivas Silvia Bravo Hernández Myriam Sosa Espinoza Valia Venegas Mejía Lima-Perú
  • 4. 4 Documento de trabajo DEC-CONEAU – Prohibida su reproducción INTRODUCCIÓN La Certificación profesional en el Perú es una realidad aún incipiente y débil. Tres años de trabajo conjunto, CONEAU-Colegios Profesionales, es poco tiempo para los logros alcanzados a la fecha. Sin embargo, ello no nos desvía del convencimiento de que hay muchos aspectos a mejorar. Uno de los aspectos críticos de la evaluación de competencias es el recojo de evidencias del postulante, a través del empleo de instrumentos de evaluación con características idóneas, válidos y confiables. Con base en la experiencia desarrollada hasta ahora de capacitación para el fortalecimiento de capacidades en los colegios profesionales y en una dinámica de mejora continua, la DEC-CONEAU ha diseñado y está ejecutando el Curso de elaboración de instrumentos para la evaluación de competencias profesionales. El curso, aborda los aspectos conceptuales generales de la evaluación de competencias y la elaboración de los instrumentos más utilizados para ella, enfatiza dos aspectos esenciales. El primero es una metodología para asegurar que los instrumentos se elaboren cubriendo todos los componentes de la norma de competencia a través de una matriz de consistencia; y el segundo es el desarrollo de procesos de validación externa e interna de los instrumentos elaborados. El presente es todavía un documento de trabajo que busca orientar a los participantes que se forman como evaluadores de competencias profesionales correspondientes al módulo denominado instrumentos de evaluación de competencias profesionales, esperamos mejorarlo con los aportes y críticas constructivas de sus lectores. Un agradecimiento especial a la Profesora Ítala Navarro Montenegro por su sustantivo aporte al presente documento.
  • 5. 5 Documento de trabajo DEC-CONEAU – Prohibida su reproducción ÍNDICE 1. CONCEPTOS CLAVES Y CONSIDERACIONES IMPORTANTES PARA LA ELABORACIÓN DE INSTRUMENTOS DE EVALUACIÓN DE COMPETENCIAS PROFESIONALES. 2. MARCO CONCEPTUAL DE LA EVALUACIÓN DE COMPETENCIAS PROFESIONALES 2.1 Definiciones de evaluación de competencias profesionales 2.2 Evaluación tradicional frente a evaluación de competencias 2.3.Evaluación de competencias profesionales en el Perú 2.4 Características de la evaluación de competencias 2.5 Principios básicos de la evaluación de competencias 2.6 Fases o etapas de la evaluación de competencias 2.7. Norma de competencia como estándar de evaluación de competencias profesionales 3. METODOLOGÍA PARA LA ELABORACIÓN DE INSTRUMENTOS DE EVALUACIÓN DE COMPETENCIAS PROFESIONALES. 3.1 Procedimientos generales para elaboración de la matriz de instrumentos de evaluación de competencias profesionales 3.2. Criterios de desempeño 3.3 indicadores de evaluación 3.4. Reactivos de evaluación 3.5 evidencias requeridas para la evaluación de competencias 4. ELABORACIÓN DE INSTRUMENTOS PARA LA EVALUACION DE COMPETENCIAS PROFESIONALES. 4.1 Instrumentos de evaluación de competencias 4.1.1 Requisitos de los Instrumentos de evaluación 4.1.2 Componentes del instrumento de evaluación: 4.1.3 Instrumentos de evaluación para el recojo de evidencias de desempeño y producto 4.1.3.1 La Lista de Chequeo 4.1.4 instrumento de evaluación de conocimientos. Cuestionario 4.1.5 pasos para la elaboración del cuestionario. 5. VALIDEZ DE UN INSTRUMENTO. 5.1 Validación externa de instrumentos de evaluación 5.1.1 Procedimiento de la validez de contenido por juicio de expertos 5.1.2 Evidencias basadas en el contenido 5.1.3 Ejemplo de procedimiento de validez según Gregory y la V de AIKEN. 5.2 Confiabilidad 5.2.1 Confiabilidad de un instrumento 5.2.2 Enfoques y métodos en el cálculo de la fiabilidad ANEXOS
  • 6. 6 Documento de trabajo DEC-CONEAU – Prohibida su reproducción 3. METODOLOGÍA PARA LA ELABORACIÓN DE INSTRUMENTOS DE EVALUACIÓN DE COMPETENCIAS PROFESIONALES La evaluación de competencias profesionales es un proceso importante y complejo con varias etapas y procedimientos en cada una de ellas. Por ello es necesario establecer una metodología pertinente que permita la congruencia y consistencia de la evaluación a través de instrumentos válidos y confiables. La metodología para la elaboración de instrumentos de evaluación de competencias profesionales consiste en elaborar una matriz de consistencia y congruencia de todos los componentes de la norma de competencia, estableciendo indicadores que permitan elaborar los reactivos o preguntas según técnicas e instrumentos para el recojo de las evidencias requeridas. Una Matriz o rúbrica es una tabla de doble entrada, en la evaluación de competencias se emplea para ordenar todos los componentes de la norma de competencia a evaluar, con la finalidad de establecer los indicadores de evaluación según los tipos de evidencias para que partir de estos se formulen los reactivos o preguntas que irán en el instrumento de evaluación. La matriz permite organizar todos los componentes de la norma a evaluar de manera total y sistemática. 3.1 Procedimientos generales para elaboración de la matriz de instrumentos de evaluación de competencias profesionales Para la construcción de la matriz se recomiendan los siguientes pasos: 1) Colocar en la primera columna de la matriz la norma de competencia a evaluar (recuerda que la norma está integrada por competencias concretas a las que se les denomina elementos de competencia.) 2) En la segunda columna colocar en orden cada elemento de competencia de la norma a evaluar, esto es muy importante para ubicar los criterios en el elemento de competencia que le corresponda. 3) En la tercera columna colocar los criterios correspondientes al elemento de competencia. Realizar igual con todos los elementos de la norma. 4) En la cuarta columna colocar el rango correspondiente al elemento de competencia 5) En la quinta columna colocar todos los conocimientos y comprensión esenciales del elemento de competencia 6) En la sexta columna establecer los indicadores según evidencias de evaluación, está columna se subdivide en tres para los indicadores de conocimiento, desempeño y producto. Cada indicador se formula analizando cada criterio de desempeño, el rango y los conocimientos y comprensión esenciales correspondientes al criterio analizado. Ejemplo: si en el elemento de competencia Recoger evidencias de las competencias del postulante según pautas establecidas por la entidad certificadora y CONEAU, de la norma: Ejecutar la evaluación de las competencias de los postulantes, según las normas y procedimientos establecidos por la entidad certificadora, tiene los criterios a,b,c,d,e y en los conocimientos y comprensión esenciales el conocimiento 1 está relacionado al criterio a) el conocimiento 2, 3, 4 y 5 también; quiere decir que ningún criterio puede quedar al margen del conocimiento establecido en la norma por lo tanto el criterio a) tiene cinco
  • 7. 7 Documento de trabajo DEC-CONEAU – Prohibida su reproducción indicadores. Es bueno también revisar el rango que debe ser cubierto o estar relacionado con los criterios y conocimientos. En la construcción de los indicadores de conocimientos se debe considerar los niveles de complejidad del pensamiento: baja, media y alta, utilizando para ello una taxonomía en coherencia al criterio requerido en la norma y la experticia del profesional. Los niveles de complejidad de los indicadores formulados determinaran los pesos para colocar el puntaje de las preguntas. Para formular los indicadores de desempeño se analiza el criterio correspondiente y se redacta en acción de desempeño observable, ejemplo: Orienta al postulante sobre la evaluación según evidencia a recoger y pautas establecidas. Los indicadores de producto se formulan analizando cada criterio, según lo que indica el criterio, ejemplo: registro de instrumento de desempeño. 7) Establecer las técnicas y los instrumentos en la parte final de las columnas que corresponde a los indicadores según evidencias. Ejemplo: para recoger evidencias de conocimiento la técnica es formulación de preguntas y el instrumente el cuestionario. Para el recojo de evidencias de desempeño la técnica de evaluación es observación y su instrumento la lista de chequeo de desempeño, la técnica para el recojo de evidencias de producto es la valoración de producto y su instrumento la lista de chequeo de producto. SECUENCIA PARA LA ELABORACIÓN DE MATRIZ DE CONSISTENCIA DE INSTRUMENTOS DE EVALUACIÓN DE COMPETENCIAS PROFESIONALES A continuación un ejemplo de matriz de elaboración de instrumentos de evaluación de competencias profesionales: NORMA DE COMPETENCIA Y ELEMENTOS DE COMPETENCIA A EVALUAR CRITERIOS DE DESEMPEÑO DEL ELEMENTO DE COMPETENCIA FORMULACIÓN DE INDICADORES DE EVALUACION SEGÚN EVIDENCIAS DE DESEMPEÑO CONOCIMIENTO Y PRODUCTO 1 2 3 RANGO CONOCIMIENTOS Y COMPRENSIÓN ESENCIALES4 5
  • 8. 8 Documento de trabajo DEC-CONEAU – Prohibida su reproducción MATRIZ DE CONSISTENCIA PARA LA ELABORACIÓN DE INSTRUMENTOS DE EVALUACIÓN DE COMPETENCIAS PROFESIONALES NORMA DE COMPETENCIA ELEMEN TOS CRITERIOS DE DESEMPEÑO RANGO CONOCIMIENTOS Y COMPRENSIÓN ESENCIALES INDICADORES DE EVALUACIÓN SEGÙN EVIDENCIAS Ejecutar la evaluación de las competencias de los postulantes, según las normas y procedimientos establecidos por la entidad 1. Recoger evidenci as de las compete ncias del postulan te según pautas estableci das por la entidad certifica dora y CONEA U. CONOCIMIENTO DESEMPEÑO PRODUCT O a) El postulante es orientado sobre la evaluación, según tipos de evidencias a recoger y pautas establecidas. Técnicas de evaluación: Observación en ambiente real Simulación Valoración de productos Formulación de preguntas Tipos de evidencias: Conocimiento Desempeño Producto 1. Normas de competencias en que se evaluará al postulante priorizadas por la entidad certificadora. (a, b, c, d) 2.Habilidades sociales del evaluador de competencias (Guía del participante del curso de evaluadores) (a) 3.Técnicas de evaluación de competencias según Guía de evaluación CONEAU ( a, b, c, d) 4.Tipos de evidencias para la evaluación de competencias según Guía de 1. Identifica las normas de competencia a evaluar, según priorización de la Entidad certificadora. 2. Identifica la comunicación asertiva como habilidad social del evaluador. 3. Diferencia las técnicas de evaluación de competencias según guía de participantes del curso de evaluadores 4. Identifica los tipos,características y condiciones de instrumentos de evaluación de competencias a aplicar según guía de evaluación CONEAU. 5.Analiza los tipos de evidencias para la evaluación de competencias según directrices de normalización CONEAU. 6.Analiza la actuación ética del evaluador en un caso. 7.Identifica los procedimientos para la aplicación de los instrumentos de evaluación de competencias. 1.Orienta al postulante sobre la evaluación según evidencia a recoger y pautas establecidas b) Los instrumentos de evaluación de conocimiento se aplican de acuerdo a las evidencias a recoger y pautas establecidas. 1. Identifica las evidencias de conocimiento de las normas de competencia a evaluar. 2. Describe el procedimiento del uso de instrumentos de recojo de evidencias de conocimiento,según técnica. 3. Identifica evidencias de conocimiento para la evaluación de competencias 4. Analiza la actuación ética del evaluador en casos de aplicación de instrumentos de evaluación de conocimiento. 5. Analiza un caso de aplicación de un cuestionario. 6. Analiza un caso de registro de evidencias de conocimiento. 2. Aplica instrumentos de conocimiento según evidencia a recoger y pautas establecidas. Registros de instrument os de conocimien to aplicados
  • 9. 9 Documento de trabajo DEC-CONEAU – Prohibida su reproducción certificadora. c) Los instrumentos de evaluación de desempeño se aplican de acuerdo a las evidencias a recoger y pautas establecidas. Tipos de instrumentos: Cuestionario Lista de chequeo evaluación CONEAU (a, b, c, d) 5.Pautas éticas de la evaluación de competencias según código de ética del evaluador CONEAU(a, b, c, d y e) 6. Procedimientos para la aplicación de los instrumentos de evaluación de competencias según Guía de evaluación de CONEAU (a, b, c, d). 7. Procedimiento para el registro de evidencias según Guía de evaluación CONEAU (b, c, d, e). 8. Pautas para la determinación del logro de las competencias según Guía de evaluación CONEAU (e). 1. Analiza las evidencias de desempeño de las normas de competencia a evaluar en un caso 2. Relaciona el instrumento de evaluación de desempeño con a técnica correspondiente a la evidencia a recoger 3. Describe las características,condiciones y procedimientos del uso del instrumento de evaluación de desempeño. 4. Analiza la actuación ética del evaluador en casos de aplicación de instrumentos de evaluación de desempeño. 5. Analiza la aplicación de una lista de verificación de desempeño en un caso. 6. Describe el procedimiento para el registro de evidencias. 3. Aplica instrumentos de desempeño según evidencia a recoger Registro de instrument o de desempeñ o d) Los instrumentos de evaluación de producto se aplican de acuerdo a las evidencias a recoger y pautas establecidas. 1. Identifica las evidencias de producto de las normas de competencia a evaluar. 2. Relaciona el instrumento de evaluación de producto con la técnica correspondiente a la evidencia a recoger 3. Describe las características,condiciones y procedimientos del uso del instrumento de evaluación de producto. 4. Analiza la actuación ética del evaluador en casos de aplicación de instrumentos de evaluación de producto. 5. Describe los procedimientos para la aplicación del instrumento de evaluación de producto. 6. Describe el procedimiento para el registro de evidencias de producto 4. Aplica instrumentos de producto según evidencia a recoger Registro de instrument o de producto e) La determinación del logro de la competencia es registrada en los formatos establecidos según pautas establecidas. 1. Reconoce los principios éticos en la determinación del logro de las competencias ysu registro. 2. Analiza los procedimientos para la determinación del logro de las competencias. 3. Describe el procedimiento para el registro del logro de las competencias. 5. Registra el logro de la competencia en los formatos establecidos Registro de logro de competenc ia
  • 10. 10 Documento de trabajo DEC-CONEAU – Prohibida su reproducción 2. Comunic ar a los actores involucra dos los resultado s de la evaluació n, según normas estableci das a) Los expedientes de los postulantes evaluados son revisados y organizados de acuerdo a pautas de la entidad certificadora. Actores Involucrados .Postulante evaluado .Responsables de evaluación/ges tión - Resultado de la evaluación -Demostró la Competencia - no demostró la competencia 1.Organización del expediente del evaluado para el informe final de la evaluación (en Guía Procedimientos para la Evaluación de Competencias con fines de certificación profesional- CONEAU) (a) 2. Pautas para la comunicación de los resultados a los postulantes evaluados (en Guía de evaluación CONEAU)(b). 3. Pautas de elaboración del informe (en Guía Procedimientos para la Evaluación de Competencias con fines de certificación profesional- CONEAU) (c, d, e). 4. Pautas para la entrega del informe (en Guía Procedimientos para la evaluación de 1.Reconoce la organización del expediente del evaluado para el informe final de la evaluación. 2. Analiza la ética del evaluador en relación a la revisión y organización de los expedientes de los postulantes evaluados. 1.Revisa y organiza expedientes de evaluados según pautas de EC Registro de verificación y expediente s organizado s b) La comunicación de los resultados de la evaluación es realizada de manera individual, empática, asertiva y respetuosa con el postulante según pautas establecidas. 1.Diferencia la comunicación individual, empática, asertiva, y respetuosa de los resultados de la evaluación. 2. Analiza las formas de comunicación de los resultados en un caso. 2. Comunica al postulante los resultados de la evaluación de manera empática, asertiva, respetuosa siguiendo pautas establecidas. c) La redacción del informe final a la EC es realizada con la participación del equipo evaluador. 1.Reconoce las recomendaciones para la elaboración del informe final de resultados de la evaluación. 3.Redacta el informe final a la EC con participación del equipo evaluador Informe final consolidad o de resultados de evaluación de competenc ias d) El informe de la evaluación de 1. Identifica las partes del informe final de la evaluación. 3. Analiza las pautas éticas del evaluador de 4. Redacta el informe final cumpliendo
  • 11. 11 Documento de trabajo DEC-CONEAU – Prohibida su reproducción competencias es redactado cumpliendo las recomendacio nes establecidas por la entidad certificadora. competencias – CONEAU) (e) 6. Pautas de manejo de contingencias en la evaluación y elaboración del informe de la EC. (e) 7. Pautas de ética del evaluador de competencias. (a, e, d) 8. Contingencias en la elaboración del informe según EC(f) competencia en la redacción del informe. recomendacio nes establecida por la EC e) La presentación del informe se realiza considerando su integridad, seguridad y confidencialidad de acuerdo a lo establecido por la EC. 1. Analiza las pautas para la presentación del informe final de la evaluación de competencias en un caso. 2. Identifica los principios éticos en la presentación del informe final de la evaluación 5. Realiza la presentación del informe considerando su integridad, seguridad y confidencialida d de acuerdo a lo establecido por la EC. f) Las contingencias durante la elaboración del informe son manejadas de acuerdo a pautas establecidas por la EC. 1.Reconoce pautas para el manejo de contingencias en la elaboración del informe a la EC. 2.Analiza las pautas éticas del evaluador de competencias en el manejo de contingencias en la elaboración del informe a la EC. 6. Maneja contingencias durante la elaboración del informe de acuerdo a pautas establecidas por la EC. TECNICAS E INSTRUMENTOS SEGÙN EVIDENCIAS Formulación de peguntas- Cuestionario Observación-Lista de chequeo de desempeño Análisis de producto-Lista de chequeo de producto
  • 12. 12 Documento de trabajo DEC-CONEAU – Prohibida su reproducción 3.2. CRITERIOS DE DESEMPEÑO La evaluación por competencias se basa en criterios que son juicios técnicos y éticos que orientan el desempeño profesional. Los criterios de desempeño son la base para poder evaluar si un profesional alcanza el resultado esperado del desempeño establecido en el elemento de competencia, expresan lo que se espera del desempeño y el cómo se espera que sea el resultado. Por lo tanto los criterios describen la calidad de los resultados de los desempeños, identifican los aspectos esenciales o críticos para el desempeño del elemento de competencia. Expresión Los criterios de desempeño se deben expresar con oraciones en las que se identifique claramente el:  Desempeño crítico o el resultado crítico, y  Enunciado evaluativo. Estructura gramatical Los criterios se redactan siguiendo la estructura OBJETO+VERBO+CONDICIÓN, donde el desempeño o resultado esperado que se expresa con el objeto y el verbo, debe poder evaluarse con base en lo enunciado en la condición. EJEMPLOS DE CRITERIOS OBJETO VERBO CONDICIÓN Sobre qué aplicar. Sujeto o cosa sobre el que se aplica la acción Acción. Acción principal del profesional. Cómo: Especificación/restricción. Los referentes para evaluar la acción fundamental EJEMPLO: 1. El postulante 2. Los instrumentos de evaluación de conocimiento 3.Los expedientes de los postulantes evaluados 4 .La comunicación de los resultados de la evaluación es orientado se aplican son revisados y organizados es realizada sobre la evaluación, según tipos de evidencias a recoger y pautas establecidas. de acuerdo a las evidencias a recoger y pautas establecidas. de acuerdo a pautas de la entidad certificadora. de manera individual, empática, asertiva y respetuosa con el postulante según pautas establecidas.
  • 13. 13 Documento de trabajo DEC-CONEAU – Prohibida su reproducción 3.3 INDICADORES DE EVALUACIÓN 3.3.1 Definiciones El Diccionario de la Real Academia Española define al indicador como aquello “que indica o sirve para indicar”, mientras que este último término es a su vez definido como "dar a entender o significar una cosa con indicios o señales". Una definición parecida proporciona el diccionario Larousse, que define al indicador como aquello “que indica, que permite conocer” o “que sirve para indicar”. Por su parte, el Oxford Dictionary lo define como “una cosa que señala algo” o “un tablero que da información sobre la situación actual”. 1 Los indicadores son construidos desde los criterios de desempeño descritos en el elemento de competencia de la norma a evaluar. Son definidos como medidas objetivas de los sucesos del proceso que a su vez permiten evaluar si se está cumpliendo o no, o en qué medida, los criterios de evaluación que se han elaborado. Son variables empíricas que permiten al evaluador medir el elemento de competencia y constituyen el máximo grado de operacionalización de la competencia profesional. Los indicadores son específicos y concretos, sirven para elaborar los reactivos del instrumento de medición. 3.3.2 Ventajas  Los indicadores de evaluación describen las habilidades, conocimientos, y actitudes, destrezas que se desean evaluar. Hacen observable a los criterios del elemento de competencia permitiendo valorar el desempeño del profesional con objetividad al recoger las evidencias.  Permite la elaboración de instrumentos pertinentes.  Permiten verificar el cumplimiento de los criterios de evaluación (condiciones de desempeño). 3.3.3 Las características que deben tener los Indicadores:  Representan una medida cuantitativa o cualitativa.  Deben revelar los propósitos de los criterios de evaluación elaborados.  Deben ser comprensibles para que puedan ser interpretados por todos los involucrados en el proceso.  Deben ser verificables.  Deben servir para orientar futuras decisiones para mantener o modificar acciones. 3.3.4 Estructura de un indicador Los indicadores presentan generalmente los siguientes elementos: capacidad específica o acción observable, contenido y condición de calidad. 1 Alejandro Tiana Ferrer. Indicadores de evaluación en educación.
  • 14. 14 Documento de trabajo DEC-CONEAU – Prohibida su reproducción Capacidad específica (acción) que, generalmente, hace alusión a una operación mental. Contenido hace posible el desarrollo de la capacidad específica. Responde a la pregunta ¿qué es lo que... (la capacidad específica)? La respuesta es el contenido. Condición en el que se evidencia el desarrollo de la capacidad en productos tangibles. Ejemplo: Reconoce la organización del expediente del evaluado para el informe final de la evaluación, según pautas establecidas. ¿Qué hace el evaluado? Capacidad específica o acción= Reconoce ¿Qué reconoce el evaluado? Contenido=La organización del expediente del evaluado ¿Cuál es la condición/producto? Condición de calidad = según pautas establecidas para la organización de expediente del postulante a certificación 3.3.5. Recomendaciones  Debe haber coherencia entre criterios, indicadores y las preguntas (reactivos, ítems) que se plantean en el instrumento de evaluación. Para un indicador se puede formular más de un reactivo o pregunta.  Los criterios de evaluación son confundidos con los Indicadores y por lo tanto tiene mala aplicación. Al elaborarlos se tendrá en cuenta que los criterios representen lo sustantivo de los propósitos del elemento de competencia, y que las medidas de los Indicadores permitan evaluar si se están cumpliendo esos criterios de desempeño.  Para establecer los indicadores de conocimiento es necesario considerar los niveles de complejidad del pensamiento: bajo, medio y alto, de esa forma los reactivos o preguntas medirán todos los niveles según taxonomía. A continuación presentamos la complejidad de los niveles de pensamiento expresado en capacidades y sus características. COMPLEJIDAD DEL PENSAMIENTO CAPACIDAD CARACTERÍSTICAS Se observa la capacidad cuando el evaluado: Identifica Señala algo, hace marcas, subraya, resalta expresiones, hace listas, registra lo que observa, etc. Relaciona Establece las conexiones lógicas, causales o cronológicas entre hechos e ideas, buscando coherencia o soluciones. Infiere Extrae conclusión/es (“ir más allá”) a partir de la interpretación. Interpreta Identifica los aspectos fundamentales y comprende el significado. Juzga Apoya o rechaza una inferencia, con el respaldo de
  • 15. 15 Documento de trabajo DEC-CONEAU – Prohibida su reproducción argumentos. Sintetiza Enuncia brevemente lo esencial de un tema, organizándolo de un modo personal. Identifica supuestos Descubre por inferencia algo que funciona como fundamento y cuya verdad no ha sido probada. Clasifica Distribuye objetos o ideas en clases o conjuntos, según un criterio de clasificación. En los anexos encontrará un cuadro completo de los niveles de complejidad del pensamiento expresados en capacidades, según procesos mentales. También la de L D´Hainaut)2 Ejemplo de criterios e indicadores de norma de competencia del evaluador: CRITERIOS INDICADORES a) El postulante es orientado sobre la evaluación, según tipos de evidencias a recoger y pautas establecidas. 1. Identifica las normas de competencia a evaluar, según priorización de la Entidad certificadora. 2. Identifica la comunicación asertiva como habilidad social del evaluador. 3. Diferencia las técnicas de evaluación de competencias según guía de participantes del curso de evaluadores 4. Identifica los tipos, características y condiciones de instrumentos de evaluación de competencias a aplicar según guía de evaluación CONEAU. 5. Analiza los tipos de evidencias para la evaluación de competencias según directrices de normalización CONEAU. 6. Analiza la actuación ética del evaluador en un caso. 7. Identifica los procedimientos para la aplicación de los instrumentos de evaluación de competencias. 3.4. REACTIVOS DE EVALUACIÓN Un reactivo es una unidad de medida, con un estímulo (pregunta, actividad, etc ) y una respuesta preestablecida, de la cual se puede inferir el desempeño del evaluado (conocimiento, habilidad, predisposición o cualidad). Adaptado de Osterlind (1990) “Un reactivo es la formulación de una proposición o un problema para que sea contestado por un sujeto, con el fin de conocer el nivel de dominio de un tema o área de conocimiento determinado” CENEVAL-UNAM 2006 De los conceptos anteriores podemos concluir que un reactivo es una pregunta a contestar, afirmación a valorar, problema a resolver, característica a cubrir o acción a realizar; están siempre contenidos en un instrumento de evaluación específico; tienen la intención de provocar o identificar la manifestación de algún comportamiento, respuesta o cualidad. 2 Ver CASAS, Luis. “Evaluaciónde capacidades yvaloresenla sociedad delconocimiento”. 2007. Editorial Norma (fundamentos de la Taxonomía D’ HAINAUT comoherramienta útilpara evaluaciónde capacidades. Pág. 63-71)
  • 16. 16 Documento de trabajo DEC-CONEAU – Prohibida su reproducción El reactivo debe ser cuidadosamente construido, como base para conocer el logro de la competencia. Criterios para construir un reactivo (Osterlind, 2003) 1.-Los indicadores deben estar claramente definidos 2.- Debe haber congruencia entre los criterios indicadores y los reactivos, ya que es la base de la validez 3.- La unidimensionalidad o atribución a una sola habilidad. 4.- La Independencia de la respuesta de un reactivo respecto a otro. 5.- El uso correcto del lenguaje, reglas de puntuación, redacción, etc. Tipos de reactivos: Existen diferentes reactivos, según el tipo de evidencia a recoger. Ejemplo reactivos cognitivos para la evaluación de los conocimientos y reactivos cualitativos para evidencias de desempeño y producto. 3.5 EVIDENCIAS REQUERIDAS PARA LA EVALUACIÓN DE COMPETENCIAS 3.5.1 Definiciones: “Las evidencias son pruebas claras y objetivas, elementos tangibles que permiten demostrar que se ha logrado cubrir de manera satisfactoria un requerimiento o un criterio específico de desempeño”.3 "Pruebas necesarias para evaluar y juzgar la competencia laboral de una persona, definida en los criterios de desempeño y los conocimientos y compresiones esenciales y delimitadas por el rango de aplicación" (SENA, 2005) De las definiciones podemos concluir que las evidencias son: Pruebas claras y manifiestas de los conocimientos, habilidades, destrezas y actitudes que una persona posee y que determinan su competencia. Evidencia significa demostrar o poner de manifiesto algo. Las evidencias como parte de los componentes de la competencia, refieren de manera precisa si el evaluado es capaz de realizar la función referida en la competencia de manera consistente. ¿Por qué son valiosas? – Demuestran el grado de alcance de la competencia – Documentan la experiencia del evaluado. – Conforman el portafolio del evaluado – Son un insumo importante en el proceso de mejora Los tipos de evidencias son: 3 Directrices para la identificación y normalización de competencias con fines de certificación profesional. CONEAU-2da versión 2011
  • 17. 17 Documento de trabajo DEC-CONEAU – Prohibida su reproducción 1. De desempeño Son las habilidades, destrezas, conocimientos y actitudes aplicados en la ejecución de una función. 2. De Producto Es la demostración tangible, que resulta al ejecutar una función productiva, y su valoración se fundamenta en las condiciones del criterio de desempeño. 3. De Conocimiento Son los conocimientos que fundamentan la práctica; es el saber qué, por qué y para qué. Son teorías, principios, conceptos e información relevante que una persona aplica para lograr resultados en su desempeño laboral. 4-ELABORACIÓN DE INSTRUMENTOS PARA LA EVALUACION DE COMPETENCIAS PROFESIONALES 4.1 Instrumentos de evaluación de competencias El instrumento de evaluación es un documento referido a una norma de competencia en el que se establecen los mecanismos que permiten determinar si una persona es competente o no, con relación a una o varias funciones laborales. (CONOCER, México) El instrumento de evaluación es una herramienta destinada a documentar los aspectos a verificar y sus resultados, en relación con las habilidades, destrezas y conocimientos que poseen los trabajadores para desempeñar una función productiva, basándose en una norma de competencia. (SENA, Colombia). Los instrumentos de evaluación se constituyen en la base de un Sistema de Evaluación y Certificación de Competencias, y de su planificación y organización dependen sus resultados. Para ello se debe aplicar técnicas y contar con instrumentos de evaluación elaborados específicamente, que sean válidos y confiables. Las evidencias de desempeño, son pruebas de la manera cómo el/la profesional ejecuta los procedimientos y técnicas al realizar una función. Se evalúan principalmente mediante la observación sistemática basada en indicadores de desempeño que deben ser registradas rigurosamente; se puede complementar con entrevista y videos.4 4 Adaptado de Tobón, S. Competencias, calidad y educación superior. Cooperativa Editorial, Magisterio, Bogotá, Colombia 2006:143.
  • 18. 18 Documento de trabajo DEC-CONEAU – Prohibida su reproducción Las evidencias de producto, son pruebas o productos específicos que dan cuenta de las finalidades de la competencia evaluada (resultado inmediato) en los que hay que considerar sus requerimientos de calidad.i5 Las evidencias de conocimiento fundamentan la práctica; es el saber qué, por qué y para qué. Son teorías, principios, conceptos e información relevante que una persona aplica para lograr resultados en su desempeño profesional. Dado que es indispensable recoger de manera eficaz las evidencias se hace necesaria la selección del instrumento en coherencia a la técnica. Existen diversas técnicas para evaluar competencias. Las técnicas son herramientas metodológicas que permiten obtener las evidencias requeridas por la norma de competencia durante el proceso de evaluación de desempeño de una persona. Es conveniente definir la técnica que permita recoger el mayor número de evidencias requeridas en la norma con el fin de reducir costos y hacer más eficiente el proceso de evaluación. (SENA, Colombia. 20036 ) Las técnicas más usadas para recoger evidencias de desempeño son: 1. la observación directa en ambiente real de trabajo, 2. la simulación de situaciones, 3. análisis de productos, análisis de documentos, y 4. entrevistas. 1. Técnica de observación La observación directa en ambiente real de trabajo es la técnica por excelencia para recoger evidencias7 . A través de esta técnica se obtiene información sobre el comportamiento o la conducta espontánea del profesional. Esta técnica es aplicable en cualquier momento de la evaluación continua, aunque su mayor utilidad está en el recojo de datos para valorar el dominio de procedimientos y el desarrollo de actitudes durante el trabajo diario (relación consigo mismo, con sus compañeros de trabajo, comprobar su índice de autoestima, capacidad autocrítica, autonomía, colaboración, respeto, etc.).8 Para facilitar la observación y reducir las omisiones, sesgos y otros aspectos subjetivos asociados al observador es imperativo la elaboración y uso de instrumentos: listas de chequeo. 2. Simulación de Situaciones La simulación de situaciones (SS) es una técnica a través de la cual se generan condiciones similares a las reales de un ambiente o escenario laboral profesional, pero teniendo bajo control diferentes variables complejas, como riesgo, temperatura, situaciones atípicas que afectan el resultado esperado entre otras. Se debe usar cuando no es posible la observación directa en el ambiente real de trabajo, por razones de costos, riesgos, seguridad del paciente y del evaluado, 5Idem. Tobón 2006 6 Guía para seleccionar técnicas y elaborar instrumentos de evaluación de competencias laborales. SENA - Colombia, 2003. 7Idem. SENA, Colombia. 2003 8 Adaptado de Canales, Isaac. …180?
  • 19. 19 Documento de trabajo DEC-CONEAU – Prohibida su reproducción baja frecuencia de la actividad, procurando una representación auténtica del desempeño a evaluar. 3. Valoración de productos Técnica utilizada cuando son observables los productos que genera la función productiva; el producto refleja evidencias esenciales sobre el desempeño. Los productos pueden ser registros, formatos, reportes, planes, informes, diseño de procesos, maquetas, , entre otros, según la profesión. Siempre la evaluación del producto debe hacerse con el rigor establecido para así efectivamente determinar la competencia del evaluado. Procedimiento para seleccionar las técnicas 1. Analizar globalmente las normas que componen la profesión. 2. Analizar la norma de competencia y los elementos que la integran. 3. Estudiar los componentes normativos de cada elemento. 4. Identificar para cada evidencia requerida la(s) técnica(s) más adecuadas para su evaluación. Precisar cuáles evidencias se pueden obtener en el ambiente real de trabajo, el sitio en que se pueden recoger, las que deben generarse por simulación u otras técnicas, y determine (si la norma no lo señala), las veces que se requiere ejecutar la misma actividad para recoger las evidencias. Tener en cuenta aspectos claves: frecuencia, riesgo, complejidad, costos materiales, secretos de la organización. 4.1.1 Requisitos de los Instrumentos de evaluación Validez: Un instrumento es considerado válido cuando sirve para evaluar lo que se pretende. En otras palabras: cuando la información que permite obtener es coherente con los criterios y evidencias de desempeño, de producto y de conocimiento estipulados en la norma. Confiabilidad: Un instrumento es confiable cuando al ser aplicado por distintas personas para evaluar a un mismo postulante, se obtienen resultados semejantes en situaciones similares. Al ser utilizado por una persona para evaluar al mismo postulante, en diversas oportunidades, se obtienen resultados semejantes. Representatividad: La relevancia de los distintos aspectos considerados en detrimento de los menos significativos. Objetividad: independencia del juicio del evaluador en el registro de la información. ¿Quiénes elaboran los instrumentos de evaluación? a. Un equipo técnico conformado por expertos en la competencia correspondiente. b. Formados en la metodología de evaluación y certificación de competencias y c. Formados en la elaboración de instrumentos de evaluación de competencias. ¿Cómo se elabora un instrumento de evaluación?
  • 20. 20 Documento de trabajo DEC-CONEAU – Prohibida su reproducción Identificando en la matriz de consistencia para la elaboración de instrumentos de evaluación, la técnica de evaluación y el tipo de instrumento según la evidencia a recoger. 4.1.2 Componentes del instrumento de evaluación: 1. Información general para el proceso de evaluación 2. Introducción 3. Instrucciones de aplicación del instrumento. 4. Tabla de aplicación o cuerpo del instrumento. 5. Instrucciones para la calificación del instrumento. 6. Instrucciones para determinación del resultado. 7. Resultado 8. Retroalimentación al candidato. 9. Firmas correspondientes 4.1.3 Instrumentos de evaluación para el recojo de evidencias de desempeño y producto 4.1.3.1 La Lista de Chequeo Es un instrumento de evaluación que contiene una serie de enunciados afirmativos o interrogativos sobre los resultados (hechos, características o secuencia de acciones, entre otros) que debe demostrar una persona en su desempeño para ser considerada competente. Estos resultados están previstos en la norma de competencia y mediante la lista de chequeo se pretende constatar su presencia o ausencia. Procedimiento de elaboración 1. Identificar los indicadores de desempeño establecidos en la matriz de consistencia para la elaboración de instrumentos de evaluación de competencias profesionales. 2. Según el orden secuencial de los indicadores redactar el reactivo (actividad del desempeño). Recomendaciones: Tener muy en cuenta lo siguiente: 1. Los reactivos deben ser ordenados en la secuencia del proceso. 2. Los reactivos deben ser claramente observables. 3. Los reactivos deben ser explícitos, con redacción directa y precisa. 4. Los reactivos deben posibilitar sólo distinciones dicotómicas (SI/NO), (correcto /incorrecto). 5. La cantidad de reactivos es determinada por los indicadores de desempeño Ejemplos de lista de chequeo de desempeño y producto.
  • 21. 21 Documento de trabajo DEC-CONEAU – Prohibida su reproducción LISTA DE CHEQUEO DEL DESEMPEÑO I. INFORMACIÓN GENERAL PARA EL PROCESO DE EVALUACIÓN FECHA DE INSCRIPCIÓN DÍA: MES: AÑO: ENTIDAD CERTIFICADORA CONEAU NOMBRES Y APELLIDOS DE EVALUADOR (A): LUGAR DE EVALUACIÓN FECHA DE EVALUACIÓN DATOS DEL EVALUADO (A) DNI COLEGIATURA APELLIDO PATERNO APELIDO MATERNO NOMBRES TIPO DE INSTRUMENTO DE EVALUACIÓN LISTA DE CHEQUEO DE DESEMPEÑO CÓDIGO DEL INSTRUMENTO DE EVALUACIÓN: LChD-ECP-OD-003-DEC-2012 DATOS DE LA NORMA DE COMPETENCIA A EVALUAR CÓDIGO VERSIÓN NOMBRE 3 1 Ejecutar la evaluación de las competencias de los postulantes, según las normas y procedimientos establecidos por la entidad certificadora. ELEMENTOS DE COMPETENCIA 3.1 Recoger evidencias de las competencias del postulante según pautas establecidas por la entidad certificadora y CONEAU.. 3.2 Comunicara los actores involucrados los resultados de la evaluación, según normas establecidas. II. INTRODUCCIÓN Este documento presenta el instrumento de evaluación del desempeño correspondiente el elemento de competencia 3.1. “Recoger evidencias de las competencias del postulante según pautas establecidas por la entidad certificadora y CONEAU”. Perteneciente a la Norma de Competencia 3, que el evaluador(a) debe demostrar para ser considerado(a) competente en la norma correspondiente. El presente instrumento de evaluación está diseñado para evaluar la competencia profesional de las personas que se desempeñan como EVALUADORES DE COMPETENCIAS PROFESIONALES y contiene las instrucciones que debe seguir para su aplicación. Posteriormente se presentan las instrucciones de calificación del instrumento de evaluación, así como para la emisión del juicio de competencia. El instrumento contiene trece (13) reactivos. III. INSTRUCCIONES DE APLICACIÓN DEL INSTRUMENTO DE EVALUACIÓN Usted encontrará la tabla de aplicación o cuerpo del instrumento que contiene los reactivos a aplicar, su numeración o código, un espacio de registro de cumplimiento (SI/NO) y otro para el registro de observaciones que como evaluador considere conveniente realizar. Marque SI, cuando el candidato cumpla con el desempeño o muestre las evidencias correspondientes y NO cuando no cumpla con los aspectos señalados.
  • 22. 22 Documento de trabajo DEC-CONEAU – Prohibida su reproducción IV. TABLA DE APLICACIÓN O CUERPO DEL INSTRUMENTO DE EVALUACIÓN REACTIVOS (ASPECTOS A EVALUAR) SI NO OBSERVACIONES 1. Se encuentra en el lugar establecido para la evaluación a la hora indicada. 2. Utiliza vestimenta apropiada según sea el caso (profesión y requerimientos de bioseguridad). 3. Saluda de manera cordial al postulante y entabla una comunicación amigable. 4. Orienta al postulante sobre las normas de comportamiento,la ejecución del desempeño y el inicio y término de la evaluación. 5. Se ubica en un lugar que le permita recoger evidencias y se desplaza para observar con mayor detalle el ítem requerido en el instrumento. 6. Registra lo observado en el instrumento de evaluación correspondiente. 7. Evita interferir en el desempeño del evaluado. 8. Evita hacer gestos,señales o sonidos que perturben al evaluado. 9. Terminado el desempeño del postulante le invita a esperar unos minutos para la comunicación del resultado. 10.Revisa el instrumento aplicado yregistra el resultado antes de llamar al postulante para comunicar el resultado. 11.Informa al evaluado el resultado de la evaluación de manera asertiva. 12.Firma y solicita la firma del postulante en el instrumento con el resultado de la evaluación. 13.Se despide del evaluado de forma cordial. V. INSTRUCCIONES PARA LA CALIFICACIÓN DEL INSTRUMENTO DE EVALUACIÓN Todas las respuestas afirmativas indican la competencia. VI. INSTRUCCIONES PARA LA EMISIÓN DEL RESULTADO Si todos los reactivos son afirmativos el resultado es que cumple lo solicitado por la norma de competencia y si hay algún reactivo con respuesta negativa el resultado es que No Cumple.No puede haber ítem sin marcar. VII. RESULTADO DE LA EVALUACIÒN CUMPLE NO CUMPLE VIII. RETROALIMENTACIÓN AL CANDIDATO – IDENTIFICACIÓN DE ASPECTOS PARA MEJORA (Anotar el número del reactivo que requiere mejorar). N° de los aspectos para mejora:( ), ( ), ( ), ( ), ( ) IX. FIRMAS CORRESPONDIENTES ……………………………. …………………………… ……………………………… FIRMA DEL EVALUADOR FIRMA DEL EVALUADOR FIRMA DEL EVALUADO
  • 23. 23 Documento de trabajo DEC-CONEAU – Prohibida su reproducción LISTA DE CHEQUEO DEL PRODUCTO I. INFORMACIÓNGENERAL PARA ELPROCESO DE EVALUACIÓN FECHA DE INSCRIPCIÓN DÍA: MES: AÑO: 2010 ENTIDAD CERTIFICADORA CONEAU NOMBRES Y APELLIDOSDE EVALUADOR(A): LUGAR DE EVALUACIÓN FECHA DE EVALUACIÓN DATOS DEL EVALUADO (A) DNI COLEGIATURA APELLIDO PATERNO APELIDO MATERNO NOMBRES TIPO DE INSTRUMENTO DE EVALUACIÓN LISTA DE CHEQUEO DE PRODUCTO CÓDIGO DELINSTRUMENTO DE EVALUACIÓN: LChP-ECP-001 EC DATOS DE LA NORMA DE COMPETENCIA A EVALUAR CÓDIGO VERSIÓN NOMBRE 3 0 Ejecutar la evaluación de las competencias de los postulantes, según las normas y procedimientos establecidos por la entidad certificadora. ELEMENTOS DE COMPETENCIA 3.1 Recoger evidencias de las competencias del postulante según pautas establecidas por la entidad certificadora y CONEAU.. 3.2 Comunicara los actores involucrados los resultados de la evaluación, según normas establecidas. II. INTRODUCCIÓN Este documento presenta el instrumento de evaluación de los productos correspondientes del elemento de competencia 3.1. “Aplicar instrumentos de evaluación para recopilar las evidencias de las competencias del postulante, según las normas de competencia a evaluar y los procedimientos establecidos por la entidad certificadora”, perteneciente a la Norma de Competencia de Ejecutar la evaluación de las competencias de los postulantes, según las normas y procedimientos establecidos por la entidad certificadora, que una persona debe demostrar para ser considerada competente. El presente instrumento de evaluación de producto está diseñado para evaluar la competencia profesional de las personas que se desempeñan como EVALUADORES DE COMPETENCIAS PROFESIONALES y contiene las instrucciones que debe seguir para su aplicación. Posteriormente se presentan las instrucciones de calificación del instrumento de evaluación, así como para la emisión del resultado de la evaluación. El instrumento contiene seis (8) reactivos. III. INSTRUCCIONES DEAPLICACIÓN DEL INSTRUMENTO DE EVALUACIÓN Usted encontrará la tabla de aplicación o cuerpo del instrumento que contiene los reactivos a evaluar, su numeración o código, un espacio de registro de cumplimiento (SI/NO) y otro para el registro de observaciones que como evaluador considere conveniente realizar. Marque SI, cuando el producto cumpla con el criterio o ítem (reactivo) correspondiente y NO cuando no cumpla con los aspectos señalados.
  • 24. 24 Documento de trabajo DEC-CONEAU – Prohibida su reproducción IV. TABLA DEAPLICACIÓNO CUERPODEL INSTRUMENTO DE EVALUACIÓN REACTIVOS (ASPECTOS A EVALUAR) SI NO OBSERVACIONES 1. Cumple con las recomendaciones generales de presentación y registro de formatos y documentos (Hacer documento de recomendaciones: legibilidad, orden, limpieza, enmendaduras con iniciales, información completa, color del lapicero, lápiz?…) 2. Contiene todos los datos de “Información General” del instrumento. 3. Todos los ítems de la tabla de aplicación están marcados según el contenido del portafolio de aplicación del instrumento. 4. El resultado de la evaluación es coherente con las instrucciones del mismo para la emisión del resultado. 5. La sumatoria de los puntajes por rubros y el puntaje total son correctos . 6. Contiene el porcentaje alcanzado. 7. El porcentaje registrado es coherente con el cálculo matemático establecido para la equivalencia del 20% como máximo. 8. Aparecen las firmas de los evaluadores y del evaluado. V. INSTRUCCIONES PARA LA CALIFICACIÓN DEL INSTRUMENTO DE EVALUACIÓN Todas las respuestas afirmativas indican la competencia. VI. INSTRUCCIONES PARA LA EMISIÓN DEL RESULTADO Si todos los reactivos son afirmativos el resultado es que “cumple” lo solicitado por la norma de competencia y si hay algún reactivo con respuesta negativa el resultado es que “NoCumple”. Marque con una “X” o un “/” enel casillero al lado derecho de cada resultado. VII. RESULTADO DE LA EVALUACIÓN RESULTADO CUMPLE NO CUMPLE VIII. RETROALIMENTACIÓN AL CANDIDATO – IDENTIFICACIÓN DE ASPECTOS PARA MEJORA (Anote el número del reactivo que debe mejorar) N° de los aspectos para mejora: ( ), ( ), ( ), ( ), ( ) IX. FIRMAS CORRESPONDIENTES ……………………………. …………………………… ……………………………… FIRMA DEL EVALUADOR FIRMA DEL EVALUADOR FIRMA DEL EVALUADO
  • 25. 25 Documento de trabajo DEC-CONEAU – Prohibida su reproducción 4.1.4. INSTRUMENTO DE EVALUACIÓN DE CONOCIMIENTOS. CUESTIONARIO El instrumento más utilizado para evaluar conocimientos es el cuestionario (CT) de preguntas. Mateo (2000:74) establece que suele entenderse por pregunta una declaración, asunto o tema sobre el que se va a evaluar. También se denomina ítem. Estos pueden ser de dos tipos: A) PRUEBAS DE DESARROLLO Son aquellas en las que se solicita, a través de preguntas, el desarrollo por escrito de un discurso que evidencie el desarrollo de determinadas capacidades. Pueden ser de respuesta libre u orientada. Éstas pueden ser cortas o restringidas, o respuesta libre frente a una interrogante o tema específico. Generalmente se emplean cuando se desea evaluar la capacidad de análisis y síntesis, la organización de la información, la consistencia de los argumentos, la inferencia y el juicio crítico. Las pruebas de desarrollo son útiles, pues fomentan la exposición ordenada y clara, el desarrollo del razonamiento y el pensamiento crítico, así como la discriminación de información relevante y complementaria. Una de las mayores dificultades de este tipo de pruebas es la calificación, pues pueden verse seriamente afectadas por la subjetividad del evaluador. Las siguientes sugerencias podrían contrarrestar tales efectos:  Precisar en forma clara los aspectos que se tendrán en cuenta en la calificación y comunicarlos al evaluado antes del examen. Por ejemplo: exposición lógica de las ideas, concisión, adecuado uso de los conectores, entre otros.  Explicitar claramente el tipo de respuesta (corta o de extensión libre).  Dar pistas sobre lo que se espera que desarrolle el evaluado (que explique, que resuma, que presente contraejemplos, etc.)  Tener paciencia en la corrección y hacerlo respuesta por respuesta para manejar los mismos criterios de calificación.Este tipo de pruebas se puede utilizar para evaluar la interpretación de cuadros estadísticos, la comprensión lectora, el juicio crítico, la producción de textos, el manejo de información, entre otras capacidades. B) LAS PRUEBAS OBJETIVAS Las pruebas objetivas son el tipo de pruebas escritas formadas por una serie de preguntas que sólo admiten una respuesta correcta y cuya calificación es siempre uniforme y precisa para todos los evaluados. Son las de uso más común debido a su facilidad de calificación y a la creencia de que eliminan toda posibilidad de subjetivismo. La clave para que las pruebas objetivas se conviertan en instrumentos eficaces de evaluación, es la calidad con que se elaboren pues de esa forma lograrán poner en juego un gran número de capacidades del evaluado.
  • 26. 26 Documento de trabajo DEC-CONEAU – Prohibida su reproducción Características de las pruebas objetivas: A) Objetiva La prueba conduce a mediciones independientes del evaluador. B) Confiable Arroja resultados consistentes. La prueba tiene precisión. C) Válida La prueba mide lo que pretende medir, es coherente a la competencia a evaluar. Etapas para el desarrollo de la prueba escrita 1.- DISEÑO ¿Qué tipo de prueba va a ser? ¿Cuáles son los indicadores de evaluación?(responden a los criterios de la competencia) ¿Cuál es mi tabla de especificaciones, cómo va a estar estructurado el instrumento? 2.- ELABORACIÓN ¿Cómo se evaluará? Preguntas Casos prácticos 3.- PILOTEO Sometida a revisión por expertos. Aplicada en forma experimental. Permite identificar y corregir dificultades y asegurase que van resultar replicables, precisas, completas, realistas y prácticas 4.- VALIDACIÓN ¿Cómo se analizará que sea objetivo, valido y confiable? 5.- CALIFICACIÓN ¿Cuál será el criterio de calificación y la asignación de ésta? 1.- El diseño Es la planeación del instrumento. a. Perfil de referencia: Es el fundamento de la prueba y objeto de medida de la prueba relacionado a la competencia a evaluar expresado en indicadores que responden a los criterios de la competencia. b. Tabla de Especificaciones Presenta la organización lógica de los componentes definidos operacionalmente Establece el nivel y tipo cognoscitivo con que deberán ser medidos en la prueba (descrito en los indicadores). 2.-Elaboración Es la construcción de la prueba o cuestionario con base en el diseño y en la tabla de especificaciones de la matriz de consistencia. Se debe partir de los indicadores descritos en la matriz de consistencia de la norma a evaluar. Se parte de la evaluación de la capacidad (reconocer, describir, comparar, seleccionar, analizar, sintetizar, evaluar, aplicar, etc) a los diferentes niveles de dominio (bajo, medio, alto)por medio de reactivos de opción múltiple, o de puntuaciones asignadas a tipo de respuesta en relación con los criterios. Ver anexo 2 cuadros de capacidades y procesos cognitivos. Desarrollo del Instrumento
  • 27. 27 Documento de trabajo DEC-CONEAU – Prohibida su reproducción Debe abarcar todos los aspectos contemplados en la descripción de la norma de competencia, el perfil de referencia y la tabla de especificaciones. Los instrumentos de conocimientos, puede estar formado por:  Preguntas de opción múltiple: completamiento, apareamiento, solución  problemas, jerarquización, identificación de graficas o diagramas y cuestionario directo.  Preguntas abiertas  Situaciones prácticas, etc. 3.- Piloteo  Monitorear la confiabilidad y validez de los exámenes.  Vigilar el nivel de dificultad y la capacidad de discriminación de los ítems.  Generar bancos de reactivos o items suficientemente amplios.  Realizar pilotajes de los exámenes. 4.- Validación  Consiste en analizar la construcción de los reactivos que realmente representen al criterio a evaluar y analizar los resultados de aplicaciones preliminares de la prueba para confirmar estadísticamente su validez y su confiabilidad así como establecer las condiciones definitivas para el manejo y administración del instrumento con los usuarios. 5.-Calificación Es el mecanismo de ponderación y valoración de los resultados obtenidos  Utilizar un criterio de calificación y explicarlo.  En el caso de prueba objetiva: Analizar la dificultad de reactivos, considerando para la calificación los que se encuentren en el rango de aceptables, mejorar los reactivos que no estén en ese rango. Analizar la discriminación de estos, en caso de que no discriminen, revisar redacción del reactivo y los distractores para plantearlo de manera diferente.  Establecer con base a lo anterior los puntos de corte.  En el caso de la evaluación del desempeño, establecer el puntaje aprobatorio. El CONEAU considera que los reactivos en una prueba de conocimientos pueden tener diferentes pesos de acuerdo a su nivel de complejidad, sin embargo para demostrar la competencia debe alcanzarse el 100% de la evaluación. TIPOS DE PRUEBAS OBJETIVAS  DE RESPUESTAALTERNATIVA Este tipo de pruebas plantean una serie de proposiciones que el evaluado debe marcar como verdaderas o falsas. Únicamente tendrá estas dos opciones para responder, de allí su nombre de respuesta alternativa. Podemos emplear este tipo de pruebas cuando deseemos evaluar: - la capacidad para identificar la exactitud de hechos. - las definiciones de los términos. - la capacidad de distinguir los hechos de las opiniones. - la capacidad de percatarse de las relaciones de causa y efecto.
  • 28. 28 Documento de trabajo DEC-CONEAU – Prohibida su reproducción Para la elaboración de este tipo de pruebas y potenciar sus beneficios podemos seguir las siguientes recomendaciones: Ejemplo: En relación a los procedimientos generales para la aplicación de los instrumentos de evaluación, según la guía de evaluación CONEAU, identifique las afirmaciones verdaderas y las falsas y marque la respuesta correcta. i. El equipo evaluador debe estar conformado por un mínimo de dos evaluadores. ( ) ii. Todos los instrumentos deben ser firmados por el postulante y al menos uno de los evaluadores. ( ) iii. La firma del postulante en el instrumento de evaluación es requisito para la apelación a que hubiere lugar. ( ) iv. Antes de comunicar los resultados intermedios y el resultado final de la evaluación, el equipo evaluador debe realizar una verificación de todo lo actuado. ( ) a. V F F V b. V V V F c. V F V V d. V V F V  DE CORRESPONDENCIA Este tipo de reactivos exigen al evaluado establecer relaciones entre dos columnas paralelas, de tal manera que cada palabra, número o símbolo de una de ellas corresponda con una palabra, oración o frase de la otra columna. Ejemplo: Relacione las técnicas de evaluación con sus respectivos enunciados. A. Formulación de preguntas ( ) Técnica por excelencia para recoger evidencias. B. Observación directa ( ) Genera condiciones similares a las normales. C. Simulación de situaciones ( ) Usada cuando son observables los productos. D. Valoración de productos ( ) Obtiene evidencias de los conocimientos esenciales. a. A B C D b. D B A C c. C A D B d. B C D A Las siguientes orientaciones pueden ser de ayuda para el evaluador:  Evitar aseveraciones muy generales.  Evitar aseveraciones negativas  Evitar oraciones demasiado largas y complejas.  Evitar incluir dos ideas en una aseveración, a menos que se trate de apreciar una relación de causa a efecto.  Si en la aseveración se incluye una opinión, debe indicarse a quién corresponde  Calcular que las aseveraciones ciertas y las expresiones falsas tengan más o menos la misma longitud  Usar sólo material homogéneo (que se refieran al mismo tema) dentro de cada columna.  Construir las columnas con diferente número de elementos.  Tratar de que el ejercicio sea breve (que no supere los 6 pares de relación).  Procurar que todo el ejercicio quede contenido en una misma página.
  • 29. 29 Documento de trabajo DEC-CONEAU – Prohibida su reproducción  DE SELECCIÓN MÚLTIPLE Es el tipo de reactivos que plantean una pregunta, un problema o una aseveración inconclusa junto con una lista de soluciones entre las que sólo una es correcta. El evaluado debe seleccionar la correcta subrayando, encerrando en un círculo, etc. Generalmente son empleados cuando se pretende evaluar: - Identificación de información (datos, hechos). - Uso de métodos y procedimientos. - Aplicación de hechos y principios (cuando en la prueba se le presentan situaciones nuevas en las que puede aprovechar sus conocimientos). - habilidad para interpretar relaciones de causa y efecto. Ejemplo: En la orientación al postulante un evaluador es preguntado sobre la justificación para recoger evidencias de desempeño. La respuesta correcta a esa inquietud es: a. La norma de competencia indica un rubro de evidencias de desempeño y por tanto es obligatorio recogerlas. b. Las evidencias de desempeño son las más importantes de evaluar, por tanto no puede omitirse recogerlas. c. La competencia se demuestra en el desempeño mismo por tanto no se puede omitir su recojo en la evaluación. d. Las evidencias de desempeño no son indispensables por tanto evaluará la posibilidad de omitirla en su caso. Este tipo de reactivos presenta ventajas y desventajas: Ventajas Desventajas  Amplitud de su campo de aplicación.  Evitan la ambigüedad y la vaguedad de las respuestas.  Pueden centrarse en puntos específicos.  Permiten al evaluador, por medio del análisis de las respuestas incorrectas, descubrir con mayor claridad las deficiencias de los evaluados.  Se limita a los productos del aprendizaje, en desmedro del proceso.  No son apropiados para medir la capacidad de organizar y presentar ideas.  Resulta difícil elaborar las alternativas de forma que todas parezcan posibles pero que sólo exista una respuesta correcta. Para elaborar pruebas o preguntas de selección múltiple debemos tomar en cuenta las siguientes recomendaciones:
  • 30. 30 Documento de trabajo DEC-CONEAU – Prohibida su reproducción  DE ORDENAMIENTO Es el tipo de reactivos que demandan al evaluado ordenar o secuenciar debidamente los datos, hechos o partes de un proceso presentadas en sucesión desordenada. En general, este tipo de reactivos se pueden emplear cuando se pretende evaluar: - la capacidad de ubicar cronológicamente hechos históricos. - la comprensión de la secuencia en determinados procesos. - la capacidad de organizar mentalmente ciertos conocimientos. Para elaborar pruebas con este tipo de preguntas debemos tomar en cuenta lo siguiente: Plantear cada hecho o etapa con claridad y precisión. 4.1.5 PASOS PARA LA ELABORACIÓN DEL CUESTIONARIO. Una vez identificados los indicadores se hace necesaria una representación esquemática de su distribución, con el propósito de no incurrir en errores producto del subjetivismo o la simpatía por algunos indicadores. En tal sentido, en una tabla de especificaciones se hace una relación de indicadores, anotando a continuación el porcentaje que represente la importancia o jerarquía de cada uno de ellos dentro del total de indicadores como también la cantidad de ítems por indicador. El porcentaje de importancia relativa debe ser resultado del acuerdo entre varios especialistas, para erradicar la influencia de opiniones y factores personales en la decisión final. 1ero.- TABLA DE ESPECIFICACIONES DE LA PRUEBA Tomamos como referencia para ejemplificar el elemento de competencia “Recoger evidencias de las competencias del postulante aplicando los instrumentos de evaluación de la entidad certificadora” a) Determinación de los propósitos: Evaluación de competencias profesionales para la certificación. La prueba que se va a elaborar debe servir para evaluar indicadores de evidencia de conocimiento según el elemento de competencia. “Recoger evidencias de las  Cuidar que el problema o aseveración que se exponga se encuentre claramente definido e incluya sólo la información necesaria para que su lectura sea ágil.  Expresar la aseveración en forma negativa sólo cuando sea absolutamente necesario.  Formular las posibles respuestas cuidando que éstas guarden congruencia gramatical con la aseveración (si la aseveración termina en “...es la:_______" no pueden ponerse artículos masculinos entre las respuestas).  Cuidar que todas las respuestas sean de posible aceptación aunque una sola sea correcta.  Plantear la aseveración de modo que ésta no sugiera la respuesta.  La respuesta correcta de un reactivo debe colocarse en una ubicación diferente respecto a los demás reactivos.
  • 31. 31 Documento de trabajo DEC-CONEAU – Prohibida su reproducción competencias del postulante aplicando los instrumentos de evaluación de la entidad certificadora” b) Identificación del objeto a evaluar. Una vez establecido el propósito, se determina el objeto a evaluar, es decir la identificación de los sujetos a quienes se les aplicará la prueba. En este caso, los evaluadores de la entidad certificadora. Tabla de especificación de la prueba ELEMENTO DE COMPETENCIA Conocimientos y comprensión esenciales CRITERIOS Indicador PESO (%) Cantidad de preguntas / Número de pregunta 1. 1.Recoger evidencias de las competencias del postulante aplicando los instrumentos de evaluación de la entidad certificadora 1.Normas de competencias en que se evaluará al postulante. (a, b, c, d) 2.Habilidades sociales del evaluador de competencias (Guía del participante del curso de evaluadores) (a) 3.Técnicas de evaluación de competencias ( a, b, c, d) 4.Tipos, características y condiciones de instrumentos de evaluación de competencias (a, b, c, d) 5.Tipos de evidencias para la evaluación de competencias (a, b, c, d) 6.Pautas éticas de la evaluación de competencias (a, b, c, d y e) A) El postulante es orientado sobre la evaluación, según tipos de evidencias a recoger. 1. Identifica las normas de competencia a evaluar, según priorización de la EC. 2.5 1 1 2 Identifica la comunicación asertiva como habilidad socialdel evaluador. 2.5 1 2 3. Diferencia las técnicas de evaluación de competencias según guía de participantes del curso de evaluadores 4 1 3 4. Identifica los tipos características y condiciones de instrumentos de evaluación de competencias a aplicar según guía de evaluación CONEAU. 2.5 1 4 5. Analiza los tipos de evidencias para la evaluación de competencias según directrices de normalización CONEAU. 4 1 5 6. Analiza la actuación ética del evaluador en un caso. 4 1 6 7. Identifica los procedimientos para la aplicación de los instrumentos de evaluación de competencias 4 1 7 B) Los instrumentos de evaluación de conocimiento se aplican de acuerdo a las evidencias a recoger 1.-Identifica las evidencias de conocimiento de las normas de competencia a evaluar. 2.5 1 8 2.Describe el procedimiento del uso de instrumentos de recojo de evidencias de conocimiento, según técnica. 4 1 9 3.Identifica evidencias de conocimiento para la evaluación de competencias 2.5 1 10 4. Analiza la actuación ética del evaluador en casos de aplicación de instrumentos de evaluación de conocimiento. 4 1 11
  • 32. 32 Documento de trabajo DEC-CONEAU – Prohibida su reproducción 7. Procedimientos para la aplicación de los instrumentos de evaluación de competencias (a, b, c, d). 8. Procedimiento para el registro de evidencias (b, c, d, e). 9. Pautas para la determinación del logro de la competencia (e). 5. Analiza un caso de aplicación de un cuestionario. 4 1 12 6. Analiza un caso de registro de evidencias de conocimiento 4 1 13 C) Los instrumentos de evaluación de desempeño se aplican de acuerdo a las evidencias a recoger. 1.-Analiza las evidencias de desempeño de las normas de competencia a evaluar en un caso. 4 1 14 2. Relaciona el instrumento de evaluación de desempeño con a técnica correspondiente a la evidencia a recoger 4 1 15 3Describe las características, condiciones y procedimientos del uso del instrumento de evaluación de desempeño. 4 1 16 4. Analiza la actuación ética del evaluador en casos de aplicación de instrumentos de evaluación de desempeño. 4 1 17 5. Analiza un caso de aplicación de una lista de verificación de desempeño. 4 1 18 6. Describe el procedimiento para el registro de evidencias 4 1 19 D) Los instrumentos de evaluación de producto se aplican de acuerdo a las evidencias a recoger. 1.Identifica las evidencias de producto de las normas de competencia a evaluar. 2.5 1 20 2.Relaciona el instrumento de evaluación de producto con la técnica correspondiente a la evidencia a recoger. 4 1 21 3.Describe las características, condiciones y procedimientos del uso del instrumento de evaluación de producto. 2.5 1 22 4.Analiza la actuación ética del evaluador en casos de aplicación de instrumentos de evaluación de producto. 4 1 23 5.Describe los procedimientos para la aplicación del instrumento de evaluación de producto. 4 1 24 6.-.Describe el procedimiento para el registro de evidencias de producto 4 1 25 E) La determinación del logro de la competencia es registrada en los formatos establecidos 1.-Reconoce los principios éticos en la determinación del logro de las competencias y su registro. 2.5 1 26 2.Analiza los procedimientos para la determinación del logro de las competencias. 4 1 27 3. Describe el procedimiento para el registro dellogro de las competencias 4 1 28 TOTAL 100 28
  • 33. 33 Documento de trabajo DEC-CONEAU – Prohibida su reproducción c) Elección de la escala de medición. Se debe determinar si la escala será decimal, vigesimal, centesimal u otra. Para el ejemplo la escala es centesimal. d) Asignación de los puntajes de la prueba. Los puntajes de la prueba deben estar de acuerdo con los criterios a evaluar y éstos se derivan de los elementos de la competencia. Para el ejemplo se ha considerado cinco criterios y el criterio C “Los instrumentos de evaluación de desempeño se aplican de acuerdo a las evidencias a recoger” es el que más puntaje tiene (24) y el criterio E “La determinación del logro de la competencia es registrada en los formatos establecidos” es el que menos puntaje tiene (10,5). e) Asignación de pesos a los reactivos o ítems. El puntaje total del criterio sirve de parámetro para asignar pesos a los reactivos o ítems de la prueba en función de las capacidades y conocimientos a evaluar. En el ejemplo, los reactivos de menor peso (2,5) corresponden al criterio A “El postulante es orientado sobre la evaluación, según tipos de evidencias a recoger” proceso básico de describir o explicar. f) Jerarquización lógica de los ítems. Es conveniente presentar previamente los ítems simples y los más complejos después. También conviene agrupar los ítems por afinidad temática u otros criterios que considere el evaluador. 2do.- Elaboración de la estructura del cuestionario La estructura de la prueba (cuestionario) se expresa mediante un cuadro de doble entrada en el que se explicita el contenido y la capacidad a evaluar. En el ejemplo propuesto, se trata de medir los conocimientos en función de dos variables: a) algunas las capacidades según la taxonomía de L.D´Hainaut, y b) los conocimientos sobre normas, técnicas, procedimientos, registro de evidencias para el logro de las competencias profesionales. Las capacidades que se pretenden medir deben estar identificadas en forma clara y precisa. En este caso, se ha considerado la Taxonomía propuesta por L.D´Hainaut (reproducción, conceptualización, aplicación, exploración, movilización y resolución de problemas), de esta taxonomía para el ejemplo sólo se ha considerado a tres capacidades.
  • 34. 34 Documento de trabajo DEC-CONEAU – Prohibida su reproducción Tabla de estructura de la prueba En el ejemplo propuesto se observa que se elaborará una prueba con 28 ítems o reactivos que darán un puntaje de 100 puntos que resultan de multiplicar el total de ítems de cada nivel de dominio por el peso asignado. La asignación de pesos depende de la importancia que asigne el evaluador a un determinado nivel o dominio de la capacidad del elemento de competencia a evaluar. En el presente caso se observa que se está asignando mayor peso (4) a la conceptualización, aplicación de la información y resolución de problemas. Elaboración de los reactivos de la prueba Para cada indicador se formularán varios reactivos o ítems. Si el evaluador dispone de un banco de ítems, reactivos o preguntas, seleccionará los ítems más adecuados para la prueba que está construyendo, teniendo en cuenta las necesidades de la evaluación. En caso contrario, deberá elaborar los ítems previstos en la estructura cubriendo la totalidad de conocimientos requeridos para el criterio de evaluación. El conjunto de ítems conforman una muestra representativa del universo de contenidos que interesa evaluar. Por ejemplo, uno de los instrumentos que utilizaremos para medir competencias profesionales es una prueba de conocimientos (cuestionario) donde elaboraremos preferentemente reactivos de opción múltiple. capacidad/ conocimiento Reproduc ción conceptu alización aplicación Solución de problemas TOTAL PUNTAJE 1. Normas de competencias en que se evaluará al postulante.(a, b, c, d) 3 2 5 15.5 2.Habilidades sociales del evaluador de competencias (Guía del participante del curso de evaluadores) (a) 1 2 3 10.5 3.Técnicas de evaluación de competencias ( a, b, c, d) 1 2 1 4 14.5 4.Tipos,características y condiciones de instrumentos de evaluación de competencias (a, b, c, d) 1 3 4 14.5 5.Tipos de evidencias para la evaluación de competencias (a, b, c, d) 1 2 1 4 14.5 6.Pautas éticas de la evaluación de competencias (a,b, c, d y e) 2 2 4 16 7. Procedimientos para la aplicación de los instrumentos de evaluación de competencias (a, b, c, d). 1 1 2 4 14,5 Total 8 7 7 6 28 Peso 2.5 4 4 4 Puntaje total 20 28 28 24 100
  • 35. 35 Documento de trabajo DEC-CONEAU – Prohibida su reproducción Tabla de criterios, indicadores y reactivos del elemento de Competencia “Recoger evidencias de las competencias del postulante aplicando los instrumentos de evaluación de la entidad certificadora” CRITERIO INDICADOR REACTIVO ALTERNATIVAS A) El postulante es orientado sobre la evaluación, según tipos de evidencias a recoger. 1. Identifica las normas de competencia a evaluar, según priorización de la EC. 2. Identifica la habilidad social de comunicación: asertividad. 3. Diferencia las técnicas de evaluación de competencias según guía de participantes del curso de evaluadores 4. Identifica los tipos características y condiciones de instrumentos de evaluación de competencias a aplicar según guía de evaluación Coneau. 5.Analiza los tipos de evidencias para la evaluación de competencias según directrices de normalización CONEAU. a)Las normas de competencia a evaluar son priorizadas por: b)Una habilidad social del evaluador de competencias es la comunicación asertiva que consiste en: c) Relacione las técnicas de evaluación con sus respectivos enunciados. d)Los tipos de instrumentos para evaluar competencias de acuerdo a la guía de evaluación del CONEAU son: e)En la orientación al postulante un evaluador es preguntado sobre la justificación para recoger evidencias de desempeño.La respuesta correcta a esa inquietud es: a. CONEAU - SINEACE b. Postulante a evaluar c. Colegio Profesional d. Evaluador certificado a. Expresar lo que piensa,cree y siente en forma positiva. b. Demostrar afecto,confianza y perseverancia al postulante. c. Justificar sus errores y equivocaciones ante los demás d. Analizar sus fortalezas y debilidades para relacionarse. A. Formulación de preguntas B. Observación directa C. Simulación de situaciones D. Valoración de productos ( ) Técnica por excelencia para recoger evidencias. ( ) Genera condiciones similares a las normales ( ) Usada cuando son observables los productos ( ) Obtiene evidencias de los conocimientos esenciales. a. A B C D b. D B A C c. C A D B d. B C D A a. Cuestionarios yguías de entrevistas. b. Listas de chequeo y cuestionarios. c. Estudio de casos y listas de chequeo. d. Encuestas y guías de entrevistas a. La norma de competen-cia indica un rubro de evidencias de desempe-ño y por tanto es obliga-torio recogerlas. b. Las evidencias de desempeño son las más importantes de evaluar,por tanto no puede omitirse recogerlas. c. La competencia se demuestra en el desempeño mismo por tanto no se puede omitir su recojo en la evaluación. d. Las evidencias de desem- peño no son indispensables por tanto evaluará la posibi- lidad de omitirla en su caso.
  • 36. 36 Documento de trabajo DEC-CONEAU – Prohibida su reproducción 6.Analiza la actuación ética del evaluador en un caso. 7. Identifica los procedimientos para la aplicación de los instrumentos de evaluación de competencias. f) Falta elaborar g)En relación a los procedimientos generales para la aplicación de los instrumentos de evaluación, según la guía de evaluación CONEAU, identifique las afirmaciones verdaderas ylas falsas y marque la respuesta correcta. i. El equipo evaluador debe estar conformado por un mínimo de dos evaluadores. ( ) ii. II.-Todos los instrumen- tos deben ser firmados por el postulante y al menos uno de los evaluadores.( ) iii. III-La firma del postulante en el instrumento de evaluación es requisito para la apelación a que hubiere lugar.( ) iv. IV.Antes de comunicar los resultados interme-dios y el resultado final de la evaluación, el equipo evaluador debe realizar una verificación de todo lo actuado.( ) a. VFFV b. VVVF c. VFVV d. VVFV
  • 37. 37 Documento de trabajo DEC-CONEAU – Prohibida su reproducción EJEMPLO DE CUESTIONARIO I. INFORMACIÓNGENERAL PARA ELPROCESO DE EVALUACIÓN FECHA DE INSCRIPCIÓN DÍA: MES: AÑO: 2010 ENTIDAD CERTIFICADORA CONEAU NOMBRES Y APELLIDOSDE EVALUADOR(A): LUGAR DE EVALUACIÓN FECHA DE EVALUACIÓN DATOS DEL EVALUADO (A) DNI COLEGIATURA APELLIDO PATERNO APELIDO MATERNO NOMBRES TIPO DE INSTRUMENTO DE EVALUACIÓN CUESTIONARIO CÓDIGO DELINSTRUMENTO DE EVALUACIÓN: C-ECP-001 EC DATOS DE LA NORMA DE COMPETENCIA A EVALUAR CÓDIGO VERSIÓN NOMBRE ELEMENTOS DE COMPETENCIA II. INTRODUCCIÓN Este documento presenta el instrumento de evaluación de los productos correspondientes del elemento de competencia 3.1……………, perteneciente a la Norma de Competencia de……………………….., que una persona debe demostrar para ser considerada competente. El presente instrumento de evaluación está diseñado para evaluar la competencia profesional de las personas que se desempeñan como ……………………………y contiene las instrucciones que debe seguir para su aplicación. Posteriormente se presentan las instrucciones de calificación del instrumento de evaluación, así como para la emisión del resultado de la evaluación. El instrumento contiene …… reactivos.
  • 38. 38 Documento de trabajo DEC-CONEAU – Prohibida su reproducción III. INSTRUCCIONES DEAPLICACIÓN DEL INSTRUMENTO DE EVALUACIÓN Usted encontrará la tabla de …….. IV. TABLA DEAPLICACIÓNO CUERPODEL INSTRUMENTO DE EVALUACIÓN 1 En la evaluacióndeldolorabdominalunodelossiguientesaspectoses menosrelevante: a) Tiempodeinicio b) Ubicación ycaracterísticas c) Tiempode duración d) Mejoraconanalgésico 2. 3. ETC. V. INSTRUCCIONES PARA LA CALIFICACIÓN DEL INSTRUMENTO DE EVALUACIÓN Todas las ….. VI. INSTRUCCIONES PARA LA EMISIÓN DEL RESULTADO Si todos los reactivos….. VII. RESULTADO DE LA EVALUACIÒN CUMPLE NO CUMPLE VIII. RETROALIMENTACIÓN AL CANDIDATO – IDENTIFICACIÓN DE ASPECTOS PARA MEJORA (Anotar el número del reactivo que requiere mejorar). N° de los aspectos para mejora:( ), ( ), ( ), ( ), ( ) IX. FIRMAS CORRESPONDIENTES ……………………………. …………………………… ……………………………… FIRMA DEL EVALUADOR FIRMA DEL EVALUADOR FIRMA DEL EVALUADO
  • 39. 39 Documento de trabajo DEC-CONEAU – Prohibida su reproducción HOJA DE RESPUESTAS FECHA DE INSCRIPCIÓN DÍA: 30 MES: MAYO AÑO: ENTIDAD CERTIFICADORA COLEGIO … NOMBRES Y APELLIDOS DE EVALUADOR (A): XXXXXX LUGAR DE EVALUACIÓN EMERGENCIA FECHA DE EVALUACIÓN DD—MM—AA DATOS DEL EVALUADO (A) DNI COLEGIATURA APELLIDO PATERNO APELIDO MATERNO NOMBRES TIPO DE INSTRUMENTO DE EVALUACIÓN CUESTIONARIO CÓDIGO DEL INSTRUMENTO DE EVALUACIÓN: DATOS DE LA NORMA DE COMPETENCIA A EVALUAR CÓDIGO VERSIÓN NOMBRE ELEMENTOS DE COMPETENCIA RESPUESTAS A B C D A B C D A B C D 1 X 11 X 21 2 X 12 X 22
  • 40. 40 Documento de trabajo DEC-CONEAU – Prohibida su reproducción 3 X 13 X 23 4 X 14 X 24 5 X 15 X 25 6 X 16 X 26 7 X 17 X 27 8 X 18 28 9 X 19 28 10 D C B A 20 30
  • 41. 41 Documento de trabajo DEC-CONEAU – Prohibida su reproducción 5. VALIDEZ DE UN INSTRUMENTO Algunos autores definen:  La validez de un instrumento de medición es el grado en que el instrumento mide realmente lo que el investigador pretende medir. (Hernández Sampieri)  Grado en que un instrumento realmente mide lo que el investigador pretende. (Thorndike) Ambas definiciones coinciden que el requisito de un instrumento para lograr la confiabilidad es la validez. Pero lo recíproco no es cierto, puesto que un instrumento puede ser confiable sin ser válido. La validación de un instrumento sirve para controlar variables confusas, sesgos, generar mejores procesos e interpretar de mejor modo los procedimientos realizados. Para determinar la validez de un instrumento es necesario el análisis psicométrico que exige respuesta a las siguientes preguntas: ¿Hasta qué punto son consistentes las puntuaciones? Responder esta interrogante implica informar sobre la confiabilidad del instrumento. ¿Qué es lo que mide la prueba? Responder esta interrogante implica informar sobre la validez del instrumento. En tal sentido, para determinar la eficacia del instrumento de medición se debe precisar su validez y confiabilidad. Eficacia del instrumento de medición La eficacia del instrumento de recolección de datos está referida a su validez y confiabilidad. Validez de Contenido (validez externa) A través de la validez de contenido se trata de determinar hasta dónde los ítems de una prueba son representativos de los indicadores del criterio a evaluar de las competencias profesionales que se desea medir, establece la relación del instrumento con los criterios de los elementos de la competencia que pretende medir. Da garantías de que se ha operacionalizado claramente desde la competencia, unidad de competencia, elementos de la competencia, criterios, indicadores y reactivos. El instrumento (prueba) a través de los ítems debe contener los conocimientos claramente definidos. Si no se cuenta con la seguridad de que los reactivos representan a los contenidos de los criterios de la competencia en evaluación se debe proceder a la consulta de
  • 42. 42 Documento de trabajo DEC-CONEAU – Prohibida su reproducción expertos quienes evalúan la representatividad de los indicadores relevantes de los criterios de los elementos de la competencia. La validez de contenido establece la relación del instrumento con los criterios de los elementos de la competencia que pretende medir. Siendo indispensable elaborar la tabla de especificaciones, elaborar la prueba que se ajusta a la tabla de especificaciones y determinar si los ítems de una prueba son representativos de los indicadores del criterio a evaluar. ( capacidad del instrumento). Validez de criterio (Validez externa) Nos permite expresar el grado de eficacia con el que se puede predecir o pronosticar un criterio a partir de las puntuaciones del instrumento.  Validez Concurrente: Si el criterio se fija en el presente, cuando los resultados del instrumento se correlacionan con el criterio en el mismo momento. Por ejemplo una encuesta para detectar preferencias del electorado antes de las elecciones se correlaciona con los resultados finales de la elección.  Validez Predictiva: Si el criterio se fija en el futuro. Ejemplo una prueba de admisión para ser evaluador, se puede comparar sus resultados con su rendimiento futuro (criterio: promedios finales). Es decir la validez predictiva se juzga por la calidad del rendimiento obtenido por el participante en un tiempo posterior al que fue aplicado el instrumento. Si las dos medidas se dan en el mismo momento se habla de validez concurrente, pero si la segunda medida se hace en un futuro y la primera se hace con la intención de estimar la segunda se habla de validez predictiva. Validez de constructo (Validez interna) Se define como el grado en que una prueba mide la construcción teórica elaborada respecto a los conocimientos o conducta que se mide. Los procedimientos estadísticos apuntan a establecer de manera probabilística grupos de ítems que deberán ser definidos como dimensiones. Estas dimensiones son conceptualizadas de manera consensuada para otorgarle el carácter de útiles y científicamente válidos, por cuanto no existe una prueba patrón. Si los dominios han sido construidos de manera teórica, la estadística corrobora la idoneidad de estas agrupaciones y nos daremos respuestas a estas interrogantes:  ¿El concepto teórico está reflejado realmente en el instrumento?  ¿Qué significan las puntuaciones del instrumento?  ¿El instrumento mide el constructo y sus dimensiones?¿Por qué sí? ¿Por qué no?  ¿Cómo opera el instrumento? (Hernández-Sampieri, 2010) 5.1 VALIDACIÓN EXTERNADE INSTRUMENTOS DE EVALUACIÓN
  • 43. 43 Documento de trabajo DEC-CONEAU – Prohibida su reproducción 5.1.1 Procedimiento de la validez de contenido por juicio de expertos Evalúa la capacidad del instrumento para recoger lo que se desea medir: Se presentan tres momentos: 1.- Cuando no sabemos las respuestas que nos van a dar las unidades de estudio hay una aproximación a la población y las interrogantes deben ser abiertas y con ellas se procederá a construir una lista de ítems. 2.-Juicio de expertos cuando el conocimiento disponible es insuficiente para que el evaluador pueda construir un instrumento de manera autónoma. 3.-La revisión del conocimiento disponible cuando existe la teoría suficiente para poder construir un instrumento. Esta validez se refiere a si el cuestionario elaborado, y por tanto si los ítems elegidos, son evidencias de lo que se pretende medir. 5.1.2 Evidencias basadas en el contenido Aglutina dos tipos de estudio suplementarios. Unos encaminados a evaluar las relaciones entre el constructo y el contenido del test, y otros dirigidos a valorar los factores contextuales internos y externos que puedan añadir varianza no deseada (Elosua, 2003) El objetivo de este tipo de estudios es obtener evidencias para determinar si los ítems del instrumento representan adecuadamente el constructo que se pretende medir. No olvidemos que los ítems son el estímulo necesario para obtener las muestras de conducta indicadoras del constructo. Este tipo de estudio examina si los ítems pueden hacer bien su papel (GONZALES, 2006: 16) Para ello hay cuatro estrategias: La fundamentación en una teoría, la consulta a expertos, el análisis de errores y la supervisión de los resultados totales. (ANASTASI Y URBINA, 1998), las dos primeras son las más reconocidas y recurrentes. En el primer caso, la fundamentación teórica, la evidencia basada en el contenido la realiza el mismo investigador apoyándose en la teoría y los supuestos que guían la selección de los ítems (BRIONES, 2001); en este sentido, el dominio de contenido de un variable, normalmente, es definido o establecido por la literatura (teorías y antecedentes) (HERNANDEZ,2006: 279) La forma en que esta estrategia se opera presenta ciertas ambigüedades e imprecisiones: Algunos autores hacen referencia al análisis racional de los contenidos posibles (MUÑIZ, 2003), Otros a la operacionalización de las variables (CASTAÑEDA, DE LA TORRE, MORAN Y LARA) y otros la articulan a una estrategia global que integra: Fundamentación teórica, consulta a expertos y análisis estadístico. (HERNANDEZ, 2006: 279). La estrategia de consulta a expertos, consiste en preguntar a uno o varios expertos si los reactivos evalúan lo que uno quiere que evalúe (SALKIND, 1999) esta estrategia es planteada como complementaria o simultánea de la fundamentación teórica por algunos autores(BRIONES, 2001; HERNADEZ,2006; MUÑIZ, 2003), mientras que otros plantean su uso en caso de que el constructo o variable de estudio sea definida
  • 44. 44 Documento de trabajo DEC-CONEAU – Prohibida su reproducción de manera aproximada o imprecisa, esto es, sin una buena fundamentación teórica.(GREGORY, 2001) Relevancia entendida como relación de la variable, y los ítems, con la teoría utilizada (PARDO, 2006) La consulta a expertos se utiliza básicamente para establecer si los ítems del instrumento representan adecuadamente el constructo que se pretende medir. 3.1.3. Veamos un ejemplo: Procedimiento según GREGORY, 2001 El siguiente cuestionario tiene el objetivo central “Recoger evidencias de las competencias del postulante aplicando los instrumentos de evaluación de la entidad certificadora” Le pedimos su colaboración para establecer la validez de contenido, en caso de aceptar le sugerimos seguir las siguientes instrucciones: 1° Lea cuidadosamente la especificación de cada una de las secciones de esta tabla de especificaciones, ya que cada una representa, diferentes dimensiones de estudio: Elemento de competencia, criterio de desempeño, indicador y conocimientos. 2° A continuación indique que tan bien considera usted que el ítem o reactivo sea parte del, indicador, del criterio de desempeño y de la unidad de competencia que se aborda a continuación: 3° Juzgue cada ítem o reactivo de manera individual comparando el contenido del ítem con el contenido de la dimensión de estudio. (Analice la tabla de especificaciones de la prueba con la tabla de criterios, indicadores y reactivos) Tabla de especificaciones de la prueba de conocimientos ELEMENTO DE COMPETENCIA Conocimiento CRITERIOS Indicador PESO (%) Cantidad de preguntas Número de pregunta 1. 1.Recoger evidencias de las competencias del postulante aplicando los instrumentos de evaluación de la entidad certificadora 1.Normas de competencias en que se evaluará al postulante. (a, b, c, d) 2.Habilidades sociales del evaluador de competencias (Guía del participante del curso de evaluadores) (a) 3.Técnicas de evaluación de competencias ( a, b, c, d) A) El postulante es orientado sobre la evaluación, según tipos de evidencias a recoger. 1. Identifica las normas de competencia a evaluar, según priorización de la EC. 2.5 1 1 2. Identifica la habilidad social de comunicación: asertividad. 2.5 1 2 3. Diferencia las técnicas de evaluación de competencias según guía de participantes del curso de evaluadores 4 1 3 4. Identifica los tipos características y condiciones de instrumentos de evaluación de competencias a aplicar según guía de evaluación CONEAU. 2.5 1 4
  • 45. 45 Documento de trabajo DEC-CONEAU – Prohibida su reproducción 4.Tipos, características y condiciones de instrumentos de evaluación de competencias (a, b, c, d) 5.Tipos de evidencias para la evaluación de competencias (a, b, c, d) 6.Pautas éticas de la evaluación de competencias (a, b, c, d y e) 7. Procedimientos para la aplicación de los instrumentos de evaluación de competencias (a, b, c, d). 8. Procedimiento para el registro de evidencias (b, c, d, e). 9. Pautas para la determinación del logro de la competencia (e). 5. Analiza los tipos de evidencias para la evaluación de competencias según directrices de normalización CONEAU. 4 1 5 6. Analiza la actuación ética del evaluador en un caso. 4 1 6 7. Identifica los procedimien- tos para la aplicación de los instrumentos de evaluación de competencias 4 1 7 B) Los instrumentos de evaluación de conocimiento se aplican de acuerdo a las evidencias a recoger 1. Identifica las evidencias de conocimiento de las normas de competencia a evaluar. 2.5 1 8 2. Describe el procedimiento del uso de instrumentos de recojo de evidencias de conocimiento, según técnica. 4 1 9 3. Identifica evidencias de conocimiento para la evaluación de competencias 2.5 1 10 4. Analiza la actuación ética del evaluador en casos de aplicación de instrumentos de evaluación de conocimiento. 4 1 11 5.Analiza un caso de aplicación de un cuestionario. 4 1 12 6. Analiza un caso de registro de evidencias de conocimiento 4 1 13 C) Los instrumentos de evaluación de desempeño se aplican de acuerdo a las evidencias a recoger. 1.-Analiza las evidencias de desempeño de las normas de competencia a evaluar en un caso. 4 1 14 2. Relaciona el instrumento de evaluación de desempeño con a técnica correspondiente a la evidencia a recoger 4 1 15 3Describe las características, condiciones y procedimientos del uso del instrumento de evaluación de desempeño. 4 1 16 4. Analiza la actuación ética del evaluador en casos de aplicación de instrumentos de evaluación de desempeño. 4 1 17 5. Analiza un caso de aplicación de una lista de verificación de desempeño. 4 1 18 6. Describe el procedimiento para el registro de evidencias 4 1 19 D) Los instrumentos de evaluación de producto se aplican de acuerdo a las evidencias a recoger. 1.Identifica las evidencias de producto de las normas de competencia a evaluar. 2.5 1 20 2.Relaciona el instrumento de evaluación de producto con la técnica correspondiente a la evidencia a recoger 4 1 21 3. Describe las características, condiciones y procedimientos 2.5 1 22
  • 46. 46 Documento de trabajo DEC-CONEAU – Prohibida su reproducción del uso del instrumento de evaluación de producto. 4. Analiza la actuación ética del evaluador en casos de aplicación de instrumentos de evaluación de producto. 4 1 23 5. Describe los procedimientos para la aplicación del instrumento de evaluación de producto. 4 1 24 6.-.Describe el procedimiento para el registro de evidencias de producto 4 1 25 E) La determinación del logro de la competencia es registrada en los formatos establecidos 1.-Reconoce los principios éticos en la determinación del logro de las competencias y su registro. 2.5 1 26 2.Analiza los procedimientos para la determinación del logro de las competencias. 4 1 27 3. Describe el procedimiento para el registro dellogro de las competencias 4 1 28 TOTAL 100 28
  • 47. 47 Documento de trabajo DEC-CONEAU – Prohibida su reproducción TABLA DE CRITERIOS, INDICADORES Y REACTIVOS CRITERIO INDICADOR REACTIVO escala El postulante es orientado sobre la evaluación, según tipos de evidencias a recoger. 1. Identif ica las normas de competencia a ev aluar, según priorización de la EC. 2. Identif ica la habilidad social de comunicación: asertiv idad. 3. Dif erencia las técnicas de ev aluación de competencias según guía de participantes del curso de ev aluadores 4. Identif ica los tipos características y condiciones de instrumentos de ev aluación de competencias a aplicar según guía de ev aluación Coneau. 5. Analiza los tipos de ev idencias para la ev aluación de competencias según directrices de normalización CONEAU. 6. Analiza la actuación ética del ev aluador en un caso. 7. Identif ica los procedimientos para la aplicación de los instrumentos de ev aluación de competencias. 1.-Las normas de competencia a ev aluar son priorizadas por: a. CONEAU - SINEACE b .Postulante a ev aluar c. Colegio Prof esional d. Ev aluador certif icado 2.-Una habilidad social del ev aluador de competencias es la comunicación asertiv a que consiste en: a. Expresar lo que piensa, cree y siente en f orma positiv a. b. Demostrar af ecto, conf ianza y persev erancia al postulante. c. Justif icar sus errores y equiv ocaciones ante los demás d. Analizar sus f ortalezas y debilidades para relacionarse. 3. Relacione las técnicas de ev aluación con sus respectiv os enunciados. a. Formulación de preguntas b. Observ ación directa c. Simulación de situaciones d. Valoración de productos ( ) Técnica por excelencia para recoger ev idencias. ( ) Genera condiciones similares a las normales ( ) Usada cuando son observ ables los productos ( ) Obtiene ev idencias de los conocimientos esenciales 4.-Los tipos de instrumentos para ev aluar competencias de acuerdo a la guía de ev aluación del CONEAU son: a. Cuestionarios y guías de entrev istas. b. Listas de chequeo y cuestionarios. c. Estudio de casos y listas de chequeo. d. Encuestas y guías de entrev istas 5.-En la orientación al postulante un ev aluador es preguntado sobre la justif icación para recoger ev idencias de desempeño. La respuesta correcta a esa inquietud es: a. La norma de competencia indica un rubro de ev idencias de desempeño y por tanto es obligatorio recogerlas. b. Las ev idencias de desempeño son las más importantes de ev aluar, por tanto no puede omitirse recogerlas. c. La competencia se demuestra en el desempeño mismo por tanto no se puede omitir su recojo en la ev aluación. d. Las ev idencias de desempeño no son indispensables por tanto ev aluará la posibilidad de omitirla en su caso. 6.-Falta elaborar 7.-En relación a los procedimientos generales para la aplicación de los instrumentos de ev aluación, según la guía de ev aluación CONEAU, identif ique las af irmaciones v erdaderas y las f alsas y marque la respuesta correcta. I.-El equipo ev aluador debe estar conf ormado por un mínimo de dos ev aluadores. ( ) II.-Todos los instrumentos deben ser f irmados por el postulante y al menos uno de los 0 1 2 3 0 1 2 3 0 1 2 3 0 1 2 3 0 1 2 3 0 1 2 3 0 1 2 3
  • 48. 48 Documento de trabajo DEC-CONEAU – Prohibida su reproducción ev aluadores. ( ) III-La f irma del postulante en el instrumento de ev aluación es requisito para la apelación a que hubiere lugar. ( ) IV.Antes de comunicar los resultados intermedios y el resultado f inal de la ev aluación, el equipo ev aluador debe realizar una v erif icación de todo lo actuado. ( ) 4°Para evaluar utilice la siguiente escala. 0 El ítem no pertenece a la dimensión de estudio 1 El ítem probablemente no pertenece a la dimensión de estudio 2 El ítem probablemente si pertenece a la dimensión de estudio 3El ítem si pertenece a la dimensión de estudio. 5° Anota su consideración en la columna de la escala de la tabla de criterios, indicadores y reactivos. 6° Completa la tabla resumen Tabla de resumen criterio A Ítem Experto 1 Experto 2 Experto 3 Experto 4 Experto 5 Experto 6 Total (S) sumatoria de acuerdos media T/6 ESCALA 1 0 2 3 1 2 3 11 1,8 débil validez 2 3 3 1 2 2 3 14 2.3 validez aceptable 3 4 5 6 7 total 7° Procedemos a observar la media de cada ítem, y en caso de ser menor 1,5 el ítem se elimina. Con los ítems restantes se obtiene una media general de cada criterio que lo compone y el resultado se interpreta con la siguiente escala: Intervalos Escalas 1,6 a 2 Débil validez 2,1 a 2,5 Validez aceptable 2,6 en adelante Validez fuerte 8° Se consolidan los resultados de validez de contenido en una tabla de validez y se