Este documento presenta los conceptos y métodos fundamentales de la medición en evaluación educativa. Explica que la definición precisa de conceptos a través de condiciones necesarias y suficientes permite clasificar y medir magnitudes empíricamente. Luego describe los métodos cualitativos como taxonomías y cuantitativos mediante métricas. Finalmente, enfatiza que un diseño de evaluación debe articular coherentemente los valores, teorías, objetivos, indicadores y fuentes de información.

1. Bases epistemológicas y metodológicas de la evaluación
Unidad 3: Medición en evaluación
Universidad de Buenos Aires

2. Habíamos dicho que la evaluación implica
Orientaciones
valorativas, político-
ideológicas
Concepciones/Modelos
de universidad
Teorías
Nociones centrales
conceptos

3. Los conceptos centrales: su formación
Teorías
fundantes,
orientaciones
modélicas
Teorías
específicas
Conceptos
centrales en
esas teorías
refieren las
magnitudes
a «medir»

4. Procedimientos de medición en ciencias sociales
• Definición de los conceptos científicos:
Al aclarar su significado
se tienden puentes hacia→ lo
empíricamente constatable, «observable»
Medición
– Cualitativa (clasificaciones, taxonomías)
– Comparativa
– Cuantitativa

5. Formación de conceptos cualitativos
• Se define un concepto, se establecen condiciones
necesarias y suficientes del uso legítimo del
término que lo refiere.
• Aún cuando se introduzca un único concepto
dentro en un dominio dado, se produce una
partición que genera una clasificación.
El caso más simple: variables dicotómicas
Al introducir un concepto automáticamente queda también definido
por la negativa el subconjunto del dominio de→
todo lo que NO corresponde a aquellas
condiciones necesarias y suficientes

6. Construcción de taxonomías
El esquema de medición cualitativo/ taxonómico
clasificatorio se hace antiecónomico cuando
identificamos varios subconjuntos en el
dominio.
Ejemplo: Camilloni tipos de evaluación
informativa, formativa, performativa
Tenemos que introducir condiciones necesarias y suficientes
para cada tipo.

7. Formación de conceptos comparativos
• Además de clasificar, ordenan y jeraquizan.
Debemos establecer dos relaciones,
Una relación de equivalencia
Una relación de orden
cada una con propiedades lógicas determinadas
que deben ponerse ↕ en paralelo con
relaciones empíricas
 Ejemplo: rankings
benchmarking (aspectos de mostración de
instituciones o casos en los que se ha llegado a un nivel
de calidad especial)

8. Formación de conceptos cuantitativos
• No sólo clasifican, no sólo ordenan, sino que se pueden
asociar a una métrica
que nos permita manejarnos con la simbolización matemática
para hacer cálculos y operaciones de distinto tipo.
Ejemplo: En nuestro país el gran esfuerzo de recolección de información universitaria del SIU y
también de casi todas las oficinas de monitoreo y estadísticas de las propias instituciones.
Muchas variables están cuantificadas, sobre todo las que en su base tienen la
posibilidad de enumerar, por ejemplo cantidad de alumnos, cantidad de
graduados. Para realizar cálculos importantes (tasas de graduación, tasas de
deserción, evolución de la matrícula, etcétera)

9. La complejidad de las teorías involucradas en la
evaluación
Son muchas muchas de las dimensiones de análisis
involucradas y los conceptos centrales a definir
↕
el multimétodo prevalece
Un punto a favor de los grandes autores de las escuelas críticas:
las distintas formas de definir los conceptos y los métodos de los
que podemos echar mano son múltiples y enriquecen nuestra
paleta de posibilidades de diseño e investigación.

10. • Nuevos valores se expresan en nuevos
objetivos, y ellos en nuevos criterios y
modelos de evaluación.
• El avance en la investigación en educación
provee nuevos marcos analíticos, teorías
explicativas e interpretativas que orientan la
atención hacia otras dimensiones y variables,
nuevas fuentes de información e indicadores.

11. Indicadores
Al definir científicamente los conceptos una cuestión que es fundamental es:
 Aclarar su significado y sus condiciones de uso en términos que puedan
ser ampliamente compartidos por pertenecer al lenguaje común.
 Dirigir la mirada hacia elementos que sean empíricos, constatables,
“observables”, a los que se pueda acceder de una manera más o menos
directa.
La elección de los indicadores se corresponde, por supuesto, con las teorías,
valores, perspectivas paradigmáticas que sostenemos.
¡¡¡Si bien se han generado ya muchos indicadores, tanto en el
nivel internacional, nacional como en el de las propias
instituciones de ES, el espacio de la investigación educativa y el
diseño de programas de evaluación está abierto!!!

12. Proceso articulado y consistente
Modelo
De Universidad
Valores
Criterios
Objetivos
Teorías
explicativas/interpretativas
Dimensiones de Análisis
Instrumentos
Variables
Indicadores
Fuentes de Información
Interpretación de los resultados
Atribución de significado a la
información reunida

13. Decisiones más allá de lo definicional
• Qué tipo de información vamos a buscar, qué
magnitudes queremos medir. Cómo vamos a
manejar, no reducir, la complejidad de nuestras
instituciones a través de la selección de la
información pertinente.
• Para que los juicios evaluativos no aparezcan
como arbitrarios o discrecionales, la relevancia
de los indicadores tiende a ceder frente a
consideraciones de practicidad o factibilidad.

14. Población y muestra (la parte que se tomará por el
todo)
Contexto histórico‐
geográfico
1. Definición de la población teóricamente pertinente a los objetivos.
2. Descripción de la base empírica.
3. Criterios para la selección de los casos; muestreo de unidades.
Construcción de los
instrumentos de
observación, medición
1. Encuestas, guías de entrevista, de observación, planillas o estrategias
empíricas de acercamiento a la realidad. Pre‐test; informantes claves.
2. Construcción de la base empírica de datos cuantitativos y cualitativos.
Hay que tener en cuenta una serie de cuestiones de índole pragmática:
• practicidad
• accesibilidad a fuentes de información
• costo de la recolección de información (material, en tiempo, etc.)
• relación costo-beneficio a la hora de la interpretación de los resultados,
qué tipo de sistematización se tiene en vista, qué propuesta de articulación
conceptual.
• la información, ¿contará como evidencia en un momento posterior de
establecimiento de recomendaciones o de rediseño de planes
institucionales?

15. Lecturas propuestas
– Prof. Doberti
• El artículo del Profesor Doberti muestra cómo cuando se tienen teorías
detrás, ideas sobre cómo se va a sistematizar la información, el análisis de
algunos indicadores que podrían parecer sencillos resulta sumamente
valioso para hablar de la institución, sin reducir la complejidad sino
justamente permitiendo que el conocimiento generado nos hable de esa
complejidad.
• El artículo de Najmias y Rodríguez se dedica a los problemas relativos a la
validez en investigaciones que utilizan metodologías cualitativas,
mostrando sus semejanzas y diferencias con los criterios corrientes en la
investigación cuantitativa. Válido es aquel instrumento que
efectivamente mide lo que uno se propone medir .

16. Confiabilidad de los datos, la
información, las «evidencias»
• La confiabilidad es un criterio importantísimo que refiere a la
información, sus fuentes, la manera como ha sido recogida.
• Literalmente apunta si podemos «tener fe» en los datos. La palabra
confiabilidad es típicamente moral, valorativa. Juzgamos si esos
datos, esa información, esas «evidencias» (los datos a los que les
asignamos un valor probatorio especial dentro de un argumento
evaluativo) que hemos tomado pueden ser aceptadas como tales .
• Muchas veces la información disponible no es confiable. Quienes
conocen las instituciones universitarias advierten muy pronto que
los sistemas de información tienen defectos (lagunas, omisiones,
registros que no son consistentes, etc.)
¡¡¡En ese sentido también gran parte de la investigación en evaluación
tiene que ver con una revisión de la información y con una valoración
crítica de su confiabilidad!!!

17. Cuadro Etapas típicas de un diseño de
investigación
Fuente, Ruth Sautu, Todo es Teoría, pág.22

18. Tema o problema a
investigar
¿Cuál es el interés que
tiene su investigación?
¿Cuáles son las
orientaciones valorativas
del grupo de trabajo?
1. Definir su finalidad
2. Establecer los recursos disponibles y costos. Los
recursos limitan las decisiones acerca del diseño.
Perspectiva teórica
1. Definir cuáles son: i. las orientaciones paradigmáticas del grupo que
investigue; ii. Las teorías generales que impregnan su pensamiento;
iii. En función de esas orientaciones y los recursos disponibles acotar
la selección de teorías sustantivas (cuadro 2.3)
2. Contenidos del marco teórico: i. Supuestos asumidos como
verdaderos; ii. Definir los conceptos, proposiciones, hipótesis; iii.
Modelos explícitos o implícitos acerca de las relaciones entre
conceptos postulados en las proposiciones; vínculos entre dos
conceptos sensibilizadores; papel de los conceptos en la definición de
la problemática a investigar; iv. Hipótesis observacionales para la
selección de la población, casos, construcción de instrumentos,
definición de la base empírica.
Objetivos de la
investigación
1. Objetivo general: debe abarcar los específicos
2. Objetivos específicos: despliega el contenido del marco teórico; debe
cumplir la siguiente condición; todo lo discutido en el marco teórico
debe estar reflejado en los objetivos específicos. Todos los objetivos
específicos deben ser derivados del marco teórico.
Metodología
Elección de un método que, a partir de los objetivos, permita resolver las
cuestiones teóricas y empíricas que se enuncian en las siguientes etapas.
Contexto histórico‐
geográfico
1. Definición de la población teóricamente pertinente a los objetivos.
2. Descripción de la base empírica.
3. Criterios para la selección de los casos; muestreo de unidades.
Construcción de los
instrumentos de
observación, medición
1. Encuestas, guías de entrevista, de observación, planillas o estrategias
empíricas de acercamiento a la realidad. Pre‐test; informantes claves.
2. Construcción de la base empírica de datos cuantitativos y cualitativos.
Análisis sistematización y
conclusiones
1. Codificación, construcción de la matriz estadística de planillas,
sistematización manual o computarizada de datos cualitativos.
2. Cuadros, estadísticas, resúmenes, tipologías, patrones.
3. Descripción de asociaciones, pautas estadísticas, patrones,
constelaciones, vínculos, situaciones.
4. Enunciación de proposiciones empíricas, construcción empírica de
conceptos.
5. Propuesta de articulaciones de proposiciones y de conceptos.
6. Inferencias de las implicaciones teóricas de las conclusiones.