EVALUACIÓN, ANÁLISIS E INTERPRETACIÓN DE RESULTADOS Y PRUEBA PISA

CUADRO:
INTERPRETACIÓN DE RESULTADOS
Teresa de Jesús Jiménez Zavalza
Cuadro: Interpretación de Resultados
Unidad 4: Portafolio de Evidencias y Análisis e Interpretación de Resultados
Elaboración de Instrumentos de Evaluación

Maestría en Educación y Docencia
Universidad Metropolitana de Monterrey
300416
12 de Abril del 2015
Norma Vilchis Salcedo

QUÉ ELEMENTOS SE
TOMAN EN CUENTA
PARA LA UTILIZACIÓN
DE RESULTADOS EN
LA EVALUACIÓN
POR NORMAS

POR CRITERIOS

PARTICIPATIVA

• Elementos de
competencia
• Función
• El análisis funcional
• Componentes de
desempeño
• Especificación y
definición de dominio
• Análisis de elementos
• Determinación del
criterio de suficiencia
o estándar
• Fiabilidad
• Validez
ELEMENTOS PREVIOS
• El contexto
• El ámbito temático
• El ámbito territorial
• Los objetivos
• Los colectivos
participantes
• El tipo de evaluación
ELEMENTOS
METODOLÓGICOS
• Análisis técnico
• Autoevaluación
interna
• Autoevaluación
participativa
¿QUÉ TIPO DE
INTERPRETACIÓN DE
RESULTADOS SE
LLEVA A CABO EN LA
PRUEBA PISA? Y ¿POR
QUÉ?
Interpretación de resultados por normas y por criterios. Porque está referido a la
norma (que permiten solamente ordenar y comparar a un estudiante con su grupo
de pares) a pruebas cuya interpretación de resultados está referida a criterios (que
además de ordenar y comparar grupos de estudiantes, permiten estimar cuántos
alcanzan el criterio o estándar establecido, y sobre todo permiten describir qué es
lo que los estudiantes saben y son capaces de hacer)

QUÉ ELEMENTOS SE TOMAN EN CUENTA PARA LA UTILIZACIÓN DE
RESULTADOS EN LA EVALUACIÓN POR NORMAS
EVALUACIONES CON REFERENCIA A NORMAS
Estas pruebas son evaluaciones que comparan las puntuaciones individuales de los estudiantes
con las calificaciones de otros estudiantes pertenecientes a un grupo de la misma edad que ya
haya completado la prueba. Generalmente reportan las calificaciones de los estudiantes dentro
de un rango percentil, en lugar de un porcentaje. Por ejemplo, si un estudiante tiene una
calificación dentro del percentil 99, significa que obtuvo calificaciones más altas que el 99% de
los otros alumnos de su grupo de edad que presentaron la misma prueba. Esto no quiere decir
que haya resuelto correctamente el 99% de los problemas en la evaluación. El objetivo de las
pruebas referidas a normas es clasificar y ordenar a los estudiantes, en vez de medir el dominio
de habilidades.

Las normas técnicas de competencia en información son documentos que se destinan a:
-Describir los conocimientos y habilidades de las personas en el uso y aplicación de la
información y los diferentes niveles de complejidad o dominio que poseen. Establecen, además
de las características o atributos, las evidencias que permiten a una persona ser evaluada o
juzgada competente en una tarea particular de información. Las normas especifican cómo estas
características serán aplicadas y se reflejarán en un contexto académico o lugar de trabajo.
-Cubrir todos los aspectos de gestión de la información, considerando las habilidades
particulares y los conocimientos necesarios para realizar de manera eficaz la búsqueda, acceso,
registro y aplicación de la información, además de las actitudes y los valores requeridos en el
uso ético de la información.

-Probar el conocimiento y la comprensión, además de medir la actuación de un candidato en un
ambiente real o simulado en la operación de una actividad particular de búsqueda, evaluación,
análisis, registro, transferencia o aplicación de la información. El proceso empleado para medir
la competencia de una persona es la valoración de la calificación, con base en las evidencias
que él mismo aporta (Walsh-Taylor, 1995).
Cuando se desea evaluar la competencia en información de una persona, se le puede someter a
una prueba práctica donde se observa su desempeño en la gestión de la información, no
obstante, cuando se tiene el propósito de evaluar a grupos de usuarios, se requiere de un
sistema normalizado, diseñado para identificar en forma detallada y concreta los distintos
aspectos a considerar para asegurar que el cumplimiento de los requisitos constituye una
evidencia cierta, objetiva e incuestionable de que se es competente. Las normas técnicas, en
este contexto, son elaboradas por comités de normalización, y una vez aprobadas y
sancionadas por las partes interesadas, pasan a formar parte de un sistema normalizado de
competencia en información.

ELEMENTOS QUE SE TOMAN EN CUENTA PARA LA UTILIZACIÓN DE RESULTADOS EN LA
EVALUACIÓN POR NORMAS. COMPONENTES DE LA NORMA DE COMPETENCIA EN
INFORMACIÓN
1.- ELEMENTOS DE COMPETENCIA
La base estructural de la norma técnica de competencia en información que servirá para la
identificación de la competencia es una función elemental, denominada elemento de
competencia. Corresponde a una función informativa simple, es decir, lo que una persona debe
ser capaz de hacer. Para que un elemento de competencia sirva como referente en la
determinación y definición de los componentes normativos que configurarán el patrón de
identificación de la competencia en información, éste deberá especificar el resultado que se
espera lograr en la actividad
2.- FUNCIÓN
Por función se entiende, para propósitos de este trabajo, el conjunto de actividades necesarias
para lograr uno o varios objetivos específicos de trabajo en relación con el uso de la información
y el conocimiento. La función propicia la identificación de distintas capacidades que se ponen en
práctica al realizar una actividad de información determinada.

3.- EL ANÁLISIS FUNCIONAL
Los elementos de competencia están inmersos en la actividad académica o en la práctica
profesional y no siempre se presentan en forma aislada sino que se combinan para conformar
una actividad de información compuesta, con significación en el contexto. Para detectar los
elementos de competencia se emplea el análisis funcional que consiste en la desagregación
sucesiva de la función principal en funciones clave, y éstas a su vez se dividen hasta llegar a las
funciones más simples, aquellas que pueden ser ejecutadas por personas y que describen
acciones específicas y singulares que se pueden lograr y resumir, por lo que reciben el nombre
de elementos de competencia.

Los principios o criterios que dan sustento a la aplicación del análisis funcional son básicamente los tres
siguientes:
a) Propósito principal.
El análisis funcional se aplica de lo general a lo particular, a partir del reconocimiento del propósito principal.
b) Funciones discretas.
El análisis funcional debe identificar funciones delimitadas (discretas) separándolas de un contexto
específico. Es decir, considera aquellas funciones que tengan claramente definidos su inicio y su término.
Para expresar las funciones se sugiere mantener una estructura gramatical uniforme, como se indica: (el)
verbo + (el) objeto + (la) condición. Esta forma de expresión tiene como propósito:
+ Identificar los resultados de la actividad.
+ Tener una idea precisa de lo que se está haciendo y que el desglose mantenga una relación lógica entre un
nivel de desagregación y su antecedente.
+ Asegurar la consistencia en todos los proyectos de establecimiento de normas técnicas de competencia en
información, dando la posibilidad de compararlas y de transferirlas en un sistema de amplia cobertura.
c) Causa - consecuencia.
En el análisis funcional se emplea como base la relación causa-consecuencia. En la desagregación de las
funciones resulta útil identificar lo que debe hacerse para alcanzar el resultado que se espera lograr en la
función que se está desagregando. Los desgloses derivados de una determinada función deben ser
suficientes y necesarios para el logro de la función que les dio origen; los desgloses son partes constitutivas
de la función de origen. El análisis funcional concluye cuando se identifican las funciones que corresponden a
los elementos de competencia, es decir, los que puede realizar una persona.

4.- COMPONENTES NORMATIVOS
La demostración de la competencia para el desempeño de una actividad de información, en este
caso referida a la denominada como elemento de competencia, tiene que considerar cuatro
componentes normativos:
A) Criterios de desempeño
Determinan que el desempeño de una persona sea considerado como competente, expresan lo
que se espera del ejercicio de un elemento de competencia y el cómo se espera que sea el
resultado o el desempeño. Los criterios de desempeño se expresen con una frase breve
integrada por: (el) objeto + (el) verbo + (la) condición.
B) Campo de aplicación
Establece las diferentes circunstancias en las que una persona se desenvuelve en el ámbito
académico o en la práctica profesional donde se pondrá a prueba su dominio de la competencia.
Deben definirse con cuidado los campos de aplicación de los elementos de competencia con el
fin de que sean los necesarios y los suficientes para evaluar la competencia.

C) Evidencias por desempeño
La demostración de que se es competente para la realización de la actividad de información,
referida, en este caso, por el “título del elemento” de competencia requiere necesariamente de
evidencias inobjetables. El Comité de Normalización define el tipo de evidencias necesarias
para la demostración de la competencia y la cantidad de evidencias que se requiere. Las
evidencias por desempeño pueden ser directas o por producto. Las primeras tienen que ver con
la técnica utilizada en el desempeño de una actividad de información, requieren de la
observación y el análisis del desempeño de la persona evaluada. Las evidencias por producto
se refieren a los resultados o los productos identificables y tangibles que pueden emplearse
como referentes para demostrar que la actividad de información fue realizada.

D) Evidencias de conocimiento
Se deben consignar con precisión los requerimientos de conocimiento y de comprensión que
debe satisfacer la persona que se evalúa para demostrar que tiene las bases necesarias para un
desempeño eficiente que se ha considerado como parte del elemento de competencia. Tal es el
caso de las teorías, los principios y las habilidades cognitivas que permiten a una persona tener
un punto de partida para un desempeño eficaz; el conocimiento se expresa en el “saber cómo”
ejecutar una actividad de información. Dado que el conocimiento no se da en forma aislada, sino
integrada al desempeño mismo, en algunos casos, el logro de un propósito puede ser suficiente
para identificar que se tiene. La evidencia de conocimiento es complementaria a la evidencia por
desempeño y en ningún caso la sustituye.
La norma debe propiciar que la persona adquiera conciencia de sus saberes, lo que comprende
el “saber hacer”, el “saber ser” y el “saber” que le permita poner en práctica su potencial para
transferir y aprender a lo largo de su vida.

RESULTADOS EN LA EVALUACIÓN CRITERIAL
EVALUACIÓN CRITERIAL
Las medidas referidas al criterio serán aquellas que se utilizan para evaluar el status absoluto
individual con respecto a algún criterio de rendimiento. Por el hecho de comparar la ejecución
individual con algún criterio en lugar de con lo realizado por otros sujetos es por lo que se
denominan medidas referidas al criterio.

EVALUACIÓN CRITERIAL
1.- ESPECIFICACIÓN DEL DOMINIO
Es sin duda el tema central sobre el que gira la construcción de un TRC. Será la calidad de la
definición del dominio lo que va a posibilitar la referencia de las puntuaciones individuales a
criterios internos de calidad.
Por "dominio" se entiende el conjunto de todos aquellos elementos (objetivos, acciones, tareas,
ítems) que representan el propósito de la instrucción. Desde el punto de vista métrico, el
dominio constituye el "universo de medida", el cual incluye todas las unidades que lo definen.
Un dominio está bien definido si sus unidades (objetivos e ítems) están bien especificadas y
adecuadamente estructuradas, lo que puede conseguirse bien a partir de la opinión de jueces,
bien por análisis empíricos.
Serán tres los niveles posibles de definición del dominio: taxonómico, por objetivos y por ítems.
Sólo se alcanza en este último nivel el rigor preciso para fundamentar adecuadamente la
evaluación.

2.- ANÁLISIS DE ELEMENTOS
En el análisis de elementos que se realiza en una concepción criterial de la
evaluación, lo que más va a interesarnos es conseguir la representatividad del elemento
respecto al universo de medida, entendida en el aspecto educativo como congruencia entre el
ítem y el objetivo, y ello en detrimento de la preocupación prioritaria y exclusiva por los
parámetros de los ítem en el ámbito normativo (dificultad y discriminación). Estas dos
preocupaciones -congruencia y eficacia en la medida- se integrarán aquí de forma mucho más
armónica, respondiendo a lo que ha venido denominándose revisiones lógica y empírica,
integradas en un mismo proceso de análisis de ítems en el ámbito de la ERC.

3.- DETERMINACIÓN DE ESTÁNDARES O PUNTOS DE CORTE
Debe establecerse con claridad si un procedimiento se encamina a la determinación del punto
de corte en la escala de puntuaciones verdaderas (establecimiento de estándares) o bien si está
destinado a la determinación de un punto de corte en la escala de puntuaciones observadas
(establecimiento de un punto de corte).
Los métodos destinados a la determinación de una puntuación de corte, a partir de un estándar
previamente fijado, se ocupan de trasladar dicho valor a la escala observada, teniendo en
cuenta las diferencias que se dan en la medición y, generalmente, optimizando las
consecuencias resultantes de la decisión.
Se establecen tres grandes grupos en los métodos para el establecimiento de puntos de corte:
a) Métodos convencionales o psicométricos, donde se trata de lograr la mayor
correlación entre la clasificación del rendimiento de los estudiantes respecto a un
punto de superación con un criterio interno o externo
b )Métodos probalísticos, donde se parte de la teoría de la medida representacional
de un universo de tal manera que el fijar el valor de un punto de corte en el
continuo determine la toma de decisión subsiguiente
c) Métodos basados en la experimentación pre/post instrucción, donde se determina un punto de
corte que espera a los sujetos con nivel de rendimiento alto de los de nivel bajo (exactamente
sujetos pre y post instrucción).

4.- FIABILIDAD
En la fiabilidad en las pruebas de referencia criterial no sólo tendrá importancia la fiabilidad de
las mediciones sino también otras cuestiones como la consistencia de las interpretaciones que
se hagan a partir de dichas mediciones y de las decisiones que se derivan.
Tres grandes categorías de fiabilidad en el contexto de los TRC:
1) Fiabilidad de las decisiones de clasificación o consistencia en la toma de decisión de
clasificación como aptos/no aptos. La estrategia general consistirá en aplicar un mismo test
(formas paralelas) a un mismo grupo de sujetos, sucesivamente, y comprobar en qué medida
existe acuerdo entre las clasificaciones derivadas de ambas aplicaciones. Si existe consistencia
en la clasificación de cada individuo a través de las aplicaciones se estima que la prueba es
fiable.
2) Fiabilidad de las puntuaciones del test referidas al criterio o consistencia de las desviaciones,
cuadráticas o lineales, de las puntuaciones individuales desde la puntuación del punto de corte.
3) Fiabilidad de las estimaciones de la puntuación en el dominio o consistencia de las
puntuaciones individuales a través de test paralelos. Destacamos el índice de Brennan como el
más adecuado para medir la fiabilidad así entendida, concebido dentro de la teoría de la
generalizabilidad y cuya característica más relevante es que es independiente del punto de corte
y por ello su utilidad estará orientada a aquellas pruebas que no pretenden tomar decisiones.

5.- VALIDEZ
La validez se refiere a las puntuaciones. Se asumen la validez de contenido y de constructo.
En relación con la validez de contenido, se proponen dos nuevas modalidades denominadas
"validez curricular" y "validez instruccional". La curricular hace referencia a la adecuación y
representatividad de los diferentes tópicos en el mismo continuo: ítem-objetivos-currículum. La
validez instruccional se refiere al grado de ajuste entre los objetivos medidos en un test y los
objetivos desarrollados en el aula. Ambas pueden considerarse sinónimas de la validez de
contenido, a la que, cara a la representatividad de los ítems en relación con el dominio, se le va
a exigir una definición clara de dicho dominio y la especificación clara del plan de muestreo
usado en la selección de elementos.

El proceso seguido para el establecimiento de la validez de constructo es similar al
procedimiento aplicado para valorar las teorías científicas, cuyas etapas serían las siguientes:
1) Estudio lógico de la prueba para determinar los constructos que supuestamente están en la
base de la ejecución.
2) Analizar la relación entre variables observables, entre éstas y los constructos y entre éstos.
3) Derivar de las etapas anteriores consecuencias prácticas.
4. Perspectivas técnicas y viabilidad de su incorporación a la evaluación en el ámbito educativo.
La finalidad de aplicación de una prueba que, al menos, puede tener una doble intención:
a) Diferenciación de los sujetos.
b) Evaluación de los efectos de la enseñanza, donde debe prevalecer el criterio didáctico.
En el modelo se incluyen cinco dimensiones a considerar respecto a la aplicación de pruebas:
A) Utilización de pruebas
B) Procedimientos para seleccionar y generar ítems
C) Proceso de revisión del ítem
D) Estudio de la precisión o fiabilidad
E) Aproximación a la validación

Por último se hace referencia, esquemáticamente, a las cautelas que consideramos han de tenerse
en cuenta a la hora de planificar la actividad evaluativa:
a) Determinación previa de la finalidad de la prueba que se aplica.
b) Determinación de las características psicométricas de los ítems que conforman la prueba, con el fin
de disponer de "información añadida" a la hora de interpretar los resultados.
c) Elaboración de las tablas de especificaciones, lo que requiere a mi entender el estudio previo de las
características psicométricas de los ítems indicando en el punto anterior.
d) Valoración didáctica del proceso de medición, resultado de la aplicación de la prueba, lo que estará
posibilitando el planteamiento de nuevas hipótesis de trabajo y en consecuencia la mejora del propio
modelo didáctico seguido en el diseño del currículo, siempre con carácter de provisionalidad.
e) Integración de los conclusiones a las que hayamos podido llegar por esta
vía con la procedentes de otros esquemas de actuación no necesariamente cuantitativos,
a fin de aproximarnos a la consecución última de todo proceso de evaluación:
su integración plena en el desarrollo del currículo, lo que la convierte inexcusablemente e formativa,
en generadora de cambios educativos deseables y, en definitiva,
en instrumento de mejora permanente del desarrollo del currículo, vía perfeccionamiento
del propio modelo didáctico que los sustenta ...
f) Someter a procesos de discusión crítica la procedencia de realizar evaluación criterial. Cuando esté
claramente establecida su conveniencia desde el punto de vista didáctico, comenzar a realizar
estudios sobre las características de estas pruebas en los términos aquí sugeridos.

RESULTADOS EN LA EVALUACIÓN PARTICIPATIVA
PROCESOS DE EVALUACIÓN PARTICIPATIVA
La evaluación es un proceso (no es un momento puntual más o menos relevante y
trascendente) que se fundamenta en el conocimiento de la práctica a través de la
sistematización de información y el debate entre actores diversos de esa práctica; y estando
ahí desde el principio. Así, en el proceso de evaluación pueden intervenir una pluralidad y
extensión de actores tan amplia como la pluralidad de los actores que se encuentran en la
práctica misma. Incluso más amplia si se invita a participar en la evaluación a agentes
“externos” a la práctica.
Puede trabajarse y debe trabajarse con enfoques metodológicos complejos y complementarios
(multiestratégicos) que pongan en relación metodologías de evaluación cuantitativa, cualitativa
y participativa.

EVALUACIÓN PARTICIPATIVA
Previamente a cualquier evaluación se deben identificar una serie de elementos que van a
condicionar la óptica desde la cual se lleva a cabo la evaluación. Así, antes de
empezar una evaluación deberíamos identificar, como mínimo, las siguientes
características del proceso/experiencia:
ELEMENTOS PREVIOS
1.- EL CONTEXTO
El contexto social, económico y político en el cual se desarrolla una experiencia participativa
resulta de gran relevancia para comprender y analizar muchos de los resultados de su
evaluación.
En función del contexto los objetivos de un proceso pueden ser muy distintos y los criterios de
evaluación también.

2.-EL ÁMBITO TEMÁTICO
Hay experiencias participativas sectoriales y otras globales o integrales.
En función del tema que se aborde y, sobretodo, en función del carácter más o menos integral
de éste, los criterios de evaluación también serán distintos.
El ámbito temático sobre el cuál se participa condiciona muchos elementos de la evaluación.
Así, por ejemplo, en procesos temáticos muy específicos puede que no tenga sentido evaluar la
diversidad de los participantes porque los potenciales participantes son, por la misma naturaleza
del proceso, un colectivo homogéneo.
3.-EL ÁMBITO TERRITORIAL
Hay procesos que se desarrollan en ámbitos municipales y otros en ámbitos más locales como
pueden ser los distritos o los barrios. Este elemento también condicionará la evaluación del
proceso, pues los potenciales participantes variarán.
En el caso de los procesos más globales se deberá tener en cuenta, por ejemplo, la diversidad
territorial de los participantes, cosa que no tiene sentido en procesos más locales.

4.- LOS OBJETIVOS
Toda evaluación deberá tener muy en cuenta los objetivos del proceso evaluado, pues en
muchos casos no tendrá sentido evaluar un proceso con criterios que se refieren a objetivos que
el mismo proceso no se plantea.
Si bien existen algunos criterios mínimos que deberían ser evaluados en cualquier proceso, hay
muchos otros que sólo tiene sentido evaluar si forman parte de los objetivos del proceso.
De hecho, para una evaluación ideal el mismo proyecto debería fijar a priori cuáles serán los
objetivos que serán evaluados para, a posteriori, poder evaluar si se cumplen o no.
5.-LOS COLECTIVOS PARTICIPANTES
No todos los procesos se dirigen a los mismos participantes. Hay procesos que se
dirigen sólo a asociaciones, otros que se dirigen a la ciudadanía no organizada, algunos
se dirigen a colectivos específicos de la población (como mujeres, niños y niñas,
población indígena, etc.), algunos que incorporan técnicos y políticos, otros que no,
etc.
En función de cuáles sean los participantes a los que se destina el proceso, los criterios de
evaluación serán unos u otros.

6.-TIPO DE EVALUACIÓN
Existen distintos tipos de evaluación de procesos participativos y distintas metodologías para
llevarlas a cabo. Este documento pretende ofrecer algunas de ellas.
Antes de empezar la evaluación de un proceso participativo es importante decidir qué tipo de
evaluación se desea hacer. En este sentido es importante distinguir entre las evaluaciones
internas y externas y decidir en qué grado los participantes del proceso serán también partícipes
de la evaluación del mismo.
Orientar la evaluación hacia metodologías más cualitativas y participativas puede ser una buena
forma de superar muchas de las limitaciones con las que nos hemos ido encontrando siempre
que hemos intentado evaluar desde metodologías estrictamente cuantitativas. Así, dificultades
como la falta de datos, la falta de recuentos o la poca fiabilidad de alguna información, puede
ser superada a través de estas otras metodologías que nos pueden permitir evaluar la
participación ciudadana desde otras ópticas. Al mismo tiempo, no debemos olvidar que la
evaluación participativa cuenta
con el importantísimo valor añadido de implicar a los y las participantes de un proceso,
así como a representantes políticos y personal técnico, en la evaluación del mismo,
hecho que nos permite mejorar la participación a partir de la propia experiencia de los
participantes al mismo tiempo que se legitima tanto el proceso evaluado como la evaluación y
las mejoras incorporadas a partir de esa evaluación.

ELEMENTOS METODOLÓGICOS
1.- METODOLOGÍAS DE ANÁLISIS TÉCNICO
a) Registros
Para una buena evaluación de un proceso resulta fundamental registrar a los participantes e
identificar algunas de sus características sociales: sexo, edad, formación, nacionalidad...
Igualmente para los/las participantes organizados/as: entidad a la que representan, tipo de
asociación, etc.
Además, conviene también disponer de otros registros relativos a la población de referencia
sobre la cual se realiza el proceso: datos sociodemográficos del conjunto de la población de
referencia, registro de entidades, etc.
b) Análisis de proyecto y de proceso
Algunos criterios de calidad en los procesos participativos pueden evaluarse de forma técnica
por algún experto simplemente a través de un análisis del proyecto y del proceso.
En estos casos, la evaluación no requiere de mecanismos de reflexión colectiva, pues consiste
en la simple identificación de algunos elementos en el proyecto o en la implementación del
mismo.
El análisis de proyecto y de proceso consiste en una revisión del proyecto y de su
implementación a lo largo del proceso. Esta revisión analítica conviene que sea realizada por
algún/a experto/a en procesos participativos.

c) Entrevistas a informantes clave
En todo proceso podemos identificar algunas personas clave que nos pueden facilitar mucha
información sobre la realidad sociopolítica del ámbito sometido a participación.
Una selección plural de entre 5 y 10 informantes clave puede proporcionar-nos, a través de
entrevistas en profundidad, mucha información sobre el proceso que nos puede ser de gran
utilidad para su evaluación.
Entre los/las informantes clave de un proceso habrá algunas personas que nos proporcionarán
más información que otras en relación a la evaluación del proceso. En este sentido, el/la
informante más relevante para la evaluación serán las personas responsables políticas y
técnicas del proceso.
d) El sociograma
El sociograma es una herramienta que tiene por objetivo identificar el mapa de actores
implicados y/o afectados en relación a la temática tratada, definiendo las relaciones e influencias
entre sí.
El sociograma no es más que una representación gráfica donde se proyectan un conjunto de
nodos, los actores (en el ámbito del Estado, el mercado y la sociedad civil) y las relaciones
existentes entre estos.
Se trata de una herramienta descriptiva que puede construirse de forma individual o de forma
grupal. Resulta interesante construirlo con actores clave que puedan darnos toda la información
sobre la realidad sociopolítica del ámbito sometido a participación.

2.- METODOLOGÍA DE AUTOEVALUACIÓN INTERNA
Los grupos de discusión internos
Para abordar determinados aspectos de la evaluación de un proceso participativo puede ser
interesante llevar a cabo una reflexión colectiva con aquellas personas más implicadas en la
gestión y la coordinación del proceso.
Estos espacios pueden crearse específicamente para la evaluación, al final del proceso o al final
de algunas fases del mismo, y deberían incorporar a los técnicos y políticos implicados en la
coordinación del proceso.
Si existen órganos específicos con funciones de coordinación o seguimiento del proceso en los
cuales, además de técnicos y políticos, también hay ciudadanos/as; puede ser útil aprovechar
estos espacios para la evaluación de carácter interno.

3.- METODOLOGÍA DE AUTOEVALUACIÓN PARTICIPADA
a) El cuestionario a los/las participantes
El cuestionario es una herramienta para obtener percepciones y valoraciones subjetivas de las
personas participantes en relación al proceso participativo.
Se trata de un instrumento a través del cual los y las participantes pueden hacer una evaluación
individual del proceso. Esto permite que cada participante se posicione de forma individual pero
impide que la evaluación sea fruto de una deliberación y una reflexión colectiva. Sin embargo,
también existe la posibilidad de pasar el cuestionario al finalizar una sesión grupal de evaluación
del proceso.
Aunque se trata de una herramienta fundamentalmente cuantitativa, el cuestionario permite la
posibilidad de introducir preguntas abiertas de carácter cualitativo.
El cuestionario nos permite obtener datos cuantitativos en relación a distintos elementos. En el
caso de las preguntas cerradas puede optarse por una batería de preguntas con escalas de
opinión (mucho/bastante/poco/nada o valoración de 0 a 10 puntos, etc.).
El cuestionario puede pasarse a las y los participantes al final del proceso o in situ al final de
todos o algunos de los distintos mecanismos de participación desarrollados en unos procesos.

b) Evaluación participada cualitativa
Desde un enfoque cualitativo de la evaluación, existen distintas metodologías participativas
pensadas para que los y las participantes del proceso hagan una evaluación de distintos
aspectos del mismo.
La evaluación cualitativa permite desarrollar un proceso de reflexión colectiva entre las personas
participantes en torno al proceso participativo y esto aporta un gran valor añadido a la
evaluación.
Además, desde la evaluación cualitativa aparecen elementos de mayor detalle, elementos más
específicos del proceso en concreto, surgen argumentos y explicaciones de por qué algunas
cosas han funcionado bien y otras no, etc. El método cualitativo permite una mejor incorporación
en la evaluación de aquellos elementos más subjetivos y de aquellos que son difícilmente
mesurables. Muchos de estos elementos se pierden en una evaluación cuantitativa y sólo
pueden recogerse a través de métodos cualitativos.
La evaluación participada cualitativa puede llevarse a cabo a través de talleres o jornadas
específicas para la evaluación o bien in situ al finalizar determinados mecanismos grupales de
participación. También pueden generarse grupos de discusión específicos o aprovechar algunos
de los órganos del proceso, si los hay, para realizar sesiones de evaluación.

¿QUÉ TIPO DE INTERPRETACIÓN DE RESULTADOS SE LLEVA A CABO EN LA PRUEBA PISA? Y
¿POR QUÉ?
PISA nos informa de los resultados que obtienen los sistemas educativos al adecuar los
aprendizajes a las necesidades del mundo globalizado y mejorar la calidad educativa.
También nos facilita el análisis comparativo de los datos que nos permitirán obtener
conclusiones y tomar decisiones para mejorar nuestro sistema educativo.
La interpretación de resultados que se lleva a cabo en prueba PISA es por normas y por
criterios.

Cada evaluación ha supuesto un aprendizaje que ha permitido enriquecer y mejorar el diseño y
elaboración no solo de los instrumentos que buscan evaluar el rendimiento estudiantil y estudiar
los factores asociados a este, sino también de metodologías más complejas y exactas. Entre
estas se puede citar el tránsito que ha supuesto pasar de pruebas cuya interpretación de
resultados está referido a la norma (que permiten solamente ordenar y comparar a un estudiante
con su grupo de pares) a pruebas cuya interpretación de resultados está referida a criterios (que
además de ordenar y comparar grupos de estudiantes, permiten estimar cuántos alcanzan el
criterio o estándar establecido, y sobre todo permiten describir qué es lo que los estudiantes
saben y son capaces de hacer).
También podemos destacar el uso de métodos como el Bookmark sobre puntos de corte, para
establecer los límites entre los niveles de desempeño. Igualmente se ha introducido el uso de
los Modelos Jerárquicos Lineales (HLM6), que permiten analizar la relación entre la medida en
una prueba de logro (criterio) y un conjunto de variables asociadas al rendimiento académico
(predictores).

La ventaja de este tipo de modelos es que consideran la estructura jerárquica de los datos, pues
hay variables que corresponden al nivel de escuela (p. ej.: el clima escolar) y otras que
pertenecen al nivel individual (p. ej.: la autoeficacia del estudiante), lo que permite tener una
estimación más precisa de los errores estándar del coeficiente que asocia cada predictor con el
criterio.
Además, se están utilizando modelos de análisis factorial para obtener evidencias de validez
referidas a la estructura de los constructos evaluados. Y, finalmente, podemos mencionar el uso
de métodos de remuestreo (p. ej.: el Jacknife) para estimar el porcentaje de los errores estándar
de los estudiantes en cada nivel de desempeño.

PISA: Midiendo el éxito escolar en el mundo
http://ruc.udc.es/bitstream/2183/8531/1/CC-02art5ocr.pdf
http://bid.ub.edu/11angul2.htm
http://www.redcimas.org/wordpress/wp-
content/uploads/2012/08/m_OIDPespa%C3%B1ol_GUIA.pdf
http://www.santillana.com.pe/novedades/fasciculo.pdf
BIBLIOGRAFÍA

EVALUACIÓN, ANÁLISIS E INTERPRETACIÓN DE RESULTADOS Y PRUEBA PISA

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Destacado

Destacado (20)

Similar a EVALUACIÓN, ANÁLISIS E INTERPRETACIÓN DE RESULTADOS Y PRUEBA PISA

Similar a EVALUACIÓN, ANÁLISIS E INTERPRETACIÓN DE RESULTADOS Y PRUEBA PISA (20)

Último

Último (20)

EVALUACIÓN, ANÁLISIS E INTERPRETACIÓN DE RESULTADOS Y PRUEBA PISA