1. Taller de estandarización escritos CELU 118
Evaluación de la producción escrita
CELU
Alejandra Elichabe
Gabriela Lapalma
Miranda Trincheri
Silvia Prati
2. 1) Fundamentar el modo de evaluación
2) Conocer los instrumentos:
a) bandas holísticas,
b) respuesta esperada
c) muestras
3) Desarrollar una “respuesta esperada”.
4) Evaluar tres textos de candidatos de por lo menos dos
actividades.
En qué va a consistir este taller
3. 1) Fundamentar el modo de evaluación
Un examen de desempeño
"un examen de desempeño es el que por
el input presentado,
las actividades propuestas y
la respuesta esperada,
intenta reproducir el uso de la lengua en el mundo
real.“
McNamara (2000)
4. Recordar, sin embargo, que un examen directo es
relativamente auténtico
Consideremos la necesaria generalizabilidad del desempeño
observado. Es por eso que usamos los mismos criterios, que estarán en
“la vida real”.
Es decir que: las acciones solicitadas en el examen deben recoger
características relevantes y suficientes de la situación de lengua a la
que el candidato se verá enfrentado en un futuro.
Fulcher (2003)
= las actividades no son idénticas a las de la vida real sino
que tienen características “generabilizables” en la vida real.
5. Uso de criterios para la evaluación
Criterio: “definición (o descripción) del desempeño que los evaluadores
buscan cuando tienen que decidir qué constituye un desempeño
exitoso.”
(Penny Mckay, 2006)
“Los criterios operacionalizan el constructo”
(Bachman y Palmer 1966)
= los criterios que se eligen para evaluar son coherentes con
el constructo del examen aplicado.
6. Un constructo es la definición de una habilidad o atributo que servirá de base para el
diseño de un examen o de una actividad de examen así como para interpretar los
resultados obtenidos (Llosa, 2006). (= qué es “saber una lengua”, según el CELU)
El constructo CELU se basa en la visión social del uso de la lengua (Bajtín, 1982). El
hablante CELU muestra en el examen que es un sujeto activo de la lengua, al poder responder a
situaciones de uso concreto del español.
El criterio guía del CELU, coherente con su constructo, es la adecuación al género discursivo,
que organiza la experiencia de un sujeto en una lengua (Cassany, 2005) y permite
interacciones o diálogos propios de la lengua en la sociedad (Bajtín, 1982)
¿Qué es el constructo?
7. Se elaboran actividades que eliciten textos en los que se
puedan reconocer los criterios que responden a la noción de
“saber una lengua” para el CELU.
Veamos las consignas del examen 218
¿Cómo operacionalizar el constructo
en lo que respecta a las actividades
de examen?
8. Actividades 1 y 2
Actividad 1:
Usted escuchará una entrevista radial al dueño de la Rotisería “Doña Ana” en la provincia de
Misiones, norte de Argentina.
Usted, como periodista, escriba una noticia que será publicada en el periódico de su ciudad para
informar sobre la iniciativa “Heladera* social”. Tome la información del audio.
*Heladera: frigorífico/ nevera
Fuente: https://www.youtube.com/watch?v=h5TzDBYFrfE
Actividad 2:
Usted es empleado del supermercado donde trabajaba el autómata Fabio.
Escriba un discurso para ser pronunciado frente a sus compañeros en el acto
de despedida del robot.
LA NACION | SOCIEDAD
23 de enero de 2018
Despidieron a un robot por "trabajo ineficaz" en un supermercado
en Escocia
9. Actividades 3 y 4
Actividad 3:
Usted es veterinario, y administra un blog sobre mascotas y su cuidado. Escriba una columna para
comentar lo ocurrido con Pecesín y dar su opinión sobre el caso.
Pecesín, el pez que cuidan varios vecinos mientras su propietario se va de vacaciones
Como una historia sacada de un cuento para entretener a los niños, despierta la curiosidad de
muchos por internet, pero la historia del pez Pecesín es real.
Actividad 4:
Imagine que usted es Matilde. Escríbale un email a una amiga íntima de la infancia que vive en otro
país para contarle sobre su vida, y su relación con su marido e hijos.
Nerudiana
(por Osvaldo Van Bredam)
10. Consigna CELU
Se propone: una acción
un propósito
un interlocutor
Debe permitir:
transformación, reescritura, reelaboración.
(cambio de destinatario, género, registro, selección de
información)
Con (algún tipo de) interlocución
Para adecuarse al género reconocido en la
comunidad de habla
11. = ¿Cómo se realiza la evaluación de escritos en coherencia con el constructo
de examen?
1- Se utilizan Bandas holísticas que describen la calidad de cada texto
de manera escalonada.
2- Las Bandas se relacionan con una Respuesta Esperada –para cada
consigna dada en el examen-, que se redacta en el equipo de evaluadores, por
consenso.
3- Se eligen muestras modelo de entre los textos de los candidatos
que confirman la interpretación estandarizada de los evaluadores para cada
nivel.
¿Cómo operacionalizar el constructo
para la actividad de evaluación de
escritos?
12. Describen de manera escalonada o graduada la calidad de los textos.
-Cada banda corresponde a un único nivel: Avanzado / Intermedio Alto / Intermedio /
Básico. O descarta el texto: “No alcanza”.
Se construyen mediante los criterios de evaluación elegidos.
-Dan una descripción general de la habilidad de escritura, que debe relacionarse al
texto mediante el uso de la “respuesta esperada” en cada actividad.
Se utilizan de manera holística.
- No confundir con “impresionista” o “general”. Es una mirada total de la tarea, a
partir de una banda de descriptores necesarios para la evaluación.
2) Conocer los instrumentos
1- Bandas holísticas
13. Los niveles base del CELU
avanzado intermedio
alto
intermedio básico no alcanza
cumple con el
género y el
propósito
solicitados
cumple de
manera simple
con el género
y el propósito
solicitados
cumple
parcialmente
con el género
y el propósito
solicitados
no cumple
con el
género ni
con el
propósito
solicitados
no cumple
con el género
ni propósito
ni el
contenido
14. Un texto escrito debe cumplir para el CELU con los siguientes
criterios generales:
•Adecuación Contextual (Priorizada)
•Adecuación Discursiva
•Adecuación Gramatical
•Adecuación Léxica
A continuación: las bandas únicas elaboradas en 2016
Los criterios del CELU escrito:
15. Avanzado Intermedio alto Intermedio Básico No alcanza
Cumple con el propósito de
la consigna.
Construye la relación de
interlocución de forma
adecuada. Se posiciona
claramente en función del
género, produciendo un
texto propio de carácter
autoral.
Recupera la información
del texto de entrada, la
reelabora y la organiza en
función del género
solicitado.
Texto coherente y
cohesivo.
Léxico y estructuras
adecuadas y variadas.
Puede haber
inadecuaciones
ocasionales que no afectan
la fluidez de lectura.
Cumple con el propósito de
la consigna.
Construye la relación de
interlocución de forma
adecuada, aunque su
posicionamiento como
enunciador es poco
sustancial o presenta ciertas
inadecuaciones localizadas
que no atentan contra la
construcción del género.
Recupera la información del
texto de entrada, la reelabora
y la organiza en función del
género solicitado, aunque
presente alguna imprecisión.
Texto coherente y cohesivo.
Léxico y estructuras
adecuadas y precisas
aunque con algunos errores
que no afectan la fluidez de
lectura.
Cumple parcialmente con el
propósito de la consigna, y
presenta fragmentos que no
responden a los parámetros
del género solicitado.
Construye la figura del
enunciador y la figura del
destinatario con
inadecuaciones recurrentes.
Recupera el sentido global
del texto de entrada pero no
logra precisión al reelaborar
la información.
Texto con algunos errores
de cohesión que afectan en
parte la fluidez de lectura.
Léxico y estructuras
suficientes para cumplir con
el propósito textual aunque
presentan varias
inadecuaciones que pueden
interferir en la comprensión
de alguna parte del texto.
No cumple con el
género y/o no cumple
con el propósito.
No configura una
relación de
interlocución o ésta es
diferente a la solicitada.
Recontextualiza de
manera inadecuada o
equivocada las
informaciones del texto
de entrada.
O es un texto poco
coherente o poco
cohesivo.
Los recursos
lingüísticos que utiliza
son muy limitados.
La producción es
muy breve o
insuficiente para
ser evaluada.
Frases o palabras
desvinculadas
Texto incoherente.
Texto completo en
otra lengua
distinta del
español.
Página en blanco.
16. Para lograr una estandarización en la evaluación, el equipo de evaluadores debe
consensuar lo que espera que respondan los candidatos y su ajuste a las bandas.
La respuesta esperada tiene directa relación con la consigna propuesta. Ver diapositivas 8
y 9, consignas y su análisis.
Cuando el equipo redacta la RE, tiene que considerar:
GÉNERO
PROPÓSITO
TIPO DE INTERLOCUCIÓN
SECUENCIA DOMINANTE
CONTENIDO INFORMATIVO
A continuación, algunas definiciones para reflexionar la RE:
2. La Respuesta Esperada
17. En el Módulo 1 de este taller se dan, en un adjunto, ejemplos
de respuestas esperadas. Cada RE tiene 4 partes:
1- la consigna y el input textual
2- la respuesta esperada propiamente dicha
(destacando destinatario, propósito y género)
3- el contenido informativo esperado
4- las observaciones que se integrarán a la discusión del
equipo.
Ejemplos de RE
18. Noción de género discursivo, según la describe
Cassany
La diversidad de discursos se organiza y clasifica a partir
de la noción de género. “Un género discursivo aglutina
los múltiples conocimientos lingüísticos y
socioculturales que debe poseer un lector-escritor para
poder comunicarse eficazmente en una determinada
comunidad idiomática y cultural: es el grupo de textos
que comparten unos mismos parámetros contextuales
(propósito comunicativo, rol y estatus del emisor y del
receptor, tipo de interacción, ámbito social, etc.) y
recursos lingüísticos (secuencias discursivas, formas e
cortesía, estilo, fraseología y terminología, diseño, etc.)
reconocidos socialmente por los propios usuarios.”
(Cassany, 2005, pág. 25)
19. Géneros según fueron solicitados en la consigna
(no es una lista exhaustiva)
artículo
artículo de opinión
artículo periodístico
carta
carta abierta
carta de disculpas
carta de lectores
carta de reclamo
carta de disculpas
carta formal
carta informal
comentario
comentario para foro
correo electrónico (no es género)
correo electrónico de reclamo
discurso
folleto
guía turística
informe
informe para ser leído en público
instructivo
manual de instrucciones
noticia
página de diario de viaje
página de diario personal
respuesta a carta de lectores
texto de presentación
texto para invitar a unirse
volante
20. Ejemplos: Input y textos solicitados en las consignas CELU de
escritura (todo el constructo se basa sobre la adecuación al género)
género input
(general)
tipo texto género
solicitado
tipo texto
solicitado
declaración
con denuncia
explicativo
argumentativo
carta formal narrativo /
descriptivo
crónica o
noticia
narrativo /
informativo
carta informal apelativo y
comentativo
cuento narrativo noticia informativo /
narrativo
carta de
lectores
explicativo /
argumentativo
carta de
lectores
argumentativo
21. Ejemplos en las consignas
acción interlocutor propósito
Escribir una noticia Lectores del diario Informar
Escribir un
discurso de
despedida
Colegas / otros
trabajadores /
empleado
despedido
Explicar y expresar
punto de vista
Escribir una
entrada de blog
Lectores del blog Opinar
Escribir un email Amiga de la
infancia
Narrar experiencia
22. Propósitos en las consignas
(no es una lista exhaustiva)
argumentar
contar
convencer
dar el punto de vista
dar instrucciones
dar instrucciones
dar su opinión
denunciar
describir
explicar
expresar punto de vista
expresar la opinión y justificarla
informar sobre
informar (y convencer, y explicar, y expresar punto de vista, etc.)
narrar
narrar experiencia
poner en duda
presentar un libro
solicitar información
(Se han tomado con combinaciones entre sí, por ejemplo: “informar y expresar su opinión”)
23. Criterios descripción breve Recordar
Adecuación
contextual
género y registro
contenido informativo
destinatario
propósito
Adecuación
Relación del discurso con los parámetros del
contexto
Un escrito adecuado
cumple el propósito
respeta las convenciones sociales y discursivas
usa la modalidad estándar o la variedad
apropiada
usa el registro apropiado
Adecuación
discursiva
Coherencia
Selección y organización de la información
Cohesión
Interrelación semántico-gramatical entre oraciones y
el texto
Un escrito coherente
incluye todas las informaciones necesarias para
su comprensión
permite recuperar los implícitos
identifica las partes y elementos del texto
utiliza secuencias discursivas de manera
apropiada
organiza los datos en párrafos
Un escrito cohesivo
usa variados procedimientos gramaticales
para enlazar oraciones y organizar
secuencias
contiene pronombres y conectores
utiliza los signos de puntuación de un modo
claro
Adecuación
lingüística:
morfología,
sintaxis, léxico
análisis cualitativo y no cuantitativo de las
muestras
adecuación de las estructuras al tipo textual
(complejidad, por ejemplo)
“naturalidad” de las expresiones (como criterio
de “uso”)
observación de lo “positivo” del texto
Categoría más abierta que evalúa la expresividad
y el estilo
Un escrito variado
usa léxico diverso y preciso sin repeticiones
tiene sintaxis compleja y variada
utiliza recursos estilísticos: frases, figuras, etc.
sugiere que el aprendiz autor del texto ha
asumido riesgos
24. Actividad 1/118
Actividad 1:
Usted escuchará una entrevista radial al dueño de la Rotisería “Doña Ana” en la provincia
de Misiones, norte de Argentina.
Usted, como periodista, escriba una noticia que será publicada en el periódico de su
ciudad para informar sobre la iniciativa “Heladera* social”. Tome la información del audio.
*Heladera: frigorífico/ nevera
Fuente: https://www.youtube.com/watch?v=h5TzDBYFrfE
Analizarla según la descripción de la consigna CELU(diap 8)
¿Tiene una acción, un propósito y un interlocutor?
¿Permite la transformación, la reescritura, la reelaboración?
¿Presenta algún tipo de interlocución?
¿Se adecua a un género reconocido en la comunidad de habla?
Cómo preparar la RE para una
de las cuatro consignas del 118
26. Apuntes sobre respuesta esperada
Probarla, consultarla, discutirla en equipo.
A veces los estudiantes responden de manera no anticipada por nosotros.
(porque leen mal la rúbrica, no entienden la consigna, o caen víctimas de
alguna ambigüedad que se nos escapó para la tarea. “Usted habla con amigo
sobre sus problemas en la universidad...” (¿sus?)
Debilidades para cumplir con lo pedido:
- las consignas son demasiado amplias, no dan una orientación clara o una
estructura retórica.
- A veces , también, la contextualización muy detallada puede limitarlos
demasiado.
- En ocasiones la tarea se resuelve en pocas líneas y no nos da ocasión de
evaluar una capacidad de desempeño en la lengua.
- O el estudiante no entiende y supone que debe extenderse demasiado y su
texto resulta desorganizado.
- O no están claros los tiempos, las distancias, la interlocución...
Es fundamental tener en cuenta / revisar en el texto de input cuánto y qué
material necesitan procesar (entender, transformar) para escribir el texto
solicitado.
27. En este taller, después de leer este ppt.,
ud. deberá:
1- Escribir la RE de la actividad 1 del examen 118 como un
documento para evaluar.
(Atención: no escribir el texto del candidato, sino los
apuntes del evaluador)
2- Evaluar dos actividades del 118.
Retomamos un
resumen del Taller
Notas del editor
una acción escribir una carta
b) un propósito: por ejemplo, relatar un viaje
c) un interlocutor: por ejemplo, a un amigo
En la evaluación de la actividad del alumno, se considerarán aspectos contextuales, discursivos, gramaticales y léxicos. Por lo que la consigna debe posibilitar una producción que haga visibles todos esos aspectos.
Por otro lado, como se le presenta un texto al alumno, también debe considerarse que la comprensión lectora haya sido la correcta, a fin de poder engarzarla con el escrito. ¿Pero cómo hacerlo? Es una actividad integrada. Porque se trata de un examen de desempeño.