Diseño y formación de evaluadores de una pruebade eficacia comunicativa oral  en lengua española para  trabajadores inmigr...
PECOLE      Dirección General de Inmigración de la CMGrupo de investigación LAELE de la Universidad Nebrija               ...
PECOLEPrueba de eficacia comunicativa oral en lengua españolaTrabajadores inmigrantes en la Comunidad de MadridMarco común...
ANTECEDENTES DE LA PECOLEPrograma de formación y certificación lingüística de  español para inmigrantes (Diploma LETRA)   ...
www.diplomaletra.com
FUNDAMENTOS DE LA PECOLEEstudios sobre la evaluación de la competencia oral  en LE (Bachmann, 1990; Alderson, Clapman y Wa...
FASES DEL PROYECTO1. Estado de la cuestión y análisis de   necesidades2. Diseño de la prueba PECOLE y elaboración   del do...
FASES DEL PROYECTO1. Estado de la cuestión y análisis de   necesidades    a)Inserción social    b)Resolución de necesidade...
FASES DEL PROYECTO1. Estado de la cuestión y análisis de   necesidades2. Diseño de la prueba PECOLE y elaboración   del do...
DEFINICIÓN DE “EFICACIA          COMUNICATIVA ORAL”   Según el MCER   La lengua como herramienta de comunicación   Impo...
DEFINICIÓN DE “EFICACIA          COMUNICATIVA ORAL” INICIALMarco Común Europeo de Referencia para las Lenguas.Enseñanza, a...
ESPECIFICACIONES DE LA PECOLEDefinición del constructoEquivalencia en la medición  Orientación a la lengua  Orientación a ...
ESPECIFICACIONES DE LA PECOLEa. Descripción de la tarea de interacción oralb. Capacidades evaluadasc. Duración estimadad. ...
ESPECIFICACIONES DE LA PECOLE1) La tarea de interacción oralParticipar en una CONVERSACIÓN con el examinador para   hablar...
ESPECIFICACIONES DE LA PECOLE2) Capacidades evaluadasEl examinando PUEDE:Participar en una conversación de forma muy senci...
El examinando PUEDE:Utilizar fórmulas de cortesía sencillas y cotidianas para establecer un     contacto social básico aco...
ESPECIFICACIONES DE LA PECOLE3) Duración estimada                 5-7 minutos
ESPECIFICACIONES DE LA PECOLE4) Formato de la prueba   Entrevista uno a uno entre el evaluador y el candidato   VENTAJAS  ...
ESPECIFICACIONES DE LA PECOLE5) Criterios de evaluación   Grado de comunicación   Relación con el interlocutor   Control l...
ESPECIFICACIONES DE LA PECOLE6) Escala de calificación: Apto / No apto   Manejable para los evaluadores   Reflejar todas l...
Respuesta satisfactoria: APTO• Grado de comunicación - El candidato cumple adecuadamente los objetivos comunicativos de   ...
FASES DEL PROYECTO1. Estado de la cuestión y análisis de   necesidades2. Diseño de la prueba PECOLE y elaboración   del do...
FORMACIÓN DE EVALUADORESPROBLEMAS DE LA EVALUACIÓN ORAL (Karavas y Delieza, 2009)El comportamiento del interlocutor puede ...
FORMACIÓN DE EVALUADORESRECOMENDACIONES          (Karavas y Delieza, 2009) – Formación específica y entrenamiento – Uso de...
FORMACIÓN DE EVALUADORESTaller: teórico y prácticoVisionado de exámenes reales:  Análisis del papel del evaluador       E...
FORMACIÓN DE EVALUADORES                 14 talleres          14.11.2011 – 23.02.2012              383 participantesAyunta...
FORMACIÓN DE EVALUADORES1. Totalmente en desacuerdo   5. Totalmente de acuerdo
FORMACIÓN DE EVALUADORES1. Totalmente en desacuerdo   5. Totalmente de acuerdo
CONCLUSIONESDefinición previa del objeto de medición: eficaciacomunicativa oral inicialResponsabilidades del evaluador: in...
BIBLIOGRAFÍA de referencia•   Alderson J. C., Clapham C., Wall D. 1998. Exámenes de idiomas. Elaboración y    evaluación. ...
Gracias por la atención     smartinl@nebrija.es
Próxima SlideShare
Cargando en…5
×

Pecole aesla 2012 sml

588 visualizaciones

Publicado el

1 comentario
0 recomendaciones
Estadísticas
Notas
  • Sé el primero en recomendar esto

Sin descargas
Visualizaciones
Visualizaciones totales
588
En SlideShare
0
De insertados
0
Número de insertados
4
Acciones
Compartido
0
Descargas
3
Comentarios
1
Recomendaciones
0
Insertados 0
No insertados

No hay notas en la diapositiva.

Pecole aesla 2012 sml

  1. 1. Diseño y formación de evaluadores de una pruebade eficacia comunicativa oral en lengua española para trabajadores inmigrantes (PECOLE) Susana Martín Leralta Universidad Nebrija smartinl@nebrija.es
  2. 2. PECOLE Dirección General de Inmigración de la CMGrupo de investigación LAELE de la Universidad Nebrija Dª Sheila Dra. Susana Dra. Marta Baralo Estaire Martín Noviembre 2011 – febrero 2012
  3. 3. PECOLEPrueba de eficacia comunicativa oral en lengua españolaTrabajadores inmigrantes en la Comunidad de MadridMarco común europeo de referencia para las lenguasEvaluar la eficacia comunicativa oral inicial de los candidatos Enfoque por tareas Orientación a la acción Inclusión de criterios sociopragmáticos, socioculturales y estratégicos
  4. 4. ANTECEDENTES DE LA PECOLEPrograma de formación y certificación lingüística de español para inmigrantes (Diploma LETRA) Grupo de investigación LAELE 2008-2011 Véase Baralo y Guerra (2010), Martín (2011) y Baralo y Estaire (2011)
  5. 5. www.diplomaletra.com
  6. 6. FUNDAMENTOS DE LA PECOLEEstudios sobre la evaluación de la competencia oral en LE (Bachmann, 1990; Alderson, Clapman y Wall, 1998; Luoma, 2004 y Bordón, 2006)Estándares de ALTE y EALTAAsegurar Validez Fiabilidad Autenticidad situacional Impacto positivo
  7. 7. FASES DEL PROYECTO1. Estado de la cuestión y análisis de necesidades2. Diseño de la prueba PECOLE y elaboración del documento de especificaciones3. Diseño e implantación del curso de Formación de evaluadores
  8. 8. FASES DEL PROYECTO1. Estado de la cuestión y análisis de necesidades a)Inserción social b)Resolución de necesidades comunicativas básicas c) Características del grupo meta d)Nivel de dominio lingüístico
  9. 9. FASES DEL PROYECTO1. Estado de la cuestión y análisis de necesidades2. Diseño de la prueba PECOLE y elaboración del documento de especificaciones
  10. 10. DEFINICIÓN DE “EFICACIA COMUNICATIVA ORAL” Según el MCER La lengua como herramienta de comunicación Importancia de la competencia pragmática Dimensiones del aprendiz de LE: • agentes sociales • hablantes interculturales
  11. 11. DEFINICIÓN DE “EFICACIA COMUNICATIVA ORAL” INICIALMarco Común Europeo de Referencia para las Lenguas.Enseñanza, aprendizaje, evaluación (MCER)A1Participa en conversaciones de forma sencilla, pero lacomunicación depende totalmente de que haya repeticionesa ritmo más lento, reformulaciones y rectificaciones. Sabeplantear y contestar preguntas sencillas, realizarafirmaciones sencillas y responder a las afirmaciones que sele hacen en áreas de necesidad inmediata o sobre temasmuy cotidianos.
  12. 12. ESPECIFICACIONES DE LA PECOLEDefinición del constructoEquivalencia en la medición Orientación a la lengua Orientación a la comunicación Orientación a la situación Luoma (2004)
  13. 13. ESPECIFICACIONES DE LA PECOLEa. Descripción de la tarea de interacción oralb. Capacidades evaluadasc. Duración estimadad. Formato de la pruebae. Procedimiento de realización y directrices para los evaluadoresf. Procedimiento de calificación: criterios de evaluación y descriptores de la escala de calificación
  14. 14. ESPECIFICACIONES DE LA PECOLE1) La tarea de interacción oralParticipar en una CONVERSACIÓN con el examinador para hablar:de sus datos personales (nombre, edad,nacionalidad, domicilio, idiomas que habla, familia, etc.)de sus estudios / formación laboralde su experiencia laboral en su país y en España, de su trabajo u ocupaciones cotidianas actuales
  15. 15. ESPECIFICACIONES DE LA PECOLE2) Capacidades evaluadasEl examinando PUEDE:Participar en una conversación de forma muy sencilla, apoyándose ocasionalmente en la cooperación del interlocutor, en la que demuestre que puede:comprender a su interlocutor cuando éste le habla despacio y de forma clara, utilizando un nivel de lengua estándar y, en caso de necesidad, haciendo uso de repeticiones a ritmo más lento, reformulaciones, mímica o gestos para señalar, asentir, etc.;proporcionar los datos requeridos por el entrevistador (datos personales y familiares, de estudio o formación laboral, de su experiencia laboral o intereses profesionales, de su situación laboral actual, etc.), cumpliendo así la finalidad comunicativa;utilizar enunciados breves, sencillos, aislados haciendo uso de un repertorio de vocabulario y estructuras gramaticales básico que no impide la comprensión a pesar de los errores que comete; con una pronunciación y entonación que no impiden la comprensión a pesar de un fuerte acento extranjero;deletrear su nombre o apellido y dar algún número (por ejemplo, teléfono, código postal) que el entrevistador pueda requerir si fuera necesario.
  16. 16. El examinando PUEDE:Utilizar fórmulas de cortesía sencillas y cotidianas para establecer un contacto social básico acorde con la situación (ejemplo: saludos, despedidas, agradecimientos).Hacer uso eficaz de estrategias compensatorias para solucionar problemas de comprensión y de expresión que puedan aparecer.
  17. 17. ESPECIFICACIONES DE LA PECOLE3) Duración estimada 5-7 minutos
  18. 18. ESPECIFICACIONES DE LA PECOLE4) Formato de la prueba Entrevista uno a uno entre el evaluador y el candidato VENTAJAS Flexible  adaptable a la realización del candidato Evaluadores  Alto control de lo que sucede EstructuradaINCONVENIENTES Poder del evaluador sobre el candidato Costoso en tiempo y cantidad de evaluadores Requiere formación de evaluadores
  19. 19. ESPECIFICACIONES DE LA PECOLE5) Criterios de evaluación Grado de comunicación Relación con el interlocutor Control lingüístico
  20. 20. ESPECIFICACIONES DE LA PECOLE6) Escala de calificación: Apto / No apto Manejable para los evaluadores Reflejar todas las posibles actuaciones de los candidatos Consensuada e interpretada de manera homogénea
  21. 21. Respuesta satisfactoria: APTO• Grado de comunicación - El candidato cumple adecuadamente los objetivos comunicativos de la prueba: comprende al interlocutor y se hace comprender en relación con lo tratado, aunque evidenciando un cierto grado de dificultad. A pesar de esta dificultad, su mensaje es suficiente para satisfacer la necesidad comunicativa planteada.• Relación con el interlocutor – Para su actuación, el candidato depende ocasionalmente de la cooperación del interlocutor (discurso lento y claro, uso de repeticiones, reformulaciones, de mímica, gestos, señales). Un interlocutor acostumbrado a tratar con hablantes de otras lenguas puede comprenderle con cierto esfuerzo y concentración.• Control lingüístico – En su discurso manifiesta cierta dificultad en la utilización de los recursos lingüísticos y estratégicos básicos de un nivel A1+ correspondientes a un repertorio reducido: necesita algunas pausas y reformulaciones de su mensaje, a menudo demuestra dudas y solicita ayuda del interlocutor y comete numerosos errores lingüísticos, la mayoría propios de su nivel, que no interfieren en el cumplimiento de la finalidad comunicativa planteada.Respuesta insatisfactoria: NO APTO• Grado de comunicación - El candidato tiene serias dificultades o es incapaz de reaccionar comunicativamente a la situación planteada: serias dificultades para comprender al interlocutor y para hacerse comprender en relación con lo tratado. En caso de responder a la situación planteada, su respuesta es comunicativamente ajena a dicha situación.• Relación con el interlocutor - La cooperación del interlocutor no es suficiente para establecer la comunicación con el candidato. Aún para un interlocutor acostumbrado a tratar con hablantes de otras lenguas es prácticamente imposible comprenderle.• Control lingüístico – El uso de los recursos lingüísticos y estratégicos básicos de un nivel A1+ correspondientes a un repertorio muy reducido es prácticamente nulo.
  22. 22. FASES DEL PROYECTO1. Estado de la cuestión y análisis de necesidades2. Diseño de la prueba PECOLE y elaboración del documento de especificaciones3. Diseño e implantación del curso de Formación de evaluadores
  23. 23. FORMACIÓN DE EVALUADORESPROBLEMAS DE LA EVALUACIÓN ORAL (Karavas y Delieza, 2009)El comportamiento del interlocutor puede afectar a la realización del candidato y a la puntuación.La inconsistencia y la variación afectan a la validez y fiabilidad de la prueba. – Forma de adaptarse al nivel de dominio lingüístico de los candidatos. – Apoyo que ofrecen a los candidatos para facilitar la comprensión y la producción. – Modo de “provocar” la realización comunicativa de los candidatos.
  24. 24. FORMACIÓN DE EVALUADORESRECOMENDACIONES (Karavas y Delieza, 2009) – Formación específica y entrenamiento – Uso de una Guía para el entrevistador • Estandarizar el discurso del examinador  reducir variación • Autocontrol de la actuación del examinador durante la prueba – Aplicación de criterios y descriptores de evaluación comprendidos por igual por todos los evaluadores
  25. 25. FORMACIÓN DE EVALUADORESTaller: teórico y prácticoVisionado de exámenes reales: Análisis del papel del evaluador  Evitar la variación y la inconsistencia Aplicación de la escala de calificación  Entendimiento común de los criterios y la escala de calificación
  26. 26. FORMACIÓN DE EVALUADORES 14 talleres 14.11.2011 – 23.02.2012 383 participantesAyuntamientos (Asuntos Sociales), CM (CEPI/CASI)1. Totalmente en desacuerdo 5. Totalmente de acuerdo
  27. 27. FORMACIÓN DE EVALUADORES1. Totalmente en desacuerdo 5. Totalmente de acuerdo
  28. 28. FORMACIÓN DE EVALUADORES1. Totalmente en desacuerdo 5. Totalmente de acuerdo
  29. 29. CONCLUSIONESDefinición previa del objeto de medición: eficaciacomunicativa oral inicialResponsabilidades del evaluador: intervenir comoentrevistador, manejar criterios de evaluación, calificarPrueba de alto impacto: evitar variación e inconsistenciaentre evaluadores.Documentación para los evaluadores + formación =refuerzo de la validez, fiabilidad y viabilidad de la prueba
  30. 30. BIBLIOGRAFÍA de referencia• Alderson J. C., Clapham C., Wall D. 1998. Exámenes de idiomas. Elaboración y evaluación. Madrid, Cambridge University Press.• Bachman L. F. 1990. Fundamental considerations in language testing. Oxford, Oxford University Press.• Baralo M., Guerra M. R. 2010. “Criterios pragmáticos y socioculturales para la selección de textos y géneros discursivos en un examen de certificación de nivel inicial (A2-n) de lengua española para trabajadores inmigrantes. En Actas del XXI Congreso Internacional de ASELE. Del texto a la lengua: la aplicación de los textos a la enseñanza-aprendizaje del español L2-LE. Salamanca: Universidad de Salamanca.• Baralo M., Estaire S. 2011. “Variables socioculturales y comunicativas en el diseño curricular de una certificación de español para trabajadores inmigrantes”. En Lengua y Migración, 3, vol. 2.• Bordón T. 2006. La evaluación de la lengua en el marco de E/L2: Bases y procedimientos. Madrid, Arcolibros.• Consejo de Europa. 2002. Marco común europeo de referencia para las lenguas: aprendizaje, enseñanza, evaluación. Madrid, Ministerio de Educación, Cultura y Deporte, y Anaya.• Karavas E., Delieza X. 2009. “On site observation of KPG oral examiners: Implications for oral examiner training and evaluation”. Apples-Journal of Applied Language Studies, 3:1: 51:77.• Luoma S. 2004. Assessing speaking. Cambridge, Cambridge University Press.• Martín Leralta S. 2011. “Certificación lingüística de nivel inicial para inmigrantes en contexto laboral: ejemplo de una prueba del examen DILE”. En Lengua y Migración, 3, vol. 1.
  31. 31. Gracias por la atención smartinl@nebrija.es

×