Presentación realizada por Carmen Tovar del Ministerio de Educación, Cultura y Deporte en Madrid, el 23 de marzo de 2015 sobre el Estudio Europeo de Competencia Lingüística.
Las ciencias en PISA (Lis Cercadillo, INEE) - Simposio CiEnglish
ESTUDIO EUROPEO DE COMPETENCIA LINGÜÍSTICA (EECL)
1. Carmen Tovar
Ministerio de Educación, Cultura y Deporte
Madrid
23 de marzo de 2015
ESTUDIO EUROPEO DE COMPETENCIA
LINGÜÍSTICA(EECL)
2. I. Objetivos del estudio.
II. Características del estudio.
III. Medición e informe de resultados
IV. Elaboración de las pruebas.
V. Diseño y aplicación de las pruebas.
VI. Ejemplos de pruebas.
VII. Corrección de las pruebas de expresión
escrita.
VIII.Resultados.
IX. Conclusiones
Estudio Europeo de Competencia
Lingüística (EECL)
3. I. Objetivos del estudio
Proporcionar a los Estados miembros de la UE
información comparable sobre:
• Las competencias en lenguas extranjeras de los alumnos
europeos al finalizar la Educación Secundaria Obligatoria.
• Conocimiento sobre buenas prácticas que permitan
mejorar el aprendizaje de dichas lenguas.
Crear un Indicador Europeo de
Competencia Lingüística que permita
medir el progreso en el aprendizaje de
lenguas extranjeras.
4. II. Características del estudio
Países participantes:
Bélgica, Bulgaria, Croacia, Eslovenia,
España, Estonia, Francia, Grecia, Holanda,
Malta, Polonia, Portugal , Reino Unido
(Inglaterra) y Suecia.
Lenguas evaluadas:
Inglés, Francés, Alemán, Español e Italiano.
Población:
Alumnos de último curso de ISCED 2 (en
España 4º ESO) que hayan cursado al menos
durante un año la lengua evaluada. En España
más de 7000 alumnos evaluados.
Destrezas evaluadas:
Comprensión oral, Comprensión escrita y
Expresión escrita.
Modo de aplicación de los
instrumentos
MCER
Componentes del consorcio
5. III. Medición e informe de resultados
B2
Usuario de la lengua independiente que se puede
expresar de forma clara y eficaz sobre temas concretos y
abstractos.
B1
Usuario de la lengua independiente que puede
desenvolverse en temas que le son familiares o en los que
tiene un interés personal.
A2
Usuario básico que puede utilizar un lenguaje sencillo
para comunicarse sobre temas cotidianos relativos al
trabajo, escuela, ocio, etc.
A1
Usuario básico que puede utilizar un lenguaje muy
sencillo siempre que tenga algún tipo de ayuda.
Pre-A1
Usuario que no ha alcanzado el nivel de competencia
descrito por A1.
Cuatro primeros niveles del MCER (A1, A2, B1 y B2 )
6. 2008
• Desarrollo del marco de las pruebas
• Estudio a pequeña escala. Se probaron 106 tareas. También se
exploraron métodos de colaboración.
2009
• Prueba Pre-piloto. Estudio a gran escala para probar todo el material de
evaluación.
• Más de 2000 ítems pre-pilotados. 8283 alumnos.
• Más de un tercio de las tareas fueron desechadas.
2010
• Prueba Piloto. Se probaron de nuevo las tareas restantes pero
también los aspectos técnicos y humanos de la aplicación.
2011
• Prueba principal. Finalmente 143 tareas y 635 ítems fueron
utilizados.
IV. Elaboración de las pruebas
7. IV. Elaboración de las pruebas
Las pruebas debían vincular el rendimiento
al MCER de manera comparable en las cinco
lenguas. Para ello:
• Cada habilidad evaluada se vinculó a un tipo
específico de tarea.
• Se utilizó una metodología de trabajo colaborativa.
Elaboración de materiales de
familiarización con el formato de las
pruebas. Ítems ya validados con el
MCER.
8. V. Diseño y Aplicación de las pruebas
Objetivo: Adaptar la dificultad de la prueba al nivel de
competencia de cada alumno
Resultado de
nivel bajo
PRUEBADE
NIVEL
Noviembre2010
PRUEBA
PRINCIPAL
Marzo–Abril2011
PRUEBA DE NIVEL
PROGRESIVA
Resultado de
nivel medio
Resultado de
nivel alto
A1 – A2 A2 – B1 B1 – B2
TARGETED
TESTING
Targeted testing
9. 1- Los alumnos de cada nivel de
competencia se distribuyeron al azar
en tres grupos y cada alumno fue
evaluado de dos destrezas. Todos los
alumnos completaron además un
cuestionario de contexto.
COMPRENSIÓN
ORAL
COMPRENSIÓN
LECTORA
EXPRESIÓN
ESCRITA
CUESTIONARIO
GRUPO 1
GRUPO 2
GRUPO 3
2- Las tareas de cada nivel se distribuyeron en varios cuadernillos según un diseño por
bloques. Cada bloque contenía un numero variable de tareas según su dificultad.
V. Diseño y Aplicación de las pruebas
10. VI. Ejemplos de pruebas
Comprensión lectora Inglés
You will read a notice about a cat.
For the next 4 questions, answer A, B or C.
Leo is lost. He’s my little cat. He’s white with black paws. He’s small and very sweet.
He has brown eyes. He wears a grey collar. He didn’t come home on Monday and it’s
Thursday today. That’s a long time for a little cat!
Leo often sits on top of the houses near here between Smith’s baker’s shop and King
Street. If you find him in your garden or under your car, please telephone me
immediately. Please note – Leo doesn’t like it when people pick him up, and he
doesn’t like milk.
Thank you for your help!
Sophie Martin. Tel.: 798286
11. Tu lis ce message dans la rue.
Pour les 4 questions suivantes, réponds A, B ou C.
Léon a disparu. C’est mon petit chat. Il est blanc avec des pattes noires. Il est petit et
très mignon. Il a des yeux marron. Il porte un collier gris. Il va souvent sur les toits des
maisons de notre quartier entre la boulangerie St Vincent et la rue de la victoire. Il est
parti lundi et nous sommes déjà jeudi. C’est long pour un petit chat !
Si vous le trouvez dans votre jardin ou sous votre voiture, merci de me téléphoner
rapidement. Attention, Léon n’aime pas quand on le porte et il ne boit pas de lait.
Merci de votre aide !
Sophie Martel 06 45 89 75 45
VI. Ejemplos de pruebas
Comprensión lectora Francés
12. You will hear a boy and girl talking about what they did at the weekend with their friends.
What did each friend do at the weekend?
For the next 5 questions, choose the answer (A–G). Use each letter once only.
VI. Ejemplos de pruebas
Comprensión oral Inglés
13. Tu vas entendre deux amis parler du week-end avec leurs amis. Qu’ont-ils fait ?
Pour les 5 questions suivantes, choisis la bonne réponse (A à G).
Utilise chaque lettre une fois seulement.
VI. Ejemplos de pruebas
Comprensión oral Francés
14. FRANCÉS - MEMBRE DE LA FAMILLE
Voici un extrait d’un message que tu as reçu de ta correspondante française.
Dans ton prochain mail, parle-moi d’un membre de ta famille que tu aimes
vraiment beaucoup. Qu’est-ce que vous faites ensemble ? Pourquoi est-ce que vous
vous entendez bien tous les deux ?
Tu écris un email à ta correspondante française et tu réponds à ses questions.
Tu écris 80–100 mots.
INGLÉS - FAVOURITE FAMILY MEMBER
This is part of an email you receive from an English pen friend:
In your next email, tell me about someone in your family that you like a lot. What
sorts of things do you do together? Why do you get on well with each other?
Write an email to your friend, answering your friend's questions.
Write 80–100 words.
VI. Ejemplos de pruebas
Expresión escrita (B1)
15. VII. Corrección de las pruebas de
expresión escrita
Comparación de las producciones de los alumnos con pruebas de referencia
(exemplars, copies-étalon).
Comparación en relación a dos criterios: comunicación y lenguaje.
Ventaja de este método: Neutraliza en gran medida la subjetividad del
corrector (severidad-benevolencia) ya que los juicios son comparativos y no
absolutos.
Corrección de las tareas de nivel B1-B2Corrección de las tareas de nivel A1-A2
16. Higher-level exemplar
Dear Eleonora
My brother Luca is younger than me, he is short and he has straight brown hair. He
is funny and sportif. We do a lot of things together, for example we both play
football in the same team and we like to play video games. I am supporter of
Juventus and he supports Inter, I hate that team. We also go swimming together
and we have lots of fun. We like to stay together because we have the same
interests and we do the same things.
See you soon Davide
Lower-level exemplar
Hi Mike!
I want to tell you about my family.
I like my family but my parents are so strict. My father is the best of all, he helps me
when I have some trouble.
I have a sister, she older than me, but I like her, we always weast time together.
She’s 18 years old, it’s interesting to talk with her, she’s like sport like me, we have
many same hobbies, that’s why I get well with her. I like wath horror film with her
friends, they so chearfull.
See you later Mike!
VII. Corrección de las pruebas de
expresión escrita
17. Primera lengua Segunda lengua
Mejores resultados
Resultados similares a España
Resultados medios
Peores resultados
Mejores resultados
Resultados medios
Peores resultados
VIII. Resultados
18. 0%
25%
50%
75%
100%
Comprensión oral Comprensión lectora Expresiónescrita
0%
25%
50%
75%
100%
Comprensión oral Comprensión lectora Expresiónescrita
Primera lengua Segunda lengua
Países ordenados de mayor a menor porcentaje de alumnos en los niveles B1 y B2.
VIII. Resultados
26. IX. Conclusiones. (Inglés)
Mejor
competencia
en inglés
Buen nivel de
inglés de los
padres.
Más años de
estudio del
idioma.
Clases
extraescolares
de ampliación.
Alto contacto
con el inglés
fuera del
contexto
escolar.
Contacto con el
inglés a través
de productos
audiovisuales.
No doblaje de
películas.
El profesor
otorga igual
importancia a
todos los
aspectos de la
evaluación.
Menor tamaño
de la clase
(comprensión
oral)
Influye menos de lo esperado:
Tiempo dedicado a deberes (preparación de exámenes).
Viajes al extranjero.
Profesorado visitante.