LSA (Latent Semantic Analisys ) se muestra como una herramienta fiable evaluando resúmenes breves Si utilizamos la longitud del vector junto con un buen método del LSA (expertos) se llega a una fiabilidad de 0,82, en el texto expositivo y una fiabilidad de 0,68 en el texto narrativo, con resúmenes de máximo 50 palabras!

1. LSA. Evaluación de resúmenes en diferentes niveles académicos AESLA 09 Ricardo Olmos, José Antonio León, Guillermo Jorge-Botana e Inmaculada Escudero Universidad Autónoma de Madrid

2. LSA. Evaluación de resúmenes en diferentes niveles académicos (1) Qué es el LSA (2) Aplicación en la evaluación de resúmenes

5. Matriz (m x n) ¿QUÉ ES EL LSA?

7. ¿QUÉ ES EL LSA?

9. ¿QUÉ ES EL LSA?

10. ¿QUÉ ES EL LSA?

12. ¿QUÉ ES EL LSA?

14. ¿QUÉ ES EL LSA?

17. LSA. Evaluación de resúmenes en diferentes niveles académicos Método: Muestra: Participaron 786 estudiantes en el estudio (de 6º de primaria, 2º de ESO, 4 de ESO y universitarios):

18. LSA. Evaluación de resúmenes en diferentes niveles académicos

19. LSA. Evaluación de resúmenes en diferentes niveles académicos Método: Material. Cada estudiante resumió bien un texto narrativo “La leyenda del algarrobo” o bien un texto expositivo “Los árboles estranguladores”

20. LSA. Evaluación de resúmenes en diferentes niveles académicos Método: Material. El corpus utilizado para entrenar al LSA pertenece a la universidad de Colorado de Boulder y es de tipo generalista. El número K de dimensiones utilizado fue de 337

21. LSA. Evaluación de resúmenes en diferentes niveles académicos Método: Evaluaciones de los jueces. Se instruyó a cuatro jueces para que evaluaran cada resumen en una escala de 0-10 puntos.

22. Método: Evaluaciones del LSA. La nota otorgada por el LSA se basa en el coseno (Landauer et al., 1998; León et al., 2006) y la longitud del vector resumen LSA. Evaluación de resúmenes en diferentes niveles académicos

23. LSA. Evaluación de resúmenes en diferentes niveles académicos ¿Cómo obtenemos el coseno? Método de los expertos (Landauer, Foltz y Laham, 1998; León et al., 2006)

24. LSA. Evaluación de resúmenes en diferentes niveles académicos ¿Cómo obtenemos el coseno? Método de los expertos

25. LSA. Evaluación de resúmenes en diferentes niveles académicos ¿Cómo obtenemos la longitud del vector?

26. LSA. Evaluación de resúmenes en diferentes niveles académicos

27. LSA. Evaluación de resúmenes en diferentes niveles académicos

28. Una muestra al azar de resúmenes evaluados por LSA y por jueces LSA. Evaluación de resúmenes en diferentes niveles académicos

29. (2) Aplicación del LSA en evaluación de resúmenes Resultados Fiabilidad del LSA al evaluar resúmenes (Correlación LSA-jueces) LSA. Evaluación de resúmenes en diferentes niveles académicos

31. Fiabilidad Narrativo = 0,68 Fiabilidad expositivo = 0,82 Con las puntuaciones promediadas de los cuatro jueces

32. (2) Aplicación del LSA en evaluación de resúmenes Resultados ¿Distingue el LSA entre diferentes niveles académicos? LSA. Evaluación de resúmenes en diferentes niveles académicos

33. LSA Jueces