Este documento presenta un modelo de evaluación centrado en el usuario para herramientas de creación de bibliotecas digitales. El modelo se aplicó a Greenstone durante 4 años con estudiantes. Los resultados mostraron debilidades en la interfaz de Greenstone que era poco intuitiva y carecía de documentación. También identificó que los usuarios tienden a usar opciones simples y un enfoque de prueba y error al crear colecciones con menos recursos dedicados con el tiempo.

1. Evaluación centrada en el usuario de
herramientas de creación de bibliotecas
digitales: Greenstone
Jesús Tramullas*, Ana I. Sánchez-Casabón*, Piedad Garrido-Picazo**
*Departamento de Ciencias de la Documentación
**Departamento de Informática e Ingeniería de Sistemas
Universidad de Zaragoza

2. 1. Bibliotecas digitales, evaluación y
usuarios
Producto de información digital cuya
finalidad es satisfacer necesidades de los
usuarios.
Abundante bibliografía sobre evaluación y
sobre usuarios de las mismas.
Comprender las necesidades y
comportamientos de los usuarios.

3. 2. Evaluación centrada en el usuario
Métodos centrados en el usuario.
Evalúan aspectos del producto final.
Se centran en los procesos de recuperación
y acceso.
No suelen prestara tención a los procesos
de diseño, creación e implementación de
las colecciones.

4. 3. Objetivo
Establecer un modelo contextual de
evaluación de funcionalidades para la
creación de colecciones digitales, centro
en el usuario, que pueda aplicarse a las
herramientas existentes para la
implementación de bibliotecas digitales.

5. 4. Modelo
Se propone un modelo centrado en las
acciones del usuario.
Define estructura de análisis y parámetros
de valoración.
Se lleva a cabo por grupos de usuarios
finales.

6. 5. Planteamiento
Selección de herramienta: Greenstone.
Evaluar los procesos de creación e
implementación de colecciones.
Determinar la secuencia y acciones teóricas
a ejecutar y valorar (experimento).
Establecer las herramientas de toma de
datos.

7. 6. Experimento
Cuatro iteraciones anuales consecutivas:
2009 a 2012.
Desarrollado por estudiantes de Información
y Documentación con formación básica
previa.
Trabajo en modo proyecto en grupo.
Autoevaluación general.
Evaluación con grupo de enfoque.

8. 7. Resultados
Criterios 2008 2009 2010 2011
1. Uso de documentación de referencia 3,2 3,3 3,1 2,8
2. Nivel de conocimiento de Greenstone 3,4 4,0 3,6 3,2
3. Valoración del trabajo propio 4,5 3,9 4,2 4,2
4. Valoración del soporte disponible 2,1 2,2 2,0 1,9
5. Estimación del potencial de Greenstone 4,5 4,3 3,8 3,6
6. Facilidad de uso 2,2 2,1 1,8 1,6
7. Fiabilidad 2,0 1,9 1,6 1,8
8. Horas dedicadas al proyecto 22,6 32,5 25,3 14,5

9. Criterios 2008 2009 2010 2011
1. Valoración de los manuales de usuario 2,0 1,4 1,2 1,0
2. Valoración del wiki de referencia 3,2 3,0 2,6 2,6
3. Valoración de la ayuda de la aplicación 1,0 1,0 1,0 1,0
4. Facilidad para crear la colección 5,0 5,0 5,0 5,0
5, Facilidad para reunir documentos 4 3,8 3,6 3,8
6. Facilidad para gestionar esquemas de metadatos 1 1,8 2,0 1,6
7. Facilidad para asignar y gestionar metadatos 4,0 4,2 4,2 4,4
8. Facilidad para configurar plugins 1,4 1,6 1,4 1,2
9. Facilidad para crear índices 3,2 3,3 3,8 3,6
10. Facilidad para crear interfaces complejos de interrogación. 1,2 1,5 1,2 1,0
11. Facilidad para crear clasificadores simples 4,0 4,2 4,0 4,0
12. Facilidad para crear clasificadores complejos 2,2 2,9 2,3 2,0
13. Facilidad para formatear salidas 2,4 2,4 2,0 2,2
14. Facilidad para formatear documentos 2,0 1,8 1,8 1,6
15. Comprensión de mensajes de error en la construcción de colecc. 1,1 1,2 1,0 1,2
16. Comprensión de los mensajes de error en la ejecución 1.0 1,0 1,2 1,0

10. 8. Conclusiones
El modelo e instrumento ha ofrecido resultados válidos.
Ha identificado debilidades en la herramienta:
Interfaz poco intuitiva, confusa, problemas de usabilidad.
Falta de información y documentación de referencia.
Ha identificado comportamientos en los usuarios:
Tendencia a usar las opciones más simples.
Comportamiento de “prueba y error”, dedicación de menos
recursos.
Las limitaciones vienen derivadas del contexto en el cual
se ha llevado a cabo, que puede introducir cierto sesgo.