El documento describe las experiencias de una investigadora al realizar estudios de usabilidad con usuarios, destacando los errores cometidos en las distintas fases del proceso de investigación como la planificación, preparación, ejecución, análisis, publicación y presentación. La investigadora explica cómo pequeños errores en cualquier etapa, como no simplificar el enfoque del estudio, no rotar adecuadamente las tareas o no elegir los tests estadísticos apropiados, pueden afectar negativamente los resultados. El objetivo es enseñar a apre

1. Os voy a contar lo
que nunca se
cuenta
Espero que os
sirva
Experiencias en investigación
con usuarios
Aprender de los errores
Mari-Carmen Marcos
Universitat Pompeu Fabra
mcmarcos.com
@mcmarcos

2. ¡Ah, eres
investigadora
¿Y qué
investigas?
Estudio el
comportamiento de las
personas con la
tecnología con el fin de
proponer mejoras en sus
interfaces.

3. ¿En serio?
¿Eso se
estudia?
Interacción Persona-Ordenador (HCI)
Arquitectura de la información
Usabilidad
…
Mejorar la Experiencia de Usuario
¡Claro! Forma
parte de la
disciplina
llamada HCI, y
hay muchos
profesionales
que se dedican
a ello

4. ¿Y cómo se
puede saber
cómo se
comportan
las personas
Hay
distintas
técnicas:
• Observacionales: sin manipulación de las
variables
Ej. Estudios etnográficos
• Experimentales: controlamos todas las
variables
Ej. Tests entornos médicos
• Quasi-experimentales: controlamos las
variables dependientes pero no todas las
independientes
Ej. Estudios de usabilidad

5. ¿Y hay que
saber muchas
matemáticas
para hacer
esos
estudios?
Depende
del tipo de
datos que
recojas y de
lo que
pretendas
hacer con
ellos
Cualitativos
• No implican cálculos estadísticos
• Requieren tiempo
• A menudo son exploratorios, como
base de un estudio cuantitativo
Cuantitativos
• Responden a preguntas muy concretas
• Aplican cálculos estadísticos
• Requieren un alto control en el diseño
del experimento

6. No sé si lo
he
entendido
…
Cualitativos Cuantitativos
Heurística
Rec. Cognit.
Encuesta
Test de usuarios
Analítica (Logs)
Entrevista
Focus group
Observ. Etnogr.
Mejor te
hago un
esquema

7. ¿Y cuál es
tu técnica
preferida?
Cualitativos Cuantitativos
Heurística
Rec. Cognit.
Encuesta
Test de usuarios
Analítica (Logs)
Entrevista
Focus group
Observ. Etnogr.
+ Eye tracking
No sé si
preferida,
pero la que
más he
utilizado es
el test de
usuarios.
Y de eso
voy a hablar

8. Bueno… yo me he
equivocado
muchas veces… de
hecho eso es lo
que hoy os voy a
contar.
¿Y hacer
estos tests
con usuarios
es difícil?

9. ¡Buenos días!
Experiencias en investigación
con usuarios
Aprender de los errores

10. Fases de investigación
• Planificación
• Preparación
• Ejecución
• Análisis
• Publicación
• Presentación
Las
posibilidades de
equivocarnos
están en cada
paso de la
investigación

11. Planificar bien
el estudio es
básico.
Lo que ahora se
haga mal,
repercutirá en
los resultados
Planificación

12. Planificación
1. Centrarse en el foco, simplificar el
estudio

13. Planificación
1. Centrarse en el foco, simplificar el
estudio
Test Google Barcelona-Dubai
1. Cultura de los
usuarios
2. Tipos de resultados
3. Tipos de snippets
4. Posición
5. Relevancia
6. Temática
7. Éxito

14. Planificación
1. Centrarse en el foco, simplificar el
estudio
Test Google Barcelona/Dubai

15. Planificación
1. Centrarse en el foco, simplificar el
estudio
Test Google Barcelona/Dubai
¿Hacían falta tantas
variables?

16. Planificación
2. Objetos de estudio comparables

17. Planificación
2. Objetos de estudio comparables
Test Google Barcelona-Dubai
Idioma de la interfaz
¡Testear en inglés en Barcelona!

18. Planificación
3. Muestra comparable
Test Google Barcelona-Dubai

19. Planificación
3. Muestra comparable
Test Google Barcelona-Dubai
Hombres / Mujeres
¡Ampliar la muestra de
hombres en Dubai!

20. Planificación
4. Aleatoriedad y/o rotación

21. Planificación
4. Aleatoriedad y/o rotación
Test Legibilidad
Texto Inicio Texto Final

22. Planificación
4. Aleatoriedad y/o rotación
Test Legibilidad
Texto Inicio Texto Final
Rotar las tareas
¡La atención decae!

23. Planificación
4. Aleatoriedad y/o rotación
Test Legibilidad y layout

24. Planificación
4. Aleatoriedad y/o rotación
Test Legibilidad y layout
Orden de variables en cada
página
¡Repetir los tests!

25. Planificación
5. Redacción de las tareas

26. Planificación
5. Redacción de las tareas

27. Planificación
6. Recursos técnicos necesarios
Test TV Conectada
La planificación del
test requiere un gran
control de todo en el
laboratorio
No podemos
arriesgarnos a perder
usuarios

28. Planificación
6. Recursos técnicos necesarios
Test TV Conectada
El campus no tiene antenaTV
¡Comprar antena exterior!

29. Planificación
7. Imprevistos en la tecnología
Test TV Conectada

30. Planificación
7. Imprevistos en la tecnología
Test TV Conectada
Infrarrojos interfieren
¡Aislar los rayos!

31. Planificación
8. Usuarios que nos dejan plantados
Usuarios en reserva
Tareas: revisar, pasar a limpio,
backup…

32. AnálisisEl análisis de los
datos recogidos es
un momento clave
que requiere
rigurosidad y
meticulosidad para
que los resultados
sean válidos
científicamente.

33. Análisis
1. Requerimientos técnicos
Test TV Conectada
- Tarjeta gráfica
- Disco duro
- RAM

34. Análisis
2. Calcular el tiempo
Test TV Conectada
Ficheros pesados Marcado
manual
…

35. Análisis
3. Escoger el test estadístico apropiado

36. Análisis
3. Escoger el test estadístico apropiado
¿Cómo son los datos? Frecuencias o valores
- Frecuencias: ej. tasa de éxito en resolver una
tarea (eficacia)
- Valores: tiempo invertido para terminar la
tarea (eficiencia)

37. Análisis
3. Escoger el test estadístico apropiado
¿Cuántas variables manejas? 1, 2 o más

38. Análisis
3. Escoger el test estadístico apropiado
¿Qué diseño has aplicado? Correlacional o
Experimental
- Correlacional: cuando una variable aumenta
la otra también o al revés, ej. Tiempo en
SERP y ratio de éxito
- Experimental: testear dos condiciones, ej.
iOS y Android

39. Análisis
3. Escoger el test estadístico apropiado
¿Los datos siguen una distribución normal?
Paramétricos o no

40. Análisis
3. Escoger el test estadístico apropiado
¿Los mismos usuarios están sometidos a dos
entornos? Medidas repetidas o independientes
- Repetidas: el mismo usuario hace el test en
PC y en móvil
- Independientes: unos usuarios hacen el test
con PC y otros con móvil

41. Análisis
3. Escoger el test estadístico apropiado
Jeff Sauro
- http://www.measuringusability.com/
- A Practical Guide to Measuring Usability
(2010)
- Calculadora Excel
Jeff Sauro y Jim Lewis
- Quantifying the User Experience: Practical
Statistics for User Research (2012)

42. Publicación y presentación
Finalmente, la forma
de presentar el
estudio debe ser
adecuada al público
al que se dirige

43. Publicación y presentación
1. Estilo adecuado al medio y al público
Test TV Conectada
- Workshop sobre Eye tracking
- Workshop sobre UX y TV
- Seminario UPF metodologías
- Artículo de revista
- Blog

44. Presentación y difusión
2. Escritura adaptada
Test TV Conectada

45. Presentación y difusión
2. Escritura adaptada

46. Y estos son los errores que me han
hecho aprender…
Equivocarse es de sabios ¿no?
Incluso los grandes se equivocan 

47. Y estos son los errores que me han
hecho aprender…
Equivocarse es de sabios ¿no?
Incluso los grandes se equivocan 

48. ¿Y puedo leer
algunos de
estos
estudios?
Sí, claro, te paso los
últimos, de 2010 a
2013. Casi todos
están en mi web

49. MULTICULTURALIDAD
• Marcos, Mari-Carmen; García-Gavilanes, Ruth; Bataineh, Emad; Pasarin, Lara. Using Eye Tracking to Identify Cultural
Differences in Information Seeking Behavior. Workshop “Many People, Many Eyes”. CHI'13, April 27-May 2, 2013, Paris,
France.
LEGIBILIDAD
• Rello, Luz; Marcos, Mari-Carmen. An Eye Tracking Study on Text Customization for User Performance and Preference.
LA-Web 2012 (Cartagena, Colombia, October 2012).
TV CONECTADA
• Marcos, Mari-Carmen; Mansilla, Verónica. Video on Demand: Usability Challenges for Connected TV. Workshop Living
Room Experience: Exploring and Enhancing the User Experience for Television. CHI'13, April 27-May 2, 2013, Paris,
France.
• Marcos, Mari-Carmen. Connected TV needs to improve: an eye tracking study. EyeTrackUX 2012 - Tobii Eye Tracking
Conference on User Experience (Barcelona, 25-26 April 2012).
• Mansilla, Verónica; Marcos, Mari-Carmen. User experience en Televisión Conectada: un estudio con usuarios. El
Profesional de la Información, 22:2, marzo-abril 2013.
BUSCADORES
• Marcos, Mari-Carmen; Nettleton, David; Sáez, Diego. Evaluation of User Search Behaviour using a Web Search Log and
Eye Tracking data. Proceedings of the BCS HCI 2012, People & Computers XXVI (Birmingham, UK), 262-267.
• Marcos, Mari-Carmen. An Eye Tracking Study on Interaction in Search Engines. EyeTrackUX 2011 - Tobii Eye Tracking
Conference on User Experience (Londres, 9-10 Julio 2011). Abstract (full paper non-published)
• González-Caro, Cristina; Marcos, Mari-Carmen. Different Users and Intents: An Eye-tracking Analysis of Web Search. In:
King, Irwin; Nejdl, Wolfgang; Li, Hang. WSDM'11 Fourth ACM International Conference on Web Search and Data Mining
(Kowloon, Hong Kong, February 09 - 12, 2011). New York: ACM, 2011. (Disponible online en la web de Yahoo! Research)
• Marcos, Mari-Carmen; González-Caro, Cristina. El comportamiento de los usuarios en la página de resultados de los
buscadores: un estudio basado en la técnica de eye tracking. El Profesional de la Información, 19:4, julio-agosto 2010,
348-358.

50. ¿Preguntas?

51. ¡Muchas gracias!
Mari-Carmen Marcos
Universitat Pompeu Fabra
mcmarcos.com
@mcmarcos