Este documento habla sobre la cuantificación de la experiencia de usuario (UX) y el retorno de la inversión (ROI). Explica cómo medir variables como la eficacia, eficiencia y satisfacción del usuario mediante indicadores cuantitativos y cualitativos. También describe cómo calcular el ROI mediante la reducción de costos de desarrollo, mantenimiento, capacitación y soporte, así como el incremento de ventas e ingresos.

1. Juan Manuel Carraro
juan@keikendo.com
www.keikendo.com
Cuantificación de UX y ROI.

2. Esta obra está bajo licencia.
Atribución-NoComercial 3.0 Unported (Internacional).
Atribución — Debe reconocer los créditos de la obra citando al autor.
Uso Comercial: el uso con fines comerciales de esta obra no está
permitido.
Usted puede: Compartir - copiar, distribuir, ejecutar y comunicar
públicamente la obra. Hacer obras derivadas.
Bajo las siguientes condiciones:

3. Indice
• Qué se mide
• Cómo se mide
• Validez de los resultados
• Mediciones cuantitativas
• Cálculo de ROI

4. Una definición:
• ISO/IEC 9241:
"Usabilidad es la eficacia, eficiencia y satisfacción con
la que un producto permite alcanzar objetivos
específicos a usuarios específicos en un contexto de
uso específico.

5. Otra definición
Permite obtener mediciones cuali-cuantitativas sobre
la experiencia que una persona tiene cuando
interactúa con un sitio Web, Intranet, aplicación móvil,
software o cualquier otra interfaz.

6. Definición de las variables utilizadas
• Eficacia: el porcentaje de tareas exitosas realizadas por el
usuario sin ayuda externa.
• Eficiencia: el costo de la realización de las tareas exitosas.
Puede ser medido con distintos indicadores (cantidad de
errores, páginas visitadas, etc.)
• Satisfacción: nivel de satisfacción de los usuarios en el uso de la
interfaz, medido con un cuestionario estándar al final de cada
prueba.

7. Medición de resultados
• Variables cuantitativas:
• Eficacia
• Eficiencia
• Variable cualitativa:
• Satisfacción

8. Medición de resultados
• Indicadores cuantitativos:
• Tareas exitosas
• Errores
• Tiempo
• Páginas vistas
• Cantidad de clics

9. Eficacia
• Binaria: porcentaje de tareas realizadas con éxito.

10. Eficacia
• Errores:
• Ingresar información de manera incorrecta.
• Seleccionar la opción equivocada de una lista.
• Hacer clic en un botón equivocado.
• Ingresar información en un campo diferente al
esperado.

11. Eficacia
• Cuantificación de errores:
• Promedio de errores por tarea
• Promedio de errores por perfil de usuario
• Gravedad de los errores:
• Menores
• Moderados
• Serios

12. Eficiencia
• Tiempo:
• Manual
• Automático

13. Eficiencia
• Cuantificación del tiempo:
• Tiempo promedio por tarea.
• Distribución por rangos de tiempos.

14. • Medición cualitativa:
• Cuestionarios
posteriores a cada
tarea: facilidad de uso.
• Cuestionarios
posteriores a la prueba:
• SUS (System
Usability Scale)
•
Satisfacción

15. Validez de los resultados
• Los valores absolutos para determinadas métricas
carecen de un significado específico.
• Los resultados obtenidos deben siempre
compararse con otras mediciones para determinar
su verdadera significancia.
• Pruebas con 5 usuarios tienen dispersiones muy
altas. Para reducirlas al menos necesitamos 12
usuarios.

16. ¿Por qué testear con 6 usuarios?
16
Cantidad de usuarios
Problemasdeusabilidad
Fuente: Nielsen, Jakob: “Why you only need to test with 5 users”

17. Fuente:
Quantitative
Studies: How Many
Users to Test? Por
Jakob Nielsen.
Validez de los resultados
Intervalos de confianza y márgenes de error

18. Retorno de la inversión
• Reducción de costos:
• Desarrollo
• Mantenimiento
• Capacitación
• Soporte

19. Retorno de la inversión
• Reducción de costos de desarrollo y mantenimiento:
• Corregir un problema cuesta:
• 1x10 en la fase de desarrollo
• 1x100 luego del lanzamiento (Weinschenk 2005)
• La mayoría de los costos de mantenimiento están
asociados a requerimientos poco o nada
satisfechos. (Pressman, 1992)

20. Facilidad de Uso
(Usabilidad)
Tiempo de aprendizaje =
Horas capacitación
Retorno de la inversión
• Reducción de los costos de capacitación:

21. Retorno de la inversión
• Reducción de costos de soporte:
• Una llamada a un Call Center puede costar entre
U$s12.- y U$s250.- (Karat &Lund, 2005)
• El 20% de los usuarios de sitios de eCommerce
pueden llamar a soporte si encuentran un
problema. (Souza, 2001)

22. Retorno de inversión
Ejemplo:
• Una empresa tiene 100 clientes. 20 de ellos llaman una vez al
mes a atención a clientes porque tienen un problema que no
pueden resolver en la Web de la empresa.
• El costo promedio de cada llamada es de US$120
• Al mes el costo es de US$2380
• Al año: US$28.560
22

23. Retorno de la inversión
• Incremento de:
• Ventas, participación de mercado e ingresos
• Visitas y conversiones
• Productividad interna

24. Retorno de inversión
ROI = Beneficio / Inversión
• Ejemplo:
• Inversión de $10.000
• Beneficio de $1.000
• ROI 10%

25. Retorno de inversión
• Para poder estimar el ROI se requieren unidades
expresadas en moneda.
• El beneficio debe estar directamente relacionado
con los ingresos o los costos.
• Sitios de eCommerce o Intranets.

26. Retorno de inversión
• Para el resto de las interfaces se puede hablar de porcentajes de
mejora.
• Indicadores:
• Visitas
• Páginas vistas por usuario
• Tiempo de permanencia
• Conversiones de objetivos
• Cantidad de contactos

27. Retorno de inversión
• Modelo de 7 pasos:
• Definir el objetivo global
• Establecer objetivos medibles
• Construir los indicadores
• Tomar mediciones previas
• Tomar mediciones posteriores
• Contrastar resultados
• Iterar

28. Retorno de la inversión
• Con una inversión en usabilidad del 10% del costo
de un proyecto se genera en promedio una
mejora del 83% en las métricas de una interfaz.
(Nielsen, 2008)
• Existe una gran dispersión de los valores que
pueden obtenerse como resultado, pero todos
son positivos.

29. Retorno de inveresión
• Existen una serie de factores que afectan los
resultados:
• Tipo de interfaz
• Industria
• Tamaño de empresa
• Metodología de desarrollo
• Nivel de usabilidad existente

30. Retorno de la inversión
Cada empresa debe establecer sus
propias métricas de UX alineadas con las
KPIs del negocio.

31. Juan Manuel Carraro
juan@keikendo.com
www.keikendo.com
¡Muchas Gracias!