Este documento resume un artículo que analiza la extracción de aspectos relacionados con la usabilidad y experiencia de usuario a partir de reseñas de productos en línea. El artículo original propone dimensiones para clasificar comentarios de usuarios y entrena un clasificador de aprendizaje automático. El documento identifica contribuciones y limitaciones del artículo original, como la necesidad de mejorar el entrenamiento del clasificador y la validez de usar solo reseñas en línea.

1. Extracción de aspectos relevantes relacionados con la
usabilidad y la experiencia de usuario usando reseñas de
productos de sitios accesibles en línea
Javier Flores Altamirano
Estudiante de Maestría en Ciencias de la Computación
Universidad de las Américas Puebla
Puebla, México
javier.floresao@udlap.mx
Abstract—El objetivo de este documento es proporcionar una
retroalimentación a la contribución realizada por Stefeen
Hedegard y Jakob Grue Simonsen al área de experiencia de
usuario con la finalidad de encontrar áreas de oportunidad y
limitaciones que puedan apoyar futuros trabajos, además se
proporcionan comentarios críticos acerca de cada una de las
partes de esta aportación.
Keywords: dimensiones de experiencia de usuario,
experiencia de usuario, usabilidad, usuario
I. INTRODUCCIÓN
Generalmente cuando se hacen estudios para medir qué
tan usable es un sistema e identificar áreas de oportunidad
que indiquen mejoras para el mismo, es necesario realizar
pruebas de usuarios, las cuales deben ser planeadas con la
finalidad de establecer tareas con las que puedan probarse los
aspectos claves además de intereses particulares de la
aplicación, sistema y/o interfaz por parte de los evaluadores
o del cliente. Otro aspecto clave es la selección adecuada de
usuarios. En otras palabras escoger usuarios potenciales, los
cuales deben reunir características que permitan que su
evaluación tenga validez para el estudio que se está llevando
a cabo. La palabra validez hace referencia a que quizá los
usuarios seleccionados para esta clase de estudios, pueden
ser consumidores potenciales de la aplicación que están
evaluando o quizá pueden ser alguna clase de expertos cuya
retroalimentación será bastante útil. Por otro lado cuando se
hacen estudios un poco más informales la planeación y la
selección de usuarios no debe ser tan exhaustiva. Tal es el
caso del artículo revisado críticamente, en el cual el mismo
autor [1] hace referencia a que el estudio llevado a cabo fue
un tanto informal puesto que no se reclutaron usuarios para
llevar a cabo el análisis planeado, más bien utilizaron reseñas
realizadas a productos en distintos sitios Web por usuarios.
Una reseña o revisión es un fragmento de texto que
detalla ventajas y desventajas de un producto quizá
adicionando una recomendación. Las reseñas son realizadas
por usuarios y la mayoría del tiempo no tienen conciencia las
palabras que escriben con respecto a su experiencia con
determinado producto, sin embargo para el objetivo de
estudio cada una de las palabras es muy importante puesto
que puede ser considerada un aspecto relacionado con la
experiencia de usuario.
Diversos autores [2] han establecido ciertas dimensiones,
con las cuales es posible ubicar términos asociados con la
usabilidad y la experiencia de usuario. A pesar de que este
trabajo no se enfoca en aspectos de usabilidad como tal, hace
una pequeña referencia los mismos.
II. OBJETIVOS
Esta solución experimental centró su atención en el
contexto de la experiencia de usuario, con la finalidad de
lograr una cuantificación y cualificación del contenido de
información relacionada con UX y su asociación a una serie
de dimensiones propuestas. Para lo anterior fue necesaria la
creación de un vocabulario asociado a cada una de las
dimensiones previamente propuestas mismo que fue
obtenido producto del uso de técnicas de procesamiento de
lenguaje natural y aprendizaje automático. A pesar de que el
estudio fue dividido en tres partes uno de los objetivos fue la
creación y construcción de un clasificador de aprendizaje
automático, cuyo aprendizaje está basado en las palabras y
conceptos relevantes y relacionados con UX de cada una de
las reseñas.
III. CONSIDERACIONES INICIALES
Para la construcción del clasificador fue necesario que
los autores de la contribución consideraran al usuario en cada
una de las etapas del diseño puesto que debieron cuestionarse
sobre la forma en la cual este puede ayudar a realizar un
análisis humano, además de que en caso de que la solución
fuera viable esta contribución pudiera ayudar a pensar en
redefinir un producto basado en las preferencias del usuario
para luego rediseñarlo.
IV. DIMENSIONES DE USER EXPERIENCE
De acuerdo con [2], la usabilidad ha sido descrita como
la forma de medir la habilidad de los productos para ayudar
al usuario a resolver una tarea dada. De acuerdo con la
norma ISO9241 las dimensiones establecidas para medir la
usabilidad son la Efectividad, Eficiencia y Satisfacción. Se
han creado criterios que permiten la definición de más
dimensiones con la finalidad de especificar con mayor

2. detalle los aspectos de usabilidad. Las dimensiones para
clasificar la experiencia de usuario en este estudio fueron
ampliadas con mayor número de detalle utilizando
dimensiones asociadas a la usabilidad. La experiencia de
usuario [2] ha sido definida como la percepción y respuesta
de la interacción de un usuario con un producto, sistema o
servicio. Las dimensiones presentadas en la Tabla 1 hacen
referencia a las mismas que se utilizaron en el artículo
analizado. Dentro de la dimensión Clasicua (Classic
Usability) se encuentran los conceptos claves relacionados
con usabilidad. Con respecto a las tres categorías restantes
hacen referencia a los autores que las propusieron.
TABLE I. DIMENSIONES DE LA EXPERIENCIA DE USUARIO
CLASSICUA BEVAN [3] KETOLA [4, 5]
FREQUENT
[6]
Memorability
Learnability
Efficiency
Errors
Satisfaction
Likeability
Pleasure
Comfort
Trust
Anticipation
Overall Usability
Hedonic
Detailed usability
User differences
Support
Impact
Affect and
Emotion
Enjoyment,
Fun
Aesthetics,
Appeal
Engagement,
Flow
Motivation
Enchantment
Frustration
Hedonic
a. Dimensiones asociadas a la medición y clasificación de la experiencia de usuario
V. METODOLOGÍA EMPLEADA
Como se mencionó en la sección 2 de este documento el
estudio se dividió en tres etapas. Cada una de ellas empleó
una metodología diferente con la finalidad de realizar una
comparación y validar esta contribución:
A. Pre-estudio
En esta primera etapa se seleccionaron 24 reseñas de
distintas categorías de productos. Además 9 expertos fueron
seleccionados (7 académicos y 2 dedicados a la industria). A
cada uno de los expertos se les asignaron 2 reseñas mismas
que tuvieron que evaluar con la mayor cantidad de detalles y
precisión posibles. Cada revisión fue separada de forma
manual en enunciados y luego clasificada en las dimensiones
por los expertos, es importante mencionar que las
dimensiones podían repetirse. Los expertos trabajaron
durante algunas horas en sus reseñas. Los resultados se
mencionan a continuación: El 13% del total de los
enunciados fueron marcados como relevantes por los
expertos. El 36% por sólo uno de ellos. Mientras que el 51%
no fueron marcados como relevantes. Entre los hallazgos
sobresalientes se encontraron algunas incongruencias en la
categorización de los enunciados y su pertenencia a
determinada dimensión.
B. Primer estudio
Cabe señalar que para la realización del primer estudio se
utilizaron 520 reseñas las cuales pertenecían a sólo 2
categorías de productos, las cuales fueron Software y
videojuegos. Es importante mencionar que en este caso la
separación por enunciados no se hizo de forma manual por
alguna persona, lo hizo un sistema llamado Python NLTK,
mismo que fue previamente entrenado. Una vez que se
obtuvieron los enunciados, los que fueron utilizados se
seleccionaron de forma aleatoria. En la siguiente etapa
participaron los autores del trabajo analizado y dos de sus
estudiantes que fueron quienes realizaron las anotaciones.
Los estudiantes escribieron una pequeña introducción de las
dimensiones y en una especie de taller de 4 horas realizaron
las anotaciones guiados por uno de los autores.
Posteriormente tuvieron otras 4 horas para hacer anotaciones
de manera individual. Los resultados fueron computados al
término de esta etapa utilizando el análisis de Krippendorff.
Los estudiantes de manera individual continuaron realizando
anotaciones por dos semanas más durante 22 a 25 horas,
mientras que los autores durante una semana más por 10
horas.
C. Estudio final
De acuerdo a los resultados del estudio anterior se
encontró la necesidad de investigar el vocabulario empleado
por los usuarios cuando se trata de información relevante a
las dimensiones de UX. Una forma sencilla de extraer
vocabulario es construir un clasificador que una vez que fue
entrenado reconozca palabras asociadas a las dimensiones.
Un beneficio adicional es que el clasificador construido, si se
precisa, puede ser utilizado para el marcado automáticamente
una frase con las dimensiones que se refiere a UX. Es decir
se agrupa a cada frase en una dimensión en caso de
pertenecer a una dimensión de acuerdo al etiquetado. Tal
clasificador puede ser utilizado para cualquiera de ayuda
futuros investigadores en la anotación manual, o en la
disminución de la cantidad de frases a estudiar.
Es importante comentar que el entrenamiento del
clasificador se utilizaron una serie de palabras. Las etapas del
entrenamiento fueron las siguientes:
• Fase de pre-procesamiento: Cada uno de los
enunciados fue separado en palabras.
• Fase de división: El total de los datos se dividió
utilizando la técnica de validación cruzada.
• Etapa de formación: Para cada una de las
particiones se crean vectores asociando
características particulares (relacionadas con las
dimensiones de UX). Se realiza también el
entrenamiento de un Support Vector Machine
Lineal.
• Paso de clasificación y validación: Para cada
partición se asocia el SVM.
• Extracción de términos importantes para cada
dimensión: Para cada dimensión, se extrae de
las palabras más relevantes y se asocian a las
dimensiones.
Aunque se encontraron muchos beneficios y una
contribución importante para obtener el vocabulario
relacionado con las dimensiones utilizando el clasificador los
autores notaron que el clasificador aún se confunde o realiza
la clasificación de palabras que quizá son muy trivial, lo
anterior indica que el entrenamiento del clasificador debe

3. mejorarse. Se observó que para algunas de las palabras que
ocurren comúnmente el clasificador hace un buen trabajo, sin
embargo puede ayudar eliminando frases irrelevantes para
las dimensiones.
VI. CONTRIBUCIÓN AL ÁREA DE UX
Realmente la contribución más relevante de este artículo
es el aporte que realizar los autores al haber realizado un
análisis exhaustivo del estado del arte en cuanto a las
diferentes dimensiones existentes tanto en usabilidad como
en experiencia de usuario de tal forma que logran unir cada
una de las distintas clasificaciones realizadas por otros
estudiosos en el área de UX y las presentan juntas, lo cual es
sumamente útil si se quiere hacer un estudio que requiera ser
muy específico a la hora de realizar la asociación entre
términos.
Otra área de oportunidad es el trabajo de expertos en el
tema de usabilidad que si bien hacen un trabajo costoso al
momento de ubicar distintas frases en las dimensiones de UX
tienen mayor entendimiento y compresión del sentido de
cada uno de los comentarios de los usuarios, aspecto que el
clasificador aún no hace del todo bien puesto que fue
necesario contar con una mayor cantidad de datos que
permitiera entrenar mejor al clasificador de tal forma que
este no pierda información que realmente fuera relevante y
útil además de que no repitiera palabras entre las
dimensiones, la precisión aún no es del todo buena.
VII. LIMITACIONES
.Las limitaciones encontradas durante este análisis
arrojan que las reseñas tomadas de sitios disponibles en la
Web no son del todo válidas puesto que no se sabe qué tipo
de usuarios las escribieron. Algunas de ellas no parecieran
contener información detallada sobre situaciones de interés
con relación a la experiencia utilizando algún producto o qué
tan usable es el mismo.
Se encontró también que los usuarios a los cuales les
agradó demasiado un producto escribían reseñas muy
positivas y los usuarios que estaban totalmente en
desacuerdo escribían párrafos totalmente negativos, es decir
se cayó en los extremos.
Como se comentaba en párrafos anteriores los datos
considerados fueron limitados puesto que se seleccionaron
sólo elementos de algunas áreas, además el volumen de los
datos no permitió que el vocabulario fuera muy extenso
como para entrenar al clasificador.
VIII. CONCLUSIÓN
Para este tipo de pruebas pareciera que aún la presencia
de un ser humano realizando estudios como estos aún es
indispensable, puesto que puede comprender más el contexto
en el cual una persona escribió determinada reseña, a
diferencia de una máquina.
Los resultados arrojados por el primer estudio parecieran
tener mayor validez y relevancia puesto que expertos en el
tema de usabilidad y ux revisaron las frases y las analizaron.
Por el momento y con las herramientas con las que se
cuenta hoy en día resulta un tanto complicado que este tipo
de estudios, un tanto informales puedan reemplazar a los
estudios formales en un laboratorio de usabilidad
propiamente y a las pruebas de usabilidad reales con
usuarios.
REFERENCIAS
[1] S. Hedegaard, J. Grue, “Extracting Usability and User Experience
Information from Online User Reviews,”, CHI 2013: Changing
Perspectives, Francia, Paris.
[2] ISO 9241-11. Ergonomic requirements for office work with visual
display terminals (vdts)–part 11: Guidance on usability. International
Organization for Standardization, 1998.
[3] Bevan, N. Classifying and selecting ux and usability measures. In
International Workshop on Meaningful Measures: Valid Useful User
Experience Measurement (2008), 13–18.
[4] Ketola, P., and Roto, V. Exploring user experience measurement
needs. In 5th COST294-MAUSE Open Workshop on Valid Useful
User Experience Measurement (2008).
[5] Bevan, N. What is the difference between the purpose of usability and
user experience evaluation methods. In Proceedings of the Workshop
UXEM’09 (Interact 09) (2009).
[6] Bargas-Avila, J. A., and Hornbæk, K. Old wine in new bottles or
novel challenges: a critical analysis of empirical studies of user
experience. In Proceedings of the 2011 annual conference on Human
factors in computing systems, CHI ’11, The ACM Press (2011),
2689–2698.