Título: Metodología para el estudio de la usabilidad de un sitio con niños.
Diana Fernández Zalazar, Alejandro Karpicius Zardalevich, Carlos Neri.
Introducción:
Antes de avanzar en la explicitación de nuestro trabajo realizaremos una puesta al día de la base conceptual y metodológica que se desarrolla respecto de los estudios de usabilidad.
proyecto de mayo inicial 5 añitos aprender es bueno para tu niño
Estudio de usabilidad con niños
1. Psicología y Problemáticas Sociales
Área temática: Problemáticas Psicosociales
Título: Metodología para el estudio de la usabilidad de un sitio con niños.
Diana Fernández Zalazar, Alejandro Karpicius Zardalevich, Carlos Neri.
Introducción:
Antes de avanzar en la explicitación de nuestro trabajo realizaremos una puesta al
día de la base conceptual y metodológica que se desarrolla respecto de los estudios
de usabilidad.
Al menos dos tipos de definiciones parecen desprenderse del concepto de
usabilidad, una definición débil y una definición fuerte. La versión débil es la
meramente tecnológica y alude a las condiciones que un sitio debe tener para ser
leído correctamente por cualquier tipo de software o hardware.1 Esta definición es
por supuesto una condición necesaria pero no suficiente, dado que debe quedar
integrada a la definición fuerte que si duda es la que alude a la experiencia del
usuario. Esta diferenciación de definiciones aparece también señalada en las
normas ISO/IEC 9126: "La usabilidad se refiere a la capacidad de un software de ser
comprendido, aprendido, usado y ser atractivo para el usuario, en condiciones
específicas de uso" y en ISO/IEC 9140: "Usabilidad es la efectividad, eficiencia y
satisfacción con la que un producto permite alcanzar objetivos específicos a usuarios
específicos en un contexto de uso específico"2
En su definición fuerte usabilidad alude a las condiciones de uso de un sitio y su
análisis mediante test cualitativos y cuantitativos de los problemas que un grupo de
usuarios encuentra en su relación con el producto.3 En este caso se trata de un
conjunto de técnicas que ayudan a los seres humanos a realizar tareas en entornos
1 En el capitulo de Bytes y papel, Hacia una epistemología del diseño en web, aludimos a una serie
de prescripciones para el buen funcionamiento de la web.
2 http://www.usability.serco.com/trump/resources/standards.htm#9126-1. Hemos usado la traducción
aparecida en www.aida.com
3 En el caso de la Web, en el desarrollo de análisis y técnicas no puede dejar de mencionarse el
nombre de Jacob Nielsen, pero aclarando que no se agota en su metodología el tema.
1
2. gráficos en interacción con la computadora. César Martín señala: “Trabajamos para
seres humanos, que quieren realizar una tarea de una forma sencilla y eficaz y en
este caso particular, la deben realizar frente a un ordenador en un entorno grafico,
la web. La usabilidad ayuda a que esta tarea se realice de una forma sencilla
analizando el comportamiento humano, y los pasos necesarios para ejecutar la tarea
de una forma eficaz.”
Desarrollo:
Midiendo la experiencia del usuario.
Un laboratorio destinado a los problemas de usabilidad debe seguir una serie de
pautas y de claridad conceptual para entender que la medición siempre es una
aproximación que debe combinar elementos cualitativos y cuantitativos. Saber lo que
se está midiendo es fundamental para no caer en la paradoja que planteó Binet con
su test de medición de inteligencia cuando definió la inteligencia a partir de lo que
media su test. Nos encontramos en una etapa muy primaria donde se han
desplazado metodologías de otras áreas a la complejidad de la Web. Como observa
muy agudamente Adolfo Estrella: “..Al mismo tiempo, el cuerpo teórico de estos
desarrollos de evaluación de la usabilidad no superan la condición de
'generalizaciones empíricas', es decir, conclusiones extraídas a partir de la
observación del comportamiento concreto de algunos usuarios frente a un site. No
hay todavía teorías sustantivas que expliquen la complejidad de los procesos de
interacción con los sites. Por este motivo, la mayor parte de lo que se entiende por
estudios de usability, se limitan a los aspectos más operativos de la relación del
usuario con el interfaz, siendo sus productos habituales consejos del más riguroso
sentido común acerca de cómo diseñar una página .” 4
Tomando ese recaudo la medición debería analizar la experiencia y los
inconvenientes que un grupo de usuarios determinados tienen con un sitio. Para
esto se deben combinar herramientas y métodos cualitativos y cuantitativos.
El test de usabilidad desarrolla experimentos para obtener información específica
acerca de un diseño. Los test tienen su raíz en la psicología experimental, lo que
4 Adolfo Estrella es licenciado en Sociología por la Universidad Complutense de Madrid. Sueña con
terminar algún día su tesis doctoral. Nació en Santiago de Chile hace 43 años, pero reside desde
hace 20 años en España.. De su articulo pensar la Usability.
http://enredando.com/cas/enredantes/enredantes140.html
2
3. viene a significar la confianza en el tratamiento estadístico de los datos. Hoy con
más interés en la interpretación de los resultados que en las cifras a las que
conducen los datos, se da menos importancia a los números y más a otras variables
que surgen o se descubren mediante el test.
Metodología.
El presente estudio fue pensado en base a tres de líneas de investigación, un
análisis heurístico, pruebas de usabilidad aplicando un software de seguimiento de
las acciones del usuario al realizar las tareas y encuesta post tareas de
contextualización del usuario y sus consumos.
Análisis Heurístico
La metodología heurística en usabilidad es un análisis de un sitio por especialistas
siguiendo una serie de pautas. Para este caso se utilizó la grilla desarrollada por
Yuseff Hasaan Montero y la versión de Torres Burriel adaptadas al caso.
La indagación por parte de especialistas fue seguir una serie de pautas sobre el
funcionamiento del sitio y a la vez las mismas funcionaron como hipótesis del trabajo
con usuarios. Es un relevamiento previo que busca detectar las problemáticas más
visibles que aparecen en las tareas con usuarios para luego contrastarlas con los
mismos mediante la prueba experimental. Algunos de los objetivos de esta
metodología son:
1. “Estudiar la audiencia objetivo y las tareas típicas.
2. Navegación exploratoria por las páginas de la interfaz.
3. Examinar la interfaz de las páginas, siguiendo una lista de criterios
establecidos.
4. Agrupar la lista de problemas de usabilidad y asignar la gravedad según su
importancia y frecuencia.
5. Analizar los resultados y buscar soluciones.”5
5 http://www.usolab.com/servicios/analisis.php
3
4. Elección de los RRHH, características del relevamiento y modalidad de
indagación.
Para el desarrollo de la tarea fue de vital importancia la constitución de un equipo
interdisciplinario constituido por especialistas en usabilidad, psicología y metodología
que diseñó la experiencia y su implementación. La elección de RRHH con un perfil
amplio que maneje conocimientos tanto de aspectos técnicos, metodológicos y
teóricos pertinentes a este campo forma parte sustantiva para el éxito del mismo.
En nuestro caso seleccionamos para el equipo dos expertos en usabilidad (un
psicólogo y un tecnólogo educativo), una asesora metodológica para el diseño y
monitoreo de los test de usuarios y encuestas (psicóloga) y dos entrevistadores con
amplio manejo en el trabajo de investigación con niños y tecnología (psicólogos). En
el procesamiento, análisis y discusión de los datos trabajó todo el equipo.
Este tipo de trabajo no tiene antecedentes en Hispanoamérica ya que la muestra
sobre la que trabajamos ascendió a 30 casos comprendidos en un rango etario de 7
a 11 años, 60%varones, 40% niñas, usuarios frecuentes del sitio a evaluar y la
mitad de ellos con registro previo en el mismo.
Como primer paso metodológico realizamos entrevistas con los responsables del
sitio para niños para poder indagar cuáles eran sus expectativas y necesidades. A
partir de allí se generó un documento donde quedó de manera explícita la demanda
del cliente y se convino la cantidad y tipo de tareas a realizar para la investigación.
Una vez acordados los objetivos, el tiempo y la forma de la devolución se pasó al
desarrollo e implementación del dispositivo experimental.
Las herramientas que se eligieron:
Se confeccionaron para las pruebas de test de tareas dos grillas adaptadas a las
preferencias según el género y con variaciones dentro de cada ítem según el rango
etario, teniendo en cuenta que hay juegos cuya complejidad no puede ser abordada
por niños pequeños, pues lo que hacen es abandonar la interacción con el sitio y ello
impide evaluar la performance, flexibilidad y otras características propias de los test
de usabilidad. También se confeccionó un documento con recomendaciones para
los entrevistadores respecto del modo y el lenguaje que deben tener las consignas
4
5. apropiadas a la población infantil. Se confeccionarion consignas concretas para
invitar a la utilización determinado juego o recurso, la estimulación de opiniones y
comentarios sobre un aspecto preciso evitando la inducción y sugerencias por parte
del entrevistador. Todo el desarrollo de las pruebas fue realizado por los
entrevistadores en una cámara Gesell. Las tareas fueron clasificadas según se
lograron o no los objetivos tabulándolas como: completó, completó con dificultades y
no completó. Se consignaron también los tiempos y observaciones que surgían de la
realización de las mismas. Para el final de la prueba de test se confeccionó una
encuesta post-tareas de contextualización del usuario y sus consumos que se anexó
en un reporte adicional. Si bien este reporte no se encuadra propiamente dentro del
estudio de usabilidad (ya que se orienta a los usos y preferencias de los usuarios
respecto del sitio, el canal y la competencia); sin embargo mostró cierta relación en
función de algunas de las respuestas y sugerencias dadas por los usuarios en
relación al sitio; siendo que además muchas de estas opiniones se correspondieron
con algunas recomendaciones propuestas luego en el estudio de usabilidad.
Luego del diseño y elección de las herramientas se realizó una prueba beta con el
10% de los usuarios previstos sobre el total de la muestra, donde se ajustaron los
procedimientos técnicos y los protocolos para la recolección de datos.
Los requerimientos técnicos para la implementación del laboratorio de usabilidad
figuran en el Anexo Técnico del final. Se han tomado como referencia normas y
estándares internacionales.6
Para el análisis y la elaboración de los resultados se tomaron los datos provistos por
lo registrado en: la grilla de tareas, la captura a través del software de los
movimientos de navegación durante la prueba, la encuesta, las conversaciones
registradas durante la prueba y la filmación desde la cámara ambiente situada en la
cámara Gesell. Del procesamiento y cruce de los datos se elaboró el informe final
que constó de: el análisis heurístico a modo de hipótesis, el análisis y seguimiento
de las tareas con la generación de gráficos que muestran tendencias respecto de los
6 Se han tomado como referencia la normas internacionales como son las ISO 9241-2:
Part 2:Guidance on task requirements (1992) ISO 10075-1: Ergonomic principles related to mental
workload , ISO TR 18529: Ergonomics of human-system interaction - Human-centred lifecycle process
descriptions (2000) y las pautas generales de la W3C
5
6. objetivos especificados y el reporte final que cruza los datos contextuales de los
usos y preferencias de los usuarios resaltando los que tienen relación con la
usabilidad del sitio. Finalmente se elaboró un informe con las recomendaciones para
el rediseño y además se sugirieron nuevas líneas a investigar para un nuevo
desarrollo.
Conclusiones y recomendaciones
En síntesis, el estudio generó una articulación entre patrones de errores esperables
(heurisitico), seguimiento por software de la actividad del sujeto en pantalla y
encuesta que pone a todas las instancias en relación con la dimensión socio-cultural.
La importancia de diseñar una situación de laboratorio para un estudio de usabilidad
radica en que hasta cierto punto se simulan las condiciones de navegación de los
usuarios. La combinación de un estudio heuristico realizado por expertos ( definidos
como usuarios conocedores del sistema) en base a una grilla de recolección de
datos por presencia o ausencia, suele ser un elemento fundamental para detectar
grandes errores del diseño en la interacción y funciona como hipótesis de trabajo
para las pruebas con usuarios, las que por su naturaleza de seguimiento de tareas
realizadas no sólo confirmar los errores sino que aportan una nueva dimensión en
relación a las problemáticas más cognitivas. La encuesta final después de realizada
la experiencia en cámara Gesell aporta la dimensión socio-cultural, en este caso en
relación a consumos culturales de los niños. La presentación de estas tres instancias
de evaluación del usuario, las metodologías creadas, la dimensión de la muestra y el
hecho de trabajar sistemáticamente con las formas de navegación de los niños,
hacen de este estudio una oportunidad para transferir la metodología a otras
instancias, como es el estudio de las formas de utilización de la Web en relación al
diseño de software educativo. Cabe recalcar que este tipo de tareas hace necesario
el perfil de un psicólogo experto en tecnología, pero entendiendo que dicho perfil es
indispensable en la medida en que pueda poner en juego saberes y procedimientos
al servicio de un equipo interdisciplinario.
6
7. Bibliografía
Acciardi, M.; Freijoo, F.; Oses, M: "Las interacciones grupales mediadas por
tecnología.Análisis de los grupos "First Person Shooter" en Memorias de XVI
Jornadas de Investigación Facultad de Psicología UBA, 5to encuentro de
Investigación en Psicología del Mercosur, pág 441,Buenos Aires.ISSN 1667-6750,
2009.
Boersner J, Neri C. (2007) La lectura entre dos blog en diálogo. Revista Tramas y
Texturas. España.
Fernández Zalazar y Neri C. Telarañas de conocimiento. Cap. VII y VIII. Los
problemas de accesibilidad y usabilidad general de la Web. Y Web semántica
como forma dinámica de un mejor acceso para todos. Ed. Libros y Bytes.
Colección Culturas en Red. Buenos Aires. 2008.
Fernández Zalazar,D.: "Síntesis y Avance del Proyecto "Videojuegos, Psicología y
Educación" en Memorias de XVI Jornadas de Investigación Facultad de Psicología
UBA, 5to encuentro de Investigación en Psicología del Mercosur,pág 495, Buenos
Aires.ISSN 1667-6750, 2009.
Fernández Zalazar, D Budich, P.; Oses, M.; Damiani,R.;: La Estrategia en los
videojuegos en Memorias de XVI Jornadas de Investigación Facultad de Psicología
UBA, 5to encuentro de Investigación en Psicología del Mercosur,pág 441, Buenos
Aires.ISSN 1667-6750, 2009.
Gianni, K.; Schiavello, G.; Paz, S.: "Narrativa y Videojuegos" en Memorias de XVI
Jornadas de Investigación Facultad de Psicología UBA, 5to encuentro de
Investigación en Psicología del Mercosur,pág 514, Buenos Aires.ISSN 1667-6750,
2009.
Neri, C. Editando la interacción. Lectoescritura y participación a la luz de la
web 2. Revista espacios. Buenos Aires. 2007.
Neri, Carlos. El concepto de usabilidad y sus avatares en No todo es Click.
Ed Libros y Bytes. Buenos Aires. 2005.
Neri, C. Card Sorting. Modelos mentales y clasificación de la información
Ficha de la cátedra. 2005.
Nielsen, Jacob. Usabilidad. Diseño de sitios Web. Ed. Pearson educación. Madrid.
2003
Ronselfend y Morville. Arquitectura de la información. Ed. Macgraw Hill. México.
2000.
7
8. Referencias electrónicas:
Caplan, G Creación de sitios para personas con minusvalías Galería de
diseño web. Ed. Inforbooks. ISBN: 84-95318-81. Madrid. 2002.
Caplan, Graciela. Accesibilidad en la red. En No todo es Click. Ed Libros y
Bytes. Buenos Aires. 2005.
Garret, J. Los elementos de la experiencia del usuario. 2000.
http://www.jjg.net/elements/translations/elements_es.pdf
Gutierrez y Restrepo, Emanuelle. Por qué son insuficientes los estándares y
la revisión automática. http://bitacoras.sidar.org/emmanuelle/index.php/
Hassan y Fernández. Card Sorting: Técnica de categorización de
contenidos. 2004. http://www.nosolousabilidad.com/articulos/cardsorting.htm
Hassan y Nuñez Ana. Diseño de arquitecturas de información: descripción
y clasificación.
http://www.nosolousabilidad.com/articulos/descripcion_y_clasificacion.htm
Hom. James. Recopilación de métodos de usabilidad. Traducción: Alejandro
Floria del Área de Ingeniería de Proyectos del Departamento de Ingeniería de
Diseño y Fabricación del Centro Politécnico Superior de la Universidad de
Zaragoza. http://www.sidar.org/visitable/Herramientas.htm. 2000.
Infoodesign, ¿What is a escenary? Traducción de la cátedra. Original en
http://www.infodesign.com.au/ftp/Scenarios.pdf
Neri, C. Bytes y Papel. Buenos Aires. Ed. Editando Lo digital. 2002. Libro digital.
http://www.lodigital.com.ar
Neri, Carlos. La conectividad de la gente. Ponencia V congreso
internacional de Sidar. Mar del Plata. 2001. En No todo es Click. Ed Libros y
Bytes. Buenos Aires. 2005.
Noriega, M. Cómo recuperamos la web: de la guerra de navegadores a la
web 2.0, pasando por los microformatos. 2005.
http://www.alzado.org/articulo.php?id_art=440
Orihuela, J y Santos M. Guía para el Diseño y Evaluación de Proyectos de
Comunicación Digital. 2005. http://www.unav.es/digilab/guia/intro.htm
Romero Zuniga, Rafael. Usabilidad y accesibilidad, dos enfoques
complementarios. http://acceso.uv.es/accesibilidad/artics/01-
usabilidadaccesibilidad.htm.
Yusef Hassan .Accesibilidad, Usabilidad y Estética.
http://www.bitacoras.sidar.org/g4/index.php?2005/03/11/6-accesibilidadusabilidad-
y-estetica
8
9. Yusef Hassan y Fernández F. Diseño Inclusivo: marco metodológico para el
desarrollo de sitios web accesibles.
http://www.nosolousabilidad.com/articulos/diseno_inclusivo.htm
http://www.ainda.info/problemas_evaluacion.html
http://albertolacalle.com/hci_estandares.htm
http://enredando.com/cas/enredantes/enredantes140.html
http://is.ls.fi.upm.es/xavier/usabilityframework/tecnicas.php
http://www.nosolousabilidad.com/articulos/test_usuarios.htm
http://www.usabilitynet.org/papers/muspmm97.pdf
9
10. Anexo Técnico
Un test de usabilidad en laboratorio (TUL) requiere de tecnología, tanto de software
como de hardware y estándares en la industria actual. Para el caso particular del
hardware utilizado, este se dividió en tres áreas, la primera enfocada en los
requerimientos para las terminales de usuario, la segunda en las necesidades
específicas de captura tanto de audio como de video y la tercera destinada a las
terminales de observación de la experiencia.
Para las terminales de usuario se utilizaron tres ordenadores personales de
escritorio idénticos en cuanto a capacidades, estas incluían la necesidad de
monitores planos (LCD) de al menos 17 pulgadas necesarios tanto para un
descanso visual durante el test, como también que fueran antireflejo ante las tomas
de las cámaras de ambiente. En lo referido a las CPU solo se requirío un disco rígido
por cada una de al menos 160 GB para el almacenamiento de los datos primarios
de las tomas y el sistema operativo Windows XP con el navegador Internet Explorer,
esto último en respuesta a replicar el ambiente tipo del usuario promedio del sitio,
derivado de las estadísticas de uso del mismo.
La segunda área referida a los requerimientos de audio y video, se utilizaron cuatro
cámaras en toda la experiencia. Dos de la cámaras estarían dispuestas en cada uno
de los dos terminales de usuario. Estas fueron cams convencionales pero con una
resolución de 1024 por 768 pixeles cáda una con micrófono incorporado para audio
estéreo. La tercer cámara utilizada fué una cámara IP para monitoréo ambiental de
la experiencia, necesaria para análisis del dispositivo metodológico (los usuarios, los
entrevistadores, las terminales de trabajo) como así también para lectura del
coordinador sobre lenguaje corporal de los usuarios en todo momento de la
experiencia. La última cámara se utilizó para la grabación tanto de la cámara Gesell
como de los dos observadores a cargo de la experiencia. La necesidad de las dos
últimas cámaras se fundamenta en la revisión al final de cada jornada de las
técnicas y la coordinación del equipo de trabajo para detectar fallas o errores en el
proceso de las tomas. La tercer área recae sobre el hardware utilizado por los
observadores remotos, ubicados fuera de la cámara Gesell quienes utilizaron dos
laptops y una netbook con configuraciones similares más un disco rígido externo
para el manejo de copias de seguridad.
10
11. El software utilizado se seleccionó en base a la naturaleza de la experiencia con
niños, que requería de observación remota. El software es una suite que consta de
tres clientes para diferentes fines dentro del estudio TUL. El primer cliente instalado
en las terminales de usuario cumplió dos funciones, la primera de contener la grilla
de tareas que debía realizar el usuario y la segunda, la grabación de todo el fuente
(audio, video y datos). El segundo cliente, instalado en las laptops de los
observadores, cumplía la función de iniciar la captura en forma remota, y cargar las
grillas de tareas y datos de las terminales de usuarios. También contenía las
herramientas necesarias para que los observadores, vean la actividad del usuario en
pantalla y a su vez puedan marcar las métricas, observaciones, comentarios y
expresiones del usuario, como también ponderar cada una de las tareas en una
planilla que luego se coordina con la información de cada sesión. El tercer cliente
cumple la función de unir los datos de las terminales de usuario y las terminales de
observación para posteriormente generar información estadística de uso por cada
sesión de usuario y revisar la experiencia con toda la información. Por último, se
utilizó un software de edición de video para compaginar ciertos momentos relevantes
de algunas sesiones, a fin de adjuntar al informe final una muestra de los problemas
detectados en formato audiovisual.
11