Este documento apresenta um estudo sobre técnicas de medição de usabilidade de interfaces, realizado por alunos da Universidade Federal do Amazonas. O objetivo é realizar uma revisão sistemática preliminar para encontrar métodos de avaliação de usabilidade com foco em eficiência e pré-desenvolvimento, além de analisar os comportamentos de usuários do site Ingresse.com através de testes A/B e pesquisas.

1. Ciência da Computação
Instituto de Computação
Universidade Federal do Amazonas
CASE INGRESSE: UM ESTUDO SOBRE AS
TÉCNICAS DE MEDIÇÃO DE USABILIDADE

2. Ciência da Computação
Instituto de Computação
Universidade Federal do Amazonas
CASE INGRESSE: UM ESTUDO SOBRE AS
TÉCNICAS DE MEDIÇÃO DE USABILIDADE
Aluno Profa. Orientadora
Marcelo Henrique Silva Tayana Conte
mhss@dcc.ufam.edu.br tayana@dcc.ufam.edu.br

3. Em 2011 no Brasil
45% população possui
computadores
59% desse total procura preços
na internet e
29% fizeram ao menos 1
compra no ano
fonte: CETIC, 2011
$10,2 bilhões $684 bilhões
movimentação financeira na internet em movimentação financeira
no primeiro semestre 2012 pela internet nos EUA em 2010
fonte: Camara-e.net, 2012 fonte: CNN, 2013
3

4. Conceito I
Conversão - activation
Momento em que o usuário faz uso do seu produto ou serviço
4

5. Investimento em usabilidade é essencial
para a disputa de atenção do usuário.
- Sutcliffe et al, 2002
Métricas de usabilidade divididas em três
grupos: efetividade, eficiência e satisfação.
- ANSI 2001, ISO 1998
5

6. As métricas para usabilidade não
descrevem o comportamento do usuário
como de fato é
- Ivory et al, 2001
Aumentar a significância de dados de
usabilidade, é preciso usar uma única
métrica
- Sauro et al, 2005
6

7. Conceito II
Efetividade - effectiveness
Dentro da usabilidade, define-se como
7

8. Objetivo
Realizar um estudo preliminar para encontrar métodos de
avaliação de usabilidade com foco em eficiência e pré-
desenvolvimento
e
Encontrar padrões de comportamento de usuários, com fundamento
visual, através do case Ingresse
8

9. Revisão Sistemática - preliminar
Que métodos ou ferramentas de avaliação de usabilidade
tem sido utilizados para calcular a eficácia de interfaces?
9

10. Extração de conteúdo
1. Boas práticas para a criação de interfaces eficazes
2. Campos de estudo sobre eficácia de interfaces web
3. Tipos de técnicas de avaliação de interfaces
4. Modelos de medição de usabilidade
10

11. Pesquisa realizada para o período
1996 ~ 2012
Início das fortes publicações sobre
web engeneering até o ano corrente
fonte: Fernandez et al, 2010
Google Schoolar
foi a máquina de busca utilizada, dentre
as fontes, destacam-se ACM Digital
Library e Science Direct
11

12. Query string
WEB (web OR website OR internet OR e-commerce OR
mail-marketing) AND
USABILITY (usability OR usable) AND
EVALUATION (evalu* OR measur* OR stud* OR method* OR
techin*) AND
EFFECTIVENESS (effect* OR convert*)
12

13. Critérios de inclusão
Artigos que
- apresentavam definições do conceito de eficácia dentro da usabilidade
- descreviam técnicas ou ferramentas de avaliação de interfaces
- apresentavam formas de medir usabilidade
- apresentavam cases de aplicação de técnicas de avaliação de interfaces
13

14. Critérios de exclusão
Artigos
- apresentando somente definições gerais de usabilidade
- apresentando somente técnicas de acessibilidade
- introdutórios aos conceitos de usabilidade
- não escritos em inglês
- com técnicas de medidas de usabilidade feitas especificamente para um
tipo de ferramenta
14

15. Critérios de qualidade
ordenar os resultados para concentrar nos artigos mais relevantes
15

16. Tabela de pontos
(-1) não
O estudo apresenta/descreve uma ferramenta ou técnica para avaliação de
a (0) descreve
usabilidade de uma interface
(+1) Descreve bem
(-1) não
b O estudo descreve boas práticas de usabilidade para o campo de eficácia (0) descreve
(+1) descreve bem
(-1) não
c O estudo possui resultados claros ao final (0) parcialmente
(+1) possui
(-1) até 2000
d O estudo possui publicação recente (0) 2000 até 2003
(+1) de 2003 em diante
(-1) Não
e O estudo define métricas quantitativas de usabilidade (0) Descreve
(+1) Descreve bem
16

17. Extração de dados
Concepção
1 Boas práticas para criação de interfaces eficazes Desenvolvimento
Teste
Técnico
2 Campos de estudo sobre eficácia de interfaces web
Subjetivo
Conceitual
3 Tipos de técnica de avaliação de interface Desenvolvimento
Empírica
Quantitativos
4 Modelos de medição de usabilidade de interfaces
Qualitativos
17

18. Revisão sistemática
Resultados encontrados
18

19. Em números a pesquisa automática encontrou
100 Artigos lidos para o primeiro filtro
38 (descartou-se repetições)
Artigos selecionados no primeiro filtro
-1 0 1
a 13 12 13
b 28 4 6
c 4 14 20
d 2 14 22
e 28 4 6
19

20. -1 0 1
13 12 13 Rica base de estudos com técnicas de avaliação de usabilidades
Poucos estudos com objetivo de apontar boas práticas
28 4 6
estabelecidas
Qualidade alta de resultados encontrados, com sólidos testes
4 14 20 dos mesmos
2 14 22 Material com bom índice de atualização.
28 4 6 Quase nenhum estudo apresenta métricas de usabilidade
20

21. Usuários Ingresse.com
Estudo de caso comportamental
21

22. Coleta realizada no período de
FEV ~ MAR
com o site e seus usuários reais
remotamente
Manaus
São Paulo
são as duas cidades com maior
quantidade de pessoas
KISS Metrics
Crazy Egg
Foram as duas ferramentas utilizadas
para coleta de dados remotamente
22

23. Concentração no objetivo
Elemento de seleção para
selecionar
Palavra de ação para o que deseja
fazer
23

24. Comportamentos
interessantes
Cliques no ícone de mapa
Cliques no ícone de descrição do
evento
24

25. 25

26. Antes
A/B Teste
Compra com 1 clique
Taxa de aceitação antes
20/semana
Taxa de aceitação depois
20/semana
Somente as mudanças
visuais não foram
suficientes para aumentar
conversão neste caso.
Depois 26

27. Manaus
Pesquisa realizada no período de é a cidade com maior predominância
FEV ~ MAR
nas pesquisas
com os usuários do site
180 pessoas responderam a
pesquisa
27

28. 66,84 %
Disseram considerar o pôster do Co-founding factor
evento, ou a marca do organizador
marca reconhecida pode ser entendida
como item relevante para julgar um
tanto como logotipo ou renome
evento como bom
28

29. 92.6 % 92.6 %
Afirmam que o visual é o Afirmam que o visual é o
primeiro fator de influência primeiro fator de influência
fonte: Loyalty Square fonte: Loyalty Square
26
é a porcentagem a mais
26
de reconhecimento de é a porcentagem a mais
% propagandas coloridas de reconhecimento de
% propagandas coloridas
fonte: Hermie, P. Stop/watch: everything on the
impact of advertisements in magazines. fonte: Hermie, P. Stop/watch: everything on the
Medialogue; 2005 impact of advertisements in magazines.
Medialogue; 2005
29

30. Completeness meter
A presença de barras de progresso
- Melhoram resultados de pesquisa de
satisfação
To Dos
- Aumentam engajamento
It turns out that when you finish a
75 das pessoas preferem a presença complex task, your brain releases
% de uma barra de progresso massive quantities of endorphins.
_ Hugo Liu, MIT
fonte: Lightspeed Research and Kantar; 2012
30

31. Trabalhos futuros
Mapeamento de elementos visuais
e o comportamento aferido a estes
31

32. Trabalhos futuros
Resultado que deverá ser entregue
como parte do Projeto Final II
32

33. Ciência da Computação
Instituto de Computação
Universidade Federal do Amazonas
CASE INGRESSE: UM ESTUDO SOBRE AS
TÉCNICAS DE MEDIÇÃO DE USABILIDADE
33