Material produzido pelos alunos da Pós em Ergodesign de Interfaces, Usabilidade e Arquitetura de Informação da PUC-Rio (2013). Mini-seminários sobre o livro "Handbook of Usability Testing" (Rubin e Chrisnell). Prof. Luiz Agner

1. Seminário
Handbook of Usability Testing de Rubin e Chisnell
Adriana Silva, Letícia Brack e Saulo Chaves

2. CAPITULO 8
PREPARAÇÃO DOS MATERIAIS DE TESTE
Para dar início ao trabalho de teste de usabilidade é necessário desenvolver os
materiais de ensaios. Estes materiais serão usados para comunicação com os
participantes, coleta de dados e satisfazer os requisitos legais. Esses materiais
devem ser organizados com antecedência para evitar transtornos e um
preparo adequado para aplicação do teste.
Não saber que material de teste aplicar é uma demonstração de que há falhas
nos seus objetivos de teste e design teste.
É importante calcular o tempo para cada material antes da aplicação do teste
piloto.

3. CHECKLIST OU LISTA DE MATERIAIS PARA
APLICAÇÃO DE TESTES
1. Roteiro de orientação;
2. Questionário de fundo;
3. Instrumentos de coleta de dados;
4. Acordo de confidencialidade e consentimento de gravação;
5. Questionário pré-teste;
6. Cenários de tarefa;
7. Questionário pós-teste;
8. Guia de tópicos para prestação de contas.
Não são necessários a aplicação de
todos os materiais, deve-se criar
somente os materiais necessários
par responder as perguntas de sua
pesquisa.

4. OBSERVADORES
É necessário contar com a participação de um ou mais observadores, que
farão anotações que vão além do que é relatado pelo entrevistado, como
gestos ou comportamento do participante. O observador pode ficar ao lado do
entrevistado ou em outro ambiente, como sala de espelho. Ele não pode
constranger o entrevistado nem interferir no andamento do teste.

5. OBSERVADORES (regras)
○ Chegar antes do inicio do teste;
○ Escolher um local onde permanecerá durante a aplicação do teste;
○ Só sair durante o teste, em casos estritamente necessários;
○ Desligar o celular, de preferência na frente do entrevistado, fazendo
com que este tome a mesmo procedimento;
○ Não rir, emitir sons ou expressões faciais que possam constranger o
entrevistado durante as tarefas;
○ Prestar atenção ao moderador e ao participante;
○ A convite do moderador o observador pode fazer algumas perguntas
não tendenciosas, sem que altere o conteúdo do material.
○ Manter confidencial a identidade do participante;
○ Permanecer presente durante toda sessão do teste.
As anotações do observador ajudam a entender as informações colidas
durante o teste.

6. SCRIPT ORIENTAÇÃO, INTRODUÇÃO, OU ROTEIRO
O script pode ser lido para os participantes da área de testes ou em uma área
de espera antes de se mudar para o espaço de testes.
Ele ser lido na íntegra, porque ele servirá para descrever o que vai acontecer
durante uma sessão de testes, introduzindo a sessão na mente do
participantes.
Seu objetivo é colocar os entrevistados à vontade,informar o que eles vão
fazer, e reforçar o fato de que a interface e não o entrevistado é que estará
sendo testada.
Para um participante particularmente nervoso dar esta explicação inicial pode
garantir um melhor aproveitamento do teste.

7. SCRIPT ORIENTAÇÃO, INTRODUÇÃO, OU ROTEIRO
Ao desenvolver um roteiro (script) de orientação, há três grandes linhas
de orientação para lembrar.
1. Manter o tom do roteiro profissional, mas amigável
2. Não deve ser íntimo ou excessivamente familiar, como se os participantes
fossem seus amigos.
3. Manter um discurso breve, a menos que você tenha um teste
extremamente complexo, limite o roteiro de orientação para poucos
parágrafos. Todas as instruções com no máximo de duas páginas,
incluindo materiais de testes reais, como cenários de tarefas, como parte
de seu roteiro.
*** A leitura do script é importante para que a emoção do moderador não
influencie o entrevistado.
*** Pergunte após o script se ele tem alguma dúvida.

8. O PARTICIPANTE
É necessário manter os participantes confortáveis
Ofereça uma bebida (não alcoólica) para relaxar o participante. Se possível
beba junto com ele. Isso ira criar uma ligação com o entrevistado e o
moderador.
Agradeça ao entrevistado pela participação e quanto a sua contribuição
ajudará a melhorar produto, independentemente da forma como eles fazem.

9. INTRODUÇÃO DO TESTE
Anote o horário de início
Apresente-se, apresente o observador/es, agradeça por concordarem em
participar do estudo e esclareça a importância dos participantes, nos
resultados do teste.
Esclareça que durante a sessão usará o script para assegurar que as
instruções serão as mesmas para todos os participantes.
Esclareça o objetivo do teste e como se dará o procedimento de observação
(posição do observador, gravação de áudio, vídeo e etc)
Esclareça como serão aplicadas as tarefas e explique que os equipamentos
utilizados na sala de teste, são para ter a certeza sobre a precisão dos
resultados. Explique ao participante que o que está sendo testado é o produto.

10. INTRODUÇÃO DO TESTE (CONTINUAÇÃO)
Explique o que é esperado do Participante
Descrever como o teste de usabilidade vai continuar sem fornecer detalhes.
Na ocasião do teste, incentive os participantes a fazerem perguntas e tomarem
suas próprias decisões.
Evite qualquer referência às suas expectativas, ou sobre seu comportamento
ou desempenho.
Antes da sessão de teste
Evite frases e palavras tendênciosas. começar, os participantes irão
preencher um breve questionário,
juntamente com o acordo de
confidencialidade e direito de uso
da imagem para fins de estudo.

11. INTRODUÇÃO DO TESTE (CONTINUAÇÃO)
Não se surpreenda se, ao primeiro sinal de dificuldade, ouvir o murmúrio do
participante com refrão familiar,''Ah, eu sou um idiota. Isso não foi culpa do
programa,'' ou'' Eu só precisa de mais tempo para aprender a usá-lo.''
Explique quaisquer requisitos incomuns;
Mencione que pode fazer perguntas a qualquer momento (É claro, explicar que
você não pode responder a essas perguntas, a fim de simular a situação de o
testado estar sozinho e ter que confiar em suas próprias recursos e materiais à
mão);
Antes de começar, tenha a certeza absoluta de que os participantes
entenderam as suas instruções;
Consulte todos os formulários que precisam ser preenchidos e guarde-os. Isso
inclui também as permissões.

12. INTRODUÇÃO DO TESTE (CONTINUAÇÃO)
Questionário de fundo
Se o questionário de fundo é breve, então os participantes podem preenchê-lo
imediatamente antes do teste e se este for longo, pode ser enviado aos
participantes antes do teste. (deixe alguns formulários guardados para caso,
algum participante esqueça de trazê-lo).
O questionário de fundo, serve para fornecer informação histórica sobre os
participantes que vai ajudar você a entender o seu comportamento e
desempenho durante um teste.
Serve também para verificar se as pessoas que participam do teste possuem
as habilidades e conhecimentos esperados. Se você receber as pessoas
erradas (não qualificadas), você vai precisar decidir se vai usá-los ou liberá-
los.

13. INTRODUÇÃO DO TESTE (CONTINUAÇÃO)
Questionário de fundo (continuação)
O questionário de fundo serve, enfim, para determinar se um potencial
participante atenda aos requisitos de seleção e pode ser classificado em um
grupo de usuários. No entanto, vai além, explorando a formação e experiência
prévias.
Este questionário é composto de perguntas que revelam a experiência do
participante, atitudes e preferências em todas as áreas que podem afetar a
forma como eles farão o teste isto ajuda a explicar o comportamento de um
participante durante o teste.
Algumas informações do questionário de fundo são inicialmente obtidas a partir do perfil
de participante de seu plano de teste.

14. PROTÓTIPO OU PRODUTO A SER TESTADO
Caso o objeto a ser testado seja apenas um protótipo, é necessário que o
responsável tenha conhecimento das limitações do sistema e dos possíveis
caminhos para a realização das tarefas de modo que o usuário não se depare
com erros e locais sem saída.
Ao apresentar o protótipo o ao usuário, deve-se esclarecer que o mesmo não
está completo, e que na vida real um item ou outro encontrado estaria
funcionando de forma correta.

15. FERRAMENTAS DE DADOS
O objetivo dos instrumentos de coleta de dados é agilizar a coleta de todos os
dados pertinentes aos objetivos do teste.
Se você está moderando o teste e tomando notas sozinho, sua atenção será
dividida entre a gravar o que você observa e observar o que está acontecendo
durante o teste.
É importante a ajuda do observador para tomar notas ou realizar registros de
dados, se possível com recursos como Word.
A coleta de dados durante o teste vai ajudar na análise e elaboração de
relatórios.

16. FERRAMENTAS DE DADOS (continuação)
Os dados de desempenho:
Consiste em medidas objetivas de comportamento, (taxas de erro, tempo e
contagem de elementos de comportamento observados). Este tipo de dados
vem da observação de qualquer teste ao vivo ou revisão da gravação de vídeo
após o teste ter sido completado. O número de erros feito na forma de
execução de uma tarefa é um exemplo de uma apresentação medir.
Dados de preferência:
Consiste dos dados mais subjetivos que mede os sentimentos de um
participante ou opiniões do produto. Estes dados normalmente são coletados
através de escrita, oral, ou mesmo questionários on-line ou através da sessão
de esclarecimento, após o ensaio.

17. FERRAMENTAS DE DADOS (continuação)
Para um teste típico, é comum coletar pelo menos, as seguintes informações
de cada participante:
● Se cada tarefa foi concluída com êxito
● Principais problemas / obstáculos associados a cada tarefa
● Tempo necessário para realizar cada tarefa
● Observações / comentários relativos a ações de cada participante

18. RELATÓRIO DE DADOS (DECODIFICAÇÃO DE DADOS)
Tanto o desempenho e dados de preferência podem ser analisados ​
quantitativamente ou qualitativamente.
Por exemplo, no desempenho, é possível analisar erros quantitativamente por
contagem do número de erros feitos em uma tarefa. Você também pode
analisar os erros qualitativamente para expor lugares onde os usuários não
entenderam o modelo conceitual do produto.
Softwares como Morae, UserVue, The Observer, e Ovo Logger, ajudam a
coletar informações mais precisas e de forma rápida para elaboração do
relatório. Este softwares podem coletar dados como: número de cliques no
mouse e de teclas digitadas, além de informações como: que páginas ou telas
foram acessadas, tempo total gasto em cada uma destas, de forma
sincronizada com a captura de vídeo digital do que aconteceu na tela, das
ações tomadas pelos entrevistados .

19. DOCUMENTOS E PERMISSÕES
Forma de sigilo
O objetivo do acordo de confidencialidade é impedir a divulgação não autorizada de
informações sobre o produto patenteado que os participantes podem encontrar durante o
teste. Este documento é quase sempre requerida para os produtos desenvolvidos para o
mercado externo antes do lançamento.
Gravação de permissão
A finalidade da gravação é consentimento para obter a permissão por escrito dos
participantes para gravá-los durante o teste de usabilidade. Normalmente, esta forma
também estabelece como você pode ou não usar imagem ou voz.
Termo de consentimento informado
Se você trabalha para uma instituição pública ou agência, você pode ter que passar
por um conselho de revisão interna (IRB) e depois pedir aos participantes para assinar
um termo de consentimento que explica o estudo, descrevendo os riscos para o
participante (ou diz claramente que não há nenhum).

20. OUTROS MÉTODOS DE COLETA DE DADOS
Testes podem ser criados com criatividade e imaginação, com tanto que
resultem em dados que possam ser quantificados. Exemplo do teste do
manual elaborado por Jeff e seu colega onde se colocava cola nas páginas de
um manual para verificar se estas tinham sido abertas pelos usuários. Com
uma simples observação constataram que a maioria dos usuários nunca
haviam aberto as folhas, por tanto não consultavam o manual.

21. QUESTIONÁRIO PRÉ-TESTE
Este é respondido antes do teste de usabilidade. Diferente do questionário de
fundo, ele fornece as primeiras impressões que o usuário tem do produto
testado, a definição do usuário dentro de um grupo específico e avaliar o seu
nível de experiência e de entendimento de determinados símbolos, termos e
linguagens.
Assim é possível também perceber as expectativas do usuário frente ao
produto e ter uma previsão do seu comportamento durante os testes.

22. CENÁRIOS DE TAREFA
São representações das necessidades e motivações que levariam o usuário a
utilizar o produto e do trabalho que o usuário realizaria para usá-lo.
Itens importantes para o desenvolvimento do cenário da tarefa:
● Criar cenários realísticos e com motivações;
● Colocar as tarefas numa ordem coerente;
● Adaptar os cenários e as tarefas aos níveis de experiência do usuário;
● Evitar uso de jargões ou termos que oferecem dicas para a realização da
tarefa;
● Agregar uma quantidade de trabalho satisfatória às tarefas.

23. REPASSANDO AS TAREFAS
● Ler as tarefas para os usuários e fornecer uma cópia das tarefas para
eventuais consultas;
● Pedir que o usuário leia a tarefa em voz alta. Neste caso não mostrar um
material muito extenso;

24. TREINAMENTO PARA PRÉ-REQUISITO
● Aumentar o nível de habilidade do usuário para algum critério específico
ou para realizar um teste num nível acima da curva de aprendizagem;
● Conduzir um teste mais desafiador e compreensível;
● Testar uma funcionalidade que em outro caso poderia ser ignorada;
● Observar o usuário aprendendo a usar o produto.

25. QUESTIONÁRIO PÓS-TESTE
● Ajuda a entender melhor os pontos fortes e fracos do produto;
● Pode ser apresentado de forma escrita ou oral;
● Pode ser aplicado durante ou após o teste;
● Procurar saber questões de preferência do usuário, não de
comportamento;
● Pode ter diferentes formatos, como questões dissertativas, notas graduais
e múltipla escolha;

26. GUIA DE DEBRIEFING
● Tópicos para discussão;
● Similar ao guia do moderador para grupo de foco;
● Depende de como o teste ocorreu e do nível de experiência do usuário;

27. OBRIGADO!