User testing
•
1 recomendación•252 vistas
Un'introduzione alla misurazione dell'usabilità di un prodotto digitale attraverso user testing.
Recomendados
Más contenido relacionado
La actualidad más candente
Similar a User testing
Similar a User testing (20)
Más de Emanuele Mantovani
User testing
- 1. Emanuele Mantovani User testing Thanks Design
- 3. Tre ingredienti fondamentali 1. Un utente coinvolto 2. Quello stesso utente che interagisce con il prodotto 3. Un’esperienza utente osservabile e misurabile Misurare l’usabilità
- 4. In assenza di un utente che fa qualcosa, possiamo solamente misurare le attitudini e le preferenze, come in un sondaggio politico. Ci deve essere un comportamento o almeno un potenziale comportamento. (ad esempio possiamo mostrare uno screenshot e chiedere ai partecipanti che cosa loro cliccherebbero) Misurare l’usabilità
- 5. Attitudine vs Comportamento Dati qualitativi vs Dati quantitativi L’oggetto della misurazione
- 6. Attitudine (attitude) Quello che le persone dicono. Comportamento (behaviour) Quello che le persone fanno. Attitudine vs Comportamento
- 7. Dati quantitativi Ci raccontano il comportamento, le attitudini. Non ci spiegano il perchè. Dati qualitativi Ci aiutano a capire il perchè. Quantitativo vs qualitativo
- 8. Dati qualitativi La ricerca qualitativa porta alla raccolta delle informazioni osservabili non in forma numerica, ma attraverso una serie di etichette o di classificazioni Tipi di dato
- 9. Dati quantitativi La ricerca quantitativa, come lascia intendere la parola usata, aiuta alla raccolta di informazioni che si presentano sotto forma numerica. Tipi di dato
- 10. Una metrica è un modo di misurare un particolare fenomeno. Esistono due principali tipologie di metriche in ambito UX: Metriche UX 1. Metriche di performance 2. Metriche di soddisfazione
- 11. Performance è tutto quello che riguarda che cosa l’utente realmente fa quando interagisce con un prodotto. Performance
- 12. Soddisfazione è cosa l’utente dice o pensa della sua interazione con il prodotto. Soddisfazione
- 13. A volte, anche se può sembrare strano, performance e soddisfazione non vanno di pari passo.
- 15. Le metriche di performance misurano il comportamento dell’utente. Queste metriche hanno bisogno di task (compiti) e di uno scenario. Senza task le metriche di performance non sono misurabili. Metriche di performance
- 16. Le metriche di performance ci dicono il che cosa, ma non il perchè: occorre supportare queste metriche con dei dati di autovalutazione o delle osservazioni per capire il perché. Misurazione risultati task + +Osservazione e ascolto Intervista finale o questionari Metriche di performance
- 17. In laboratorio Da remoto Con moderatore E’ possibile vedere e interagire con i partecipanti Il partecipante viene ripreso da una camera e spiega quello che fa come se fosse con un moderatore Il partecipante compie i task proposti dal sistema e il sistema raccoglie i dati sul comportamento Automoderati Automatizzato Come condurre test di performance http://remoteresear.ch/tools/
- 18. Esistono cinque principali metriche di performance: 1. Task success Si misura se un task venga completato con successo Si misura come le performance migliorino o meno nel tempo Si misura il tempo necessario per compiere un task 2. Time on task 5. Learnability 3. Errors Si misurano gli errori fatti durante un task 4. Efficiency Si misura lo sforzo necessario per compiere un task Metriche di performance
- 19. 1. Task success | Cos’è? Metriche di performance È la metrica di usabilità più utilizzata. Nel task success si misura se un utente riesca o meno a completare un task con successo 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. Learnability
- 20. 1. Task success | Note importanti Metriche di performance Occorre che i task abbiano un obiettivo chiaro e una fine precisa. Occorre poi capire in cosa consista un successo e stabilire quindi i criteri di successo per ogni task. 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. Learnability
- 21. Metriche di performance | 1. Task success Trova il numero di cellulare del signor Mario Lamperti Trova i dati di Mario Rossi Formulare le domande in modo da non avere dubbi sul successo o meno di un task
- 22. 1.Task success Due tipologie principali • Binary success • Level of success Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. Learnability
- 23. 1.Binary success | Cos’è? Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. Learnability È il metodo più comune, si registrano semplicemente due stati “successo” /“fallimento”. Binary success è appropriato quando il successo di un prodotto dipende dalla completamento o meno di un task (non c’è bisogno di andare più in profondità) errori.
- 24. 1.Binary success | Note importanti Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. Learnability Esistono diversi modi in cui il partecipante può fallire un test: • per rinuncia: il partecipante dice di non voler continuare con il task • per decisione del moderatore: il moderatore interrompe il task perché è chiaro che il partecipante non sta facendo progressi e non ce la fa • tempo eccessivo: il partecipante ha fatto il task, ma oltre il tempo definito (può essere definito) • task sbagliato: il partecipante crede di aver completato il task, ma in realtà non ce l’ha fatta
- 25. 1.Binary success | Raccolta dati Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. Learnability Risultati crm breton jarvisuser testing report | 14.07.2017 session 1Area manager meccanica Intervistato T1 T2 T3 T4 T5 T6 T7 T8 T9 T10 T11 1 1 1 1 1 1 1 1 10 1Ass. di vendita meccanica 1 1 1 1 1 1 1 1 10 1Area manager pietra 1 1 1 1 1 1 1 1 10 1Ingegneria di vendita 1 1 0 1 0 1 1 1 11 1Ass. di vendita pietra 1 1 0 1 1 1 1 1 11 Crea un contatto Trova un contatto Aggiungiun num ero ditelefono Aggiungiun contatto skype Aggiungiun indirizzo difatturazione Crea una nuova trattativa Crea un nuova off erta Aggiunginuovicontattialla trattativa Elim ina un contatto dall’off erta Rinom ina e m odifica l’off erta Invia l’off erta alPLM
- 26. T10T9T8T7T6T5T4T3T2T1 T11 Crea un contatto Trova un contatto Aggiungiun num ero ditelefono Aggiungiun contatto skype Aggiungiun indirizzo difatturazione Crea una nuova trattativa Crea un nuova off erta Aggiunginuovicontattialla trattativa Elim ina un contatto dall’off erta Rinom ina e m odifica l’off erta Invia l’off erta alPLM 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Percentuali di successo crm breton jarvisuser testing report | 14.07.2017 session 1.Binary success | Rappresentazione Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. Learnability
- 27. 1.Level of success | Cos’è? Metriche di performance | 1. Task success 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. Learnability Oltre al binary, quando si vuole una visione più dettagliata del task, è possibile avere un approccio più granulare con il Level of success. Ci sono 2 approcci: A. Considerando l’eventuale assistenza ricevuta B. Considerando il grado di completamento del task
- 28. 1.Level of success | Tipologie Metriche di performance | 1. Task success 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. LearnabilityA. Considerando l’eventuale assistenza ricevuta • Successo • con assistenza • senza assistenza • Successo parziale • con assistenza • senza assistenza • Fallimento
- 29. 1.Level of success | Tipologie Metriche di performance | 1. Task success 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. LearnabilityB. Considerando il grado di completamento del task • Successo senza problemi • Successo con problemi • Fallimento o abbandono
- 30. Login 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Search Find a book Add to cart Checkout Failure/quit Some problem No problem 1.Level of success | Rappresentazione Metriche di performance | 1. Task success 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. Learnability
- 31. Intervistato T1 T3 ...T2 Task 1 Elenco dei task da compiere Moderatore (designer o altro) Intervistato (utente di riferimento) Camera con microfono che riprende la sessione Facoltativo Obbligatorio Dispositivo per cronometrare meglio se nell’altra stanza Tabella dove riportare i risultati dei task Blocco dove appuntarsi i problemi di usabilità che emergono Liberatoria per le riprese firmata dal partecipante (obbligatoria se si ripren- de) Prodotto su cui effettuare il test Software per registrare monitor e voci (camtasia etc.) Software per condivisione monitor e voci con altri osservatori in un’altra stanza (skype etc.) Osservatore (designer) Task success | Cosa serve? Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. Learnability
- 32. Dispositivo per cronometrare Intervistato T1 T3 ...T2 Task 1 Elenco dei task da compiere Moderatore (designer o altro) Intervistato (utente di riferimento) Tabella dove riportare i risultati dei task Blocco dove appuntarsi i problemi di usabilità che emergono Prodotto su cui effettuare il test Osservatore (designer) Task success | Come funziona? Metriche di performance | 1. Task success 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. Learnability
- 33. 2.Time on task | Cos’è? Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. LearnabilityIl time on task è semplicemente il tempo che intercorre tra l’inizio e la fine di un task. Sono un ottimo modo per misurare l’efficienza di un prodotto. Solitamente tanto più velocemente l’utente compie un task, tanto è migliore l’esperienza. Questa metrica è molto importante soprattutto per quei prodotti dove i task vengono fatti ripetutamente da un utente.
- 34. 2.Time on task | Note importanti Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. LearnabilityOccorre definire una regola per quando azionare e quando fermare il cronometro. Occorre decidere se includere solo i task completati o anche quelli falliti. Analizzare solo i task completati può essere fuorviante. Come riferimento è possibile usare il tempo impiegato da un utente che conosce l’applicazione.
- 35. Dispositivo per cronometrare Intervistato T1 T3 ...T2 Task 1 Elenco dei task da compiere Moderatore (designer o altro) Intervistato (utente di riferimento) Tabella dove riportare i risultati dei task Blocco dove appuntarsi i problemi di usabilità che emergono Prodotto su cui effettuare il test Osservatore (designer) Time on task | Come funziona? Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. Learnability
- 36. Time on task | Cosa serve? Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. Learnability Intervistato T1 T3 ...T2 Task 1 Elenco dei task da compiere Moderatore (designer o altro) Intervistato (utente di riferimento) Camera con microfono che riprende la sessione Facoltativo Obbligatorio Dispositivo per cronometrare meglio se nell’altra stanza Tabella dove riportare i risultati dei task Blocco dove appuntarsi i problemi di usabilità che emergono Liberatoria per le riprese firmata dal partecipante (obbligatoria se si ripren- de) Prodotto su cui effettuare il test Software per registrare monitor e voci (camtasia etc.) Software per condivisione monitor e voci con altri osservatori in un’altra stanza (skype etc.) Osservatore (designer)
- 37. 2.Time on task | Raccolta dati Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. Learnability Task 1 Task 2 Task 3 Task 4 Task 5 User 1 256 112 135 58 8 User 2 253 64 278 160 22 User 3 42 51 60 57 26 User 4 38 108 115 146 26 User 5 33 142 66 47 38 User 6 33 54 216 26 42 User 7 158 113 136 83 64 User 8 24 69 119 25 68 User 9 29 92 147 56 56 User 10 258 113 136 83 64 (secondi)
- 38. Task 1 Task 2 Task 3 Task 4 Task 5 Task 6 Task 7 Task 8 Task 9 Task 10 100 90 80 70 60 50 40 30 20 10 0 Mediatempopertask(secondi) Task 2.Time on task | Rappresentazione Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. Learnability
- 39. 2.Time on task | Rappresentazione Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. Learnability Task 1 Task 2 Task 3 Task 4 Task 5 Task 6 Task 7 Task 8 Task 9 Task 10 50% 40% 30% 20% 10% 0% Percentuale di partecipanti che hanno completato il task in meno di un minuto (20 partecipanti totali)
- 40. 3. Errors | Cosa sono? Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. LearnabilityUn errore è un’azione che fa allontanare l’utente dalla “strada” che porta al completamento del task. Errori possono ad esempio essere: • Inserire la password sbagliata in un form • Selezionare la voce sbagliata in un menu (cancella invece che modifica) • Compiere una sequenza di azioni non corretta È possibile assegnare un livello di severità ai diversi errori
- 41. 3. Errors | Quando misurarli? Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. LearnabilityCi sono 3 situazioni in cui risulta importante misurare gli errori: 1. Quando un errore avrà come conseguenza quella di una significativa perdita di efficienza (perdita di dati, reinserire le informazioni) 2. Quando un errore avrà come conseguenza costi significativi per l’azienda o l’utente finale (ad es. aumento del volume delle chiamate al customer support) 3. Quando un errore avrà come conseguenza il fallimento del task (ad esempio l’errore causerà al votante di votare accidentalmente per un candidato diverso da quello che si voleva).
- 42. 3. Errors vs Usability issue Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. LearnabilityErrori e problemi di usabilità sono due elementi diversi. Gli errori sono il risultato di un problema di usabilità. Ad es. se gli utenti stano avendo problemi nel completare un acquisto su un ecommerce. La issue (causa) può essere il modo confuso con cui sono state inserire le label dei prodotti. L’errore può essere invece quello di scegliere l’opzione sbagliata per il prodotto che vogliono acquistare.
- 43. 3. Errors | Note importanti Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. Learnability Misurare gli errori non è sempre semplice, prima di tutta occorre determinare le possibilità di errore per task. Occorre essere consapevoli che un singolo task può presentare una o molteplici possibilità di errore. Ad es. una basilare schermate di login può presentare almeno due possibilità di errore: “nell’inserimento dello username” “nell’inserimento della password”
- 44. 3. Errors | Raccolta dati Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. Learnability Il modo più comune di organizzare i dati di errore misurati sono i task. Semplicemente raccogliendo il numero di errori commessi dall’utente per task. Se i task offrono una sola possibilità di errore si scriverà o “0” o “1”, se invece le possibilità di errore sono più di una, il numero varierà tra “0” e il numero massimo di errori possibili.
- 45. 3. Errors | Rappresentazione Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. Learnability Se i task offrono una sola possibilità di errore si potrà calcolare la frequenza media di errore per task o partecipante.
- 46. 3. Errors | Rappresentazione Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. Learnability Se ci sono più possibilità di errore per task: 1. Si può guardare alla frequenza di errori per ogni task. Ma questo può essere fuorviante se i task presentano un numero di possbilità differente tra una e l’altra. In quest’ultimo caso si potrebbe calcolare il rapporto tra numero di errori e il numero totale di possibilità. 2. Si può calcolare la media di errori fatta da ciascun partecipante per ciascun task.
- 47. 3. Errors | Rappresentazione Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. Learnability Condizione attuale Cond. 1 Cond. 2 Cond. 3 Cond. 4 Cond. 5 Cond. 6 Cond. 7 Cond. 8 50% 40% 30% 20% 10% 0% Indice di errore per condizione (test svolto su diverse versioni di tastiera a schermo con un unica possibilità di errore -inserire una password non correttamente-) Percentualedipartecipanti chehannocommessounerrore
- 48. 4. Efficiency | Cos’è? Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. Learnability Anche se il time on task è un buon modo per misurare l’efficienza di un prodotto, è però possibile guardare all’ammontare dello sforzo richiesto per completare un task. Per misurare l’effort è possibile prendere in considerazione il numero di azioni o step che l’utente compie durante l’esecuzione di ogni task. Più azioni si compiono maggiore sarà l’effort.
- 49. 4. Efficiency | Effort cognitivo e fisico Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. Learnability Ci sono 2 tipi di sforzo: cognitivo e fisico Cognitivo: trovare l’area corretta per compiere un azione (trovare il link in una pagina web) decidere che azione è necessaria, interpretare il risultato di un azione Fisico: include l’attività fisica richiesta per compiere un’azione: muovere il mouse, inserire un testo in un input etc.
- 50. 4. Efficiency | Come misurarla? Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. Learnability Quattro punti principali per e misurare l’efficienza: 1. Identificare l’azione che deve essere misurata: ad es. mouse click o page via. (numero di click, page view etc.) 2. Definire l’inizio e la fine di un’azione. (premere un bottone) 3. Conteggiare le azioni 4. Le azioni devono essere significative cioè devono rappresentare un aumento incrementale dello sforzo cognitivo e o fisico. + azioni = + sforzo.
- 51. 4. Efficiency | Come rappresentarla Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. Learnability Il modo più comune di analizzare e presentare le metriche di efficienza è guardare al numero di azioni che ogni partecipante compie per completare un task. Sarà semplice calcolare la media di azioni per ogni task per vedere quante azioni sono richieste.
- 52. 4. Efficiency | Come rappresentarla Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. Learnability
- 53. 4. Efficiency | Lostness Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. Learnability Un altro modo per misurare l’efficienza è la cosiddetta “lostness” che è calcolata utilizzando tre valori: N: Il numero di differenti pagine web visitate durante il task S: Il numero totale di pagine visitate durante il task (contando anche quelle viste più volte R: Il numero minimo di pagine che devono essere visitate per compiere il task L = sqrt[(N/S - 1)² + (r/n - 1) ²]
- 54. 4. Efficiency | Lostness Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. LearnabilityHome page Category page A Product page A1 Product page A2 Product page A3 Category page B Product page B1 Product page B2 Product page B3 Product page C1 Product page C2 Product page C3 Category page C 1 2 3 L = sqrt[(N/S - 1)² + (R/N - 1) ²]
- 55. 4. Efficiency | Lostness Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. LearnabilityHome page Category page A Product page A1 Product page A2 Product page A3 Category page B Product page B1 Product page B2 Product page B3 Product page C1 Product page C2 Product page C3 Category page C 1 2 3 6 7 8 9 4 5 L = sqrt[(N/S - 1)² + (R/N - 1) ²] L = sqrt[(6/9 - 1)² + (3/6 - 1) ²] = 0.60 N = 6 S = 9 R = 3
- 56. 4. Efficiency | task success/time Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. Learnability Task percentuale di successo Task time (min) Efficiency (%) Task 1 65% 1.5 43 Task 2 67% 1.4 48 Task 3 40% 2.1 19 Task 4 74% 1.7 44 Task 5 85% 1.2 71 Task 6 90% 1.4 64 Task 7 49% 2.1 23 Task 8 33% 1.3 25
- 57. Task 1 Task 2 Task 3 Task 4 Task 5 Task 6 Task 7 Task 8 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Efficiency(%completamento/time) Efficiency (Task success per minuto) 4. Efficiency | task success/time Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. Learnability
- 58. 5. Learnability | Cos’è? Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. Learnability L’apprendibilità è il grado in cui qualcosa può essere appreso in modo efficiente. Può essere misurata guardando a quanto tempo e sforzo sono richiesti per diventare competente e successivamente esperto nell’utilizzare qualcosa. Il processo di raccolta dei dati e misurazione è simile alle altre metriche ma viene fatto diverse volte (volte = trials)
- 59. 5. Learnability | Note importanti Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. Learnability La prima decisione da prendere è quale tipo di metrica si voglia usare. La learnability può essere misurata usando qualsiasi tipo di performance metric rispetto al tempo. Una volta decisa la metrica occorre decidere quanto tempo far intercorrere tra un trial e un altro: 1. Trial nella stessa sessione 2. Trial nella stessa sessione ma con dei breack tra un trial e l’altro 3. Trial divisi in sessioni diverse
- 60. 5. Learnability | NB Metriche di performance 1. Task success 2. Time on task 3. Errors 4. Efficiency 5. Learnability Trial 1 Trial 2 Trial 3 Trial 4 25 20 15 10 5 0 MediaTaskTime(sec) Task time (secs) per trial Prototipo 1 Prototipo 2 Prototipo 3 Prod. Attuale Test fatto su differenti modelli di tastiera a schermo vs tastiera fisica (rosso)
- 61. UX, Scrum e gilde... Thanks
- 62. UX, Scrum e gilde...thanksdesign.it intre.it