Open Class Academy Web : http://openclassacademy.id Medium : http://medium.com/@openclassacademy Resume Topik: Membuat sebuah aplikasi dengan design yg bagus dan mudah digunakan user adalah salah satu tantangan besar seorang product owner atau programer karena banyaknya tahapan yang harus dilakukan untuk mendapatkan masukan dari pengguna. Bahkan terkadang tidak tahu harus bagaimana dan mulai dari mana untuk dapat memperbaikannya. Heuristic Evaluation dan Usability Testing merupakan metode evaluasi yang dapat dilakukan untuk memperbaiki desain produk digital. Kedua metode ini sangat fleksibel sesuai dengan kebutuhan Product Owner. Apakah butuh untuk evaluasi cepat dan praktis atau mendalam dari suara real pengguna atau kombinasi dari kedua-duanya.. Apa yang akan dipelajari adalah: - Ten Principal of Interaction Design - Stage Heuristic Evalaution Process - Example Heuristic Evaluation or some Web and Mobile Application - The Principal of Usability Testing - The Theory and Activity of Usability Testing - Example Usability Testing result for some Web and Mobile Application

1. Sharing Session

2. Speaker:
Two years experience in
heuristic evaluation and usability
testing planning, execution, analysis
and recommendation.
A lot off (42) digital product already
Evaluated including e-commerce,
financial, media, telecommunications,
education, and non-profits.
Dewi Mulansari A.Md
UX Research
Job Title
UX Research PT Telekomunikasi Indonesia.
Chief of Business Development UX Specialty.
One year experience in
heuristic evaluation and usability
testing planning, execution, analysis
and recommendation.
A lot off (12) digital product already
Evaluated including media, telecommunications,
education, and non-profits.
Noor Azizah
UX Research
Job Title
UX Research PT Telekomunikasi Indonesia.
Chief of Business Alliance UX Specialty.

3. Agenda :
09:30-10:30 Heuristic Evaluation Theory
10:30-10:45 Break
10:45-11:45 Usability Testing Theory

4. Apa itu
Heuristic Evaluation?

6. 1. Visibility of system status
User harus selalu diinformasikan apa yang terjadi

7. 2. Match between system and the real
world
Harus bicara dengan bahasa user (yang familiar dengan user)

8. 3. User control and freedom
Memberikan opsi keluar dari kondisi yang tidak diinginkan.

9. 4. Consistency and standards
Tidak boleh menggunakan ‘bahasa’ yang tidak standar

10. 5. Error Prevention
Mengantisipasi kemungkinan error sedini mungkin oleh user.

11. 6. Recognition rather than recall
Mengurangi memory load user dengan menampilkan opsi, objek secara visual.”

12. 7. Flexibility and efficiency of use
Memberikan fungsi shortcut memudahkan user.

13. 8. Aesthetic and minimalist design
Informasi yang ditampilkan hanya yang saling terkait

14. 9. Help users recognize, diagnose, and
recover from errors
Indikasi permasalahan harus sesuai dengan yang terjadi serta memberikan informasi
solusinya.

15. 10. Help and documentation
Dokumentasi petunjuk.

16. Bagaimana melakukan Heuristic
Evaluation
Figure 1
Ilustrasi tersebut menampilkan evaluator yang menemukan masalah
Usability , dengan menggunakan Heuristic evaluation dari sebuah system
perbankan. Setiap baris mewakili salah satu dari 19 Evaluator dan setiap
kolom mewakili salah satu dari 16 masalah Usability. Kotak hitam
menunjukan masalah Usability dan yang putih berarti evaluator tidak
menemukan masalahnya. Baris telah diatur sedemikian rupa sehingga
evaluator yang menemukan masalah paling banyak berada di bagian
paling bawah, sedangkan yang diatas yang tidak terlalu banyak
menemukan masalah. Begitu pun dengan kolom, telah diurut juga
sehingga masalah Usability yang paling mudah ditemukan disebelah
kanan, dan yang paling sulit ditemukan disebelah kiri.

17. Determining the Number of Evaluators
Figure 2
Kurva menunjukkan proporsi masalah Usability
dalam Interface yang ditemukan dengan
menggunakan Heuristic Evaluation dengan
menggunakan jumlah evaluator yang berbeda.
Kurva mewakili rata-rata enam studi kasus evaluasi
heuristik.
Figure 3
Kurva menunjukan berapa banyak manfaat biaya untuk
Proses heuristic Evaluasi dari sample projek menggunakan
asumsi yang dibahas dalam teks. Jumlah evaluator yang
optimal dalam contoh ini adalah 4, dengan manfaat 62 kali
lebih besar daripada biayanya.

18. Factor severity rating
Severity Rating dapat digunakan untuk mengalokasikan sumber daya terbanyak untuk memperbaiki
masalah yang paling serius dan juga dapat memberikan perkiraan kasar tentang perlunya upaya
Usability tambahan. Jika Severity Rating menunjukkan bahwa beberapa masalah Usability menunjukkan
Disaster dan tetap ada pada Interface, mungkin tidak disarankan untuk merilisnya. Tetapi orang mungkin
memutuskan untuk melanjutkan dengan merilis sistem dengan beberapa masalah Usability jika mereka
semua dinilai sebagai cosmetic.
Severity Rating Scale
0 = I don't agree that this is a usability problem at all
1 = Cosmetic problem only: need not be fixed unless extra time is available on project
2 = Minor usability problem: fixing this should be given low priority
3 = Major usability problem: important to fix, so should be given high priority
4 = Usability catastrophe: imperative to fix this before product can be released
How to rate the severity of usability
problem

19. Severity Rating Heuristic Evaluation
“Severity ratings from a single evaluator are too unreliable to be
trusted.”
“Using the mean of a set of ratings from three evaluators is
satisfactory for many practical purposes.”
“If the severity ratings indicate that several disastrous usability
problems remain in an interface, it will probably be unadvisable to
release it.”
How to rate the severity of usability
problem

20. Tahapan Heuristic Evaluation

21. Contoh kasus:
Negative Finding:
Saat button copy di tekan tidak ada aksi, sehingga
user bingung bagaimana cara copy kode
pembayarannya
Rekomendasi:
Perbaikan performansi, agar Button Copy dapat
berfungsi
Severity Rating:
3
1. Visibility of system status

22. Contoh kasus:
Negative Finding:
Tidak terlihat scroll bar pada halaman, sehingga
user tidak mengetahui bahwa halaman belum
berakhir.
Rekomendasi:
Perbaikan design halaman, dengan
menambahkan Scroll Bar.
Severity Rating:
3
4. Consistency and standards

23. Contoh kasus:
Negative Finding:
Form pengisian lainnya tertutup oleh Virtual
keyboard, sehingga user tidak dapat membaca
apa yang sedang dituliskan.
Rekomendasi:
Perbaikan design halaman, dengan membuat
layar terscroll keatas secara otomatis jika user
sedang melakukan pengetikan.
Severity Rating:
3
6. Recognition rather than recall

24. 4 stage UX process include research, design, testing and build
UX Research
UX Build
UX Design
UX Testing
Iterate
Source : Objective Digital (UX Consultant Australia), TelkomRDC
Proses design user experience (best practice)
UX Research
UX Build
UX Design
UX Testing

25. Apa itu Usability Testing?

26. User Centered Interaction Design
“Usability Testing”
Usability Test is a
technique used in
user-centered
interaction
design to evaluate a
product by testing it
on users
It gives direct
input on how
real users use
the system
(Nielsen, Usability Engineering, 1994)
Salah satu user centered interaction design adalah pelaksanaan Usability Testing (UX research) untuk
mendapatkan voice of user secara langsung dan natural. Yaitu aktivitas observasi terhadap pengguna
ketika menggunakan aplikasi.
Partisipan/userFasilitator

28. The Real Story
!

29. Usability Attributes
a. Learnability
b. Efficiency
c. Memorability
d. Errors
e. Satisfaction
“Usability adalah interaksi smooth pengguna”

30. Success & Satisfaction
Bila user sukses melakukan task maka user juga puas.

31. Return and investments
Usability testing dapat memberikan peningkatan sbb:
Pelaksanaan Usability Testing minimal 2.6 kali untuk mendapatkan
kematangan design.

32. • 85% system problems can be identified (Lewis,
Determining Usability Test Sample Size, 2006)
• Proven in more than 83 case studies (Nielsen, How
Many Test Users in a Usability Study, 2012)
How many users to test??
5Users
are enough

33. Contoh hasil proses usability testing

34. Q: When should I usability test?
A: You can – and should – test any time (Now!)

35. Bagaimana tahapan Usability Testing?

36. Tahapan Usability Testing
Planning Excecuting Reporting

37. Planning
• Diskusi dengan Product Owner & Developer
• Formulasi goal, scenario & task
• UT Plan Dashboard
• Rekrutasi peserta Usability Testing
• Setting UT Tools

38. Planning
PRODUCT UNDER TEST
Being tested :
Aplikasi mobile Android XXX.
Fitur saat test : Melakukan
pencarian tipe mobil, Melakukan
register, melakukan offering
Cash,melakukan reminder order,
BUSINESS CASE
Why:
- Kebutuhan validasi experience
User menggunakan aplikasi
mobile XXX.
Benefits:
- Meningkatkan traffic pengguna
- Meningkatkan transaksi.
TEST OBJECTIVES
Goals:
• Apakah user dapat dengan mudah
mengetahui cara mencari tipe
mobil, cara register, cara melakukan
offering, melakukan reminder order
• Apakah flow yang
diimplementasikan pada aplikasi
sudah sesuai dengan mental model
dari user?
PARTICIPANTS
Bandung
Key Character :
• 5 orang pengguna baru.
EXISTING DESIGN
Aplikasi XXXX
EQUIPMENT
• Smartphone
• Desktop
• Aplikasi lookback
TEST TASKS
1. Melakukan pencarian tipe
mobil
2. Melakukan register
3. Melakukan offering cash
4. Melakukan reminder order
5. Melakukan deal.
Post Task & Test Questionnaire :
- Post task
- Post test (SUS & NPS)
LOCATION & DATES
Lokasi : Bali
Date : 30 Juli 2018
RESPONSIBILITIES
Facilitator, Observer:
Dewi
Tech Support/observer:
Noor
0-5 Min
Welcome/
Consent Form
5-10 Min
Briefing
10-45 Min
Carry out the
test tast
45-50 Min Post
Test
Questionnaire
50-55 Min Post
Test Interview
55-60 Min
Debrief/Pay
Intencive
Procedure
The main step of procedure UT
Contoh UT Plan Dashboard

39. Planning
Skenario Usability Testing – Based On Task
User akan diminta melakukan pengujian sesuai dengan Goal Task yang ditugaskan meliputi :
1) Menilai tingkat kemudahan untuk mencari tipe mobil
2) Menilai tingkat kemudahan untuk register
3) Menilai tingkat kemudahan untuk melalukan offering cash
4) Menilai tingkat kemudahan untuk melalukan reminder order
5) Post Task & Post Test Questionnaire
• User diminta think out loud saat pengujian
• Akan direkam selama proses UT untuk kebutuhan evaluasi selanjutnya.

40. Planning
Task 1 Proses Mencari Tipe Mobil
Goal Task : Menilai tingkat kemudahan untuk mencari tipe mobil
Skenario : Anda adalah seorang user yang baru saja menginstall aplikasi XXX di smartphone dan ingin
mencari tipe mobil Innova G pada aplikasi XXX.
Task : Silahkan Anda melakukan proses pencarian tipe mobil Innova G pada aplikasi XXX.
Pre Conditions :
User belum register ke aplikasi
Pastikan aplikasi Lookback sudah terinstall dan sudah dapat merekam.
Agar saat akan memulai sesi, partisipan diingatkan untuk memposisikan handphone dengan benar
sehingga wajah partisipan terekam dengan benar oleh Lookback.

41. Excecuting
• Proses usability testing dilakukan
oleh partisipan, fasilitator, dan
observer.
• Proses usability testing akan
direkam oleh alat bantu lookback
• Task dan skenario yang
ditampilkan pada Surveymonkey

42. Excecuting

43. Reporting
Paramater report:
• Negative Finding
• System Usability Scale
• Single Easy Question
• Time Completion
• Net Promoter Score

44. Reporting

45. Reporting
System Usability Scale (SUS)
Pertanyaan SUS Aplikasi OtoDeal• System usability scale (SUS) is a
simple, ten-item attitude Likert Scale
giving a global view of subjective
assessments of Usability
• The average SUS score from all
500 studies is a 68. A SUS score
above a 68 would be considered
above average and anything
below 68 is below average
Setujunetral Sangat
Setuju
Keterangan :
1 2 3 4
Sangat tdk
setuju
5
Tidak
Setuju
Scoring Method :
• Pertanyaan Ganjil : Jawaban - 1
• Pertanyaan Genap : 5 – Score
Jawaban
• SUS Score : {(Jumlah Subtotal
Pertanyaan 1-10) x 2.5} : jumlah
responden
No Pertanyaan Rakhman Aji Lamhot Ega Patricia
1
Saya rasa saya akan sering menggunakan
aplikasi ini
3 4 2 4 4
2
Saya rasa aplikasi ini terlalu rumit, padahal bisa
lebih disederhanakan
3 4 2 2 2
3 Saya rasa aplikasi ini mudah untuk digunakan 3 4 2 4 4
4
Saya rasa saya membutuhkan bantuan dari orang
teknis untuk dapat menggunakan aplikasi ini
3 4 2 2 2
5
Saya menemukan bahwa terdapat berbagai
macam fungsi yang terintegrasi dengan baik
dalam aplikasi ini
4 4 4 4 4
6
Saya rasa terdapat banyak hal yang tidak
konsisten pada aplikasi ini
2 1 2 2 2
7
Saya rasa mayoritas pengguna akan belajar
menggunakan aplikasi ini dengan cepat
4 3 2 3 2
8
Saya menemukan bahwa aplikasi ini sangat tidak
praktis
2 4 4 4 4
9
Saya sangat percaya diri dalam menggunakan
aplikasi ini
4 4 2 4 4
10
Saya harus belajar banyak hal terlebih dahulu
sebelum saya dapat menggunakan aplikasi ini
2 2 2 2 4
Average = 60,5 65,0 60,0 50,0 67,5 60,0
Score 60,5 < Score
rata2 68

46. Reporting
Time Completion Data Responden
NO Nama Participant
Time Complete (Menit)
Task 1 Task 2 Task 3 Task 4 Task 5 Task 6 Task 7
1 Rakhman Imansyah TELKOM DDS 2,7 2,3 1,4 3,2 1,8 11,4
2 Aji Widodo DDS Telkom 1,4 1,1 1,2 1 0,2 5,9
3
Lamhot Simamora
PT Telekomunikasi
Indonesia
1,7 0,8 1 2,5 4 2 3,6
4 Ega Noviano Free Lance 2 1,3 0,5 4,1 1,2 3,6
5 Patricia Gaspersz Telkom 1,3 0,6 1,9 3,6 0,9 1,6 3,9
Time Complete Rate 1,8 1,2 1,2 2,7 1,2 1,4 5,7

47. Reporting
Diagram Tingkat Kemudahan dari SEQ
0,0
1,0
2,0
3,0
4,0
5,0
6,0
7,0
Task 1 : Menilai tingkat
kemudahanuntuk mencari tipe
mobil
Task 2 : Menilai tingkat
kemudahanuntuk register
Task 3 : Menilai tingkat
kemudahanuntuk ngosiasi
dengan pembayarancash
Task 4 : Menilai tingkat
kemudahanuntuk melihat
progress status
Task 5 : Menilai tingkat
kemudahanuntuk melakukan
reminder order
Task 6 : Menilai tingkat
kemudahanuntuk melihat status
order
Task 7 : Menilai tingkat
kemudahanuntuk melakukan
order
SEQ UT Apps Oto Deal Tingkat kemudahan penggunaan
aplikasi OtoDeal oleh user relatif mudah, walaupun
terdapat dua task yang masuk dalam tingkat yang
kurang baik yaitu task 5 (Reminder Order) dan task 7
(Proses Order).
Namun pengalaman selama UT, 2 user kurang
mengerti dengan proses reminder order karna dalam
fikiran user untuk menunda order itu dengan cancel
order atau do nothing sehingga harapannya sales yang
mengingatkan bukan user yang harus merimender.
Skala Tingkat Kemudahan:
Sangat
Sulit
Sangat
Mudah
1 2 3 4 5 6 7
6.0
6.0
5.8
4.2
5.2
5.2
6.8

48. Reporting
Net Promoter Scorer (NPS)
Promoters : 2 (40,00 %)
Passives : 2 (40,00 %)
Detractors : 1 (20,00 %)
NPS : 20,00 % > Rata-rata 31%
= 40,00 % - 20,00 %
= 20,00 %
Source : https://experiencematters.files.wordpress.com/2015/10/1510_nps_industryranges.png
• Nilai NPS average untuk
sebuah aplikasi adalah 31%
• Nilai NPS berada diatas rata-
rata
http://www.npscalculator.com/en