5 dari 7 Partisipan Berpikir Kamu Agak Ngawur

Sering ga liat gaya laporan Usability Testing yang seperti ini?

• 4 dari 7 partisipan tidak bisa menemukan tombol check-out
• 3 dari 9 partisipan mengalami masalah dalam mencari barang X
• Hanya 1 dari 8 partisipan yang mencoba menu Z

Jujur, gw dulu juga suka bikin laporan seperti itu. Alasan utamanya karena gw suka insecure dengan hasil Usability Testing yang “cuman” pake 7 partisipan. Jadi dengan kasih angka, somehow gw bisa bikin laporannya sedikit “lebih saintifik”.

But do you find what is problematic here? Yang menjadi masalah adalah justru cara penyampaian seperti ini bisa memberikan insight yang salah.

Mengapa? Begini alasan utamanya. Usability Testing dengan jumlah partisipan yang kurang dari 10 orang adalah metode riset kualitatif. Untuk metode kualitatif, apakah ada perbedaan prioritas jika sebuah masalah usability dialami oleh 13% dari semua partisipan atau 50% dari partisipan? Jawabannya: kita tidak tahu.

Ada kemungkinan masalah yang dialami oleh semua partisipan UT memang adalah masalah yang sangat tinggi prioritasnya. Ada kemungkinan juga bahwa sebuah masalah yang hanya dialami oleh satu orang partisipan namun masalah usability tersebut palung darurat untuk segera dipecahkan.

Yang menjadi masalah adalah ketika kita memberikan data numerik pada hasil Usability Testing, kita seakan memberi gambaran bahwa “semakin banyak sebuah masalah usability dialamin oleh partisipan maka akan semakin tinggi skala prioritas dari masalah tersebut”. Padahal hal ini tidak tepat. Orang sample sizenya risetnya aja cuman 7 orang….

Kalau mau quantify hasil riset kualitatif ini, dengan sample size 7 orang, mungkin-mungkin margin errornya 97%. Meaning, angka 13% dan 97% ga akan beda secara statistik.

Yang lebih parah lagi, dulu untuk membuat hasil UT lebih saintifik, gw tambahin 2 dosa lagi. Gw minta informasi tentang SUS dan NPS dari 7 partisipan ini. Can you imagine how stupid I was?

Intinya, men-quantify riset kualitatif seperti usability testing adalah salah satu kengawuran yang pernah gw lakukan. Mungkin saja sih melakukan perhitungan numerik SUS, NPS, time on task, task completion, dan efficiency dalam sebuah Usability Testing, tapi menurut gw, sample sizenya ya ga 7 orang banget. Kalau emang cuman mau melakukan risetnya dengan 7 orang, ya udah santai aja. Ga usa dipermak riset UT nya jadi riset quant.

Yoel

(Dulu suka berdosa dengan angka-angka ketika presenting finding qual ke orang-orang Jerman)