3月7日開催のエスキュービズム社内勉強会資料です。

1. ユーザビリティテストのお話
mixiでのユーザビリティテストの話を聞いてきた
&

2. ユーザビリティ
ソフトウェアや製品の使いやすさ
ユーザや利用状況によって基準は変わる
・コピー機のオフィス設置とコンビニ設置
・若者ユーザと高齢者ユーザ
https://twitter.com/fladdict/status/294065205099495424/photo/1

3. ユーザビリティ評価方法
ヒューリスティック調査
ユーザビリティテスト
実ユーザを使わない。
設計原則等を基準とし、ユーザビリティの専門家によるレビューを実施
実ユーザを使う評価方法。
ペルソナ(仮想ユーザ）を定義してそれに近いユーザに製品やシステムを使ってもら
い、その様子を観察する
最近はGoogle Analytics使ってA/Bテストができたりするが、それもこちら寄り

4. ユーザビリティテストのイメージ
・専門の部屋
・専門の機材
・綿密な計画
http://blog.livedoor.jp/ld_directors/archives/51780644.html
例)NHN JAPAN UXリサーチルームというものがあるそうです

5. mixi社内で行っているユーザビリティテスト
テストを行う部屋 オブザーバは別室で観察
被験者
モデレータ
iChatの画面共有機能で飛ばす
iMacの内蔵カメラで
被験者の手元を撮影
skypeでオブザーバの部屋へ
オブザーバ
機材等がカジュアル

6. mixi社内で行っているユーザビリティテスト2
社内フロー
タスク設計
被験者リクルーティング
パイロットテスト
ユーザビリティテスト
被験者数は5人いればユーザビリティ上の問題を
ほぼ発見できると言われているそうで、そのぐらい。
1ペルソナ当たり5人。
被験者については社内にmixiのコアユーザとなる大学生や
主婦がいないのでツテを頼る
リクルーティング会社経由の方が人選は容易、mixiと被験者の
間で直接契約を結ぶ手間が省ける(秘密保持契約)
社内で被験者を集める場合、mixiの社員だけどmixi使ってない
というユーザ(!)を総務とか人事からかき集める

7. mixi社内で行っているユーザビリティテスト3
ユーザビリティテストの実施タイミング
ペーパープロトタイプの段階で
仮シナリオやペルソナを決定
モック作成
この段階でもテスト実施
プログラム実装
テスト実施
リリース後
定期的にテストを行いカイゼンする

8. テストの際のモデレータの役割
はじめに説明
・録画を行う旨の説明
・テスト内容の説明
・テストの際の注意点
・未公開のサービスの場合、他言しないこと
・正直に答えてもらう
・否定的なことを言ってもらってもOK
・操作内容や気持ちを口に出してもらう(発話)
オリエンテーション以外にここで信頼関係を築いてテストを進
めやすくする狙いもある
被験者によってはゲーム感覚で「全クリア」的なことをしようとする人もいる
録画でユーザ操作は分かっても思考までは読めない
テスト開始以降
ユーザへタスク指示や補助を行うが、極力ユーザに自己解決してもらう

9. テストの際のモデレータの役割
はじめに説明
・録画を行う旨の説明
・テスト内容の説明
・テストの際の注意点
・未公開のサービスの場合、他言しないこと
・正直に答えてもらう
・否定的なことを言ってもらってもOK
・操作内容や気持ちを口に出してもらう(発話)
オリエンテーション以外にここで信頼関係を築いてテストを進
めやすくする狙いもある
被験者によってはゲーム感覚で「全クリア」的なことをしようとする人もいる
録画でユーザ操作は分かっても思考までは読めない
テスト開始以降
ユーザへタスク指示や補助を行うが、極力ユーザに自己解決してもらう
モデレータ役は
女性が向いているそうです

10. 実際にデモしてもらったテスト
前半(10分程度)
自由に操作してもらう
・終わったら質問
「自分でこのアプリケーションを使いこなす自信はありますか？」
「またこのアプリケーションをインストールして使うと思いますか？」
「良い点、悪い点、デザインの好みについて教えてください」
「評価を5段階でお願いします」
後半(50問程度)
被験者リクルーティング
・mixiアカウントを持っている
・iPadを持っている。
・iPad版mixiは使ったことがない
モデレータから特定のタスクをお願いする
「今いるカフェの雰囲気がいいので写真を撮って呟いてください」
「日記を友達だけが見えるように書いてUPしてください」
「さきほど投稿したカフェの写真になにかフィードバックが来ていないか確認してください」
「コメントが来ているようなのでそのコメントに返信してください」

11. テスト結果の評価
別室のオブザーバが評価
評価軸
・成功率
・タスク達成時間
・エラー率
・NE比率
(初心者=Novice、専門家=Expertとして、それぞれ掛かった時間を比較して
問題のある操作ステップを把握する)
・ユーザの主観的満足度
ユーザ1 ユーザ2 ユーザ3 ユーザ4
タスク1
タスク2
タスク3
「気づき」を付箋に書いてホワイトボードに貼っていく

12. ユーザビリティテストを行ってみて社内の反応
・もともとmixi社員はmixiのヘビーユーザなのでライトユーザとは感覚が異なる
・企画職の場合自分の企画に思い入れがある
ユーザ感覚との剥離、プロダクトの思い入れの排除
自分達が使いやすい=ユーザも使いやすいと思い込みがちな所、
テスト結果を見せられてハッとさせられることも多い。
エンジニアの場合、論理的に考える人が多いこともあり、テスト結果があると
受け入れやすいとのこと。
その他の感想
テスト結果に絶望した。死にたい。