Описание методологии, список банков-участников, метрики и контактная информация. Если интересно получить больше - пишите, звоните.

1. СРАВНИТЕЛЬНОЕ ИССЛЕДОВАНИЕ УДОБСТВА БАНКОВСКИХ ПРОДУКТОВ ДЛЯ ПОЛЬЗОВАТЕЛЕЙ
Описание методологии исследования
Банковские сайты
Исследование проводилось в период с сентября по ноябрь 2014 г.

2. Записаться на презентацию
Введение
РЕЗЮМЕ ИССЛЕДОВАНИЯ
Мы пригласили в нашу лабораторию реальных пользователей и попросили их выполнить на сайте задание, например, подобрать вклад. Такая процедура называется «юзабилити-тестирование». Каждое тестирование проводится индивидуально, то есть в один момент времени мы работаем только с одним человеком. При этом мы наблюдаем за тем, с какими сложностями сталкивается респондент при выполнении задания, и наоборот, какие интерфейсные решения ему помогали.
Для оценки решений мы использовали 9 различных метрик, 7 из которых вошли в так называемый «интегральный показатель юзабилити по задаче».
Цель исследования: сравнение удобства реализации типовых операций в интерфейсах различных банковских сайтах.
Методика исследования: сравнительное usability- тестирование с использованием технологии регистрации движений глаз и обратная карточная сортировка.
2

3. Записаться на презентацию
Введение
РЕЗЮМЕ ИССЛЕДОВАНИЯ
Почему для тестирования отобраны именно типовые задачи?
Преимущественно пользователи обращаются к сайту банка в двух случаях: для получения информации о продуктах или для поиска контактных данных, адресов отделений и банкоматов.
Отсутствие возможности быстро и эффективно найти наиболее полную информацию приведёт к отказу от использования сайта банка.
Для тестирования были отобраны 7 наиболее частотных и важных пользовательских задач:
Подбор кредитной карты
Поиск отделения банка
Поиск банкомата
Подбор вклада
Просмотр информации по автокредиту
Просмотр информации по ипотеке
Отправка письменного обращения через сайт
3

4. Записаться на презентацию
Что вы получите, читая этот отчёт?
●Видение преимуществ и недостатков продукта глазами пользователей.
●Понимание возможных причин отказа от использования продукта.
●Возможность по результатам исследования исправить ошибки, мешающие пользователям выполнять необходимые действия. И, как следствие, повысить востребованность продукта на рынке.
●Сравнение с другими банковскими сайтами.
●Понимание того, какие показатели и задачи являются наиболее проблемными у отдельных банков и по отрасли в целом.
7
Введение
ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ

5. Записаться на презентацию
Для кого отчёт окажется наиболее ценным?
●Для руководителей и начальников отделов – независимая сравнительная оценка результатов работы по созданию и развитию своего продукта.
●Для маркетологов и менеджеров продуктов – основание для корректировки стратегии развития и продвижения продукта.
●Для технических специалистов – основание для внесения изменений в интерфейс продукта.
Для чего именно он будет полезен?
●Повышение удобства банковских сайтов и удовлетворённости пользователей от работы с ними.
●Снижение вероятности перехода к использованию продуктов-конкурентов в связи с проблемами интерфейсов.
●Улучшение интерфейсных конкурентных преимуществ банковских сайтов, важных для привлечения новых клиентов банков.
8
Введение
ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ

6. Записаться на презентацию
9
Введение
БАНКИ-УЧАСТНИКИ

7. Записаться на презентацию
По каким критериям отбирались респонденты?
В тестировании приняло участие 60 человек в возрасте от 18 до 48 лет, которые были условно разделены на две группы по опыту использования банковского сайта («опытные» и «новички»).
Ни один из респондентов не являлся клиентом тестируемого банка.
«Опытными» считаются респонденты, которые самостоятельно подбирали один или несколько банковских продуктов.
«Новичками» считаются респонденты не имеющие опыта подбора вкладов, автокредитов, ипотеки и кредитной карты.
11
«опытные»
«новички»
6
10
=
60
х
Методы исследования
АУДИТОРИЯ

8. Записаться на презентацию
Юзабилити-тестирование – качественный экспериментальный лабораторный метод анализа взаимодействия пользователя с продуктом при решении типичных задач (ГОСТ Р ИСО 9241-11).
Тестирование проводится в специально оборудованной лаборатории.
Модератор зачитывает задание из сценария, которое респонденту необходимо выполнить. Сценарий тестирования не содержит шагов выполнения задания или подсказок.
Операции респондент выполняет в обычном для себя темпе и при необходимости комментирует возникающие затруднения.
Модератор не вмешивается в ход работы респондента, не задаёт наводящих вопросов и не даёт подсказок. По завершении каждого задания и в конце всего тестирования модератор получает качественные данные с помощью интервью об удобстве выполнения задания и впечатлении от работы.
Модератор фиксирует время выполнения операции, затруднения и вопросы пользователя, а также наблюдает и анализирует его поведение.
13
Методы исследования
ПРИМЕНЁННЫЕ МЕТОДИКИ

9. Записаться на презентацию
Перед началом тестирования происходит настройка оборудования для регистрации движения глаз (eye- tracker) под конкретного респондента. Весь процесс тестирования записывается с помощью специального программного обеспечения, позволяющего визуализировать полученную информацию в виде тепловых карт и траекторий движения глаз.
Eye-tracking – метод регистрации движения глаз респондента по экрану при работе с интерфейсом. Позволяет делать выводы об ожиданиях и проблемах во время взаимодействия с продуктом.
14
Методы исследования
ПРИМЕНЁННЫЕ МЕТОДИКИ

10. Записаться на презентацию
Исследование проводится при помощи специализированного программного обеспечения, в котором исследователем в виде дерева задаётся структура тестируемого банковского сайта.
Респонденту предлагается выполнить те же 7 задач, что и в основной части тестирования. Разница лишь в том, что вместо выполнения операции респонденту предлагается отметить раздел, в котором он ожидает увидеть возможность выполнить заданную операцию.
Сортировка проводится до тестирования, чтобы исключить влияние обучения пользователя навигации в системе в процессе исследования.
Обратная карточная сортировка (tree testing) – качественный экспериментальный метод проверки удобства навигации и наименований в существующей информационной архитектуре банковского сайта.
15
Методы исследования
ПРИМЕНЁННЫЕ МЕТОДИКИ

11. Записаться на презентацию
После выполнения всех заданий пользователю необходимо оценить свои впечатления от работы с банковским сайтом по 17 парам прилагательных с противоположными значениями.
Например, привлекательный/отталкивающий. На шкале пользователь отмечает тот балл, который лучше всего отражает его впечатление в контексте предложенной пары характеристик.
Семантический дифференциал – метод построения индивидуальных семантических пространств, позволяющий оценивать восприятие одного и того же объекта разными респондентами. Эта методика пришла в маркетинговые исследования из психологии (Ч. Осгуд, 1952 г.) Её результатом являются качественные характеристики эмоционального восприятия бренда, которые не влияют на рейтинговый балл по задачам.
16
Методы исследования
ПРИМЕНЁННЫЕ МЕТОДИКИ

12. Записаться на презентацию
После выполнения каждого задания респондент заполняет анкету с оперативными метриками. После выполнения всех заданий респонденту даётся анкета (итоговые метрики), в которой он оценивает свое общее впечатление от работы на банковском сайтепо предложенным вопросам.
Юзабилити-метрики представляют собой две анкеты на 15 вопросов после каждого задания (оперативные метрики) и на 7 вопросов после завершения исследования (итоговые метрики). По каждому вопросу респондент оценивает удобство банковского сайта по 5-бальной шкале.
17
Методы исследования
ПРИМЕНЁННЫЕ МЕТОДИКИ

13. Записаться на презентацию
Дополнительные показатели:
Основые показатели:
Результативность
Эффективность рекламы
Юзабилити-ошибки
Эмоциональное восприятие бренда
Субъективная удовлетворённость
Непонятные формулировки
Удобство навигации
Наличие базового функционала
18
Методы исследования
ИЗМЕРЯЕМЫЕ ПОКАЗАТЕЛИ
Полнота информации

14. Записаться на презентацию
Юзабилити-ошибки - количество проблем интерфейса, препятствующих совершению пользователем необходимого действия и снижающих удовлетворённость от использования продукта.
Возникающие у пользователя затруднения фиксируются модератором в процессе тестирования.
В процессе анализа проблемы ранжируются по степени критичности. Критичными считаются те проблемы, из-за которых респондент не смог выполнить задание (достичь нужного результата). Некритичными - те, которые не помещали респонденту выполнить задание, но существенно затруднили его работу с интерфейсом, малокритичными – те, которые несущественно затруднили выполнение задачи, но повлияли на удовлетворённость от работы с интерфейсом.
vs
19
Методы исследования
ИЗМЕРЯЕМЫЕ ПОКАЗАТЕЛИ (ОСНОВНЫЕ)

15. Записаться на презентацию
Успешность - число пользователей, успешно выполнивших задание.
Во время тестирования модератор отмечает, было ли задание выполнено респондентом. Для каждого здания в сценарии задается критерий его успешного выполнения. Для задач на просмотр информации в качестве критерия выступает правильный ответ на определённый набор вопросов. Для остальных задач – это совершение операции.
В качественном исследовании даже невыполнение задания 2 из 6
респондентов может служить
индикатором наличия серьезных ошибок
в интерфейсе.
21
Методы исследования
ИЗМЕРЯЕМЫЕ ПОКАЗАТЕЛИ (ОСНОВНЫЕ)

16. Записаться на презентацию
Удовлетворённость - субъективное восприятие пользователем удобства работы с интерфейсом.
После выполнения каждой задачи и завершения тестирования респондент заполняет анкету, в которой по шкале от 1 до 5 оценивает удобство работы с сайтом по различным параметрам. Максимальный балл всегда соответствует положительному полюсу, минимальный – отрицательному.
Методика оценки удовлетворённости «Метрики субъективной удовлетворённости» разработана при участии Института Психологии РАН, А.Н. Костиным, д.п.н.
Нет смысла спрашивать респондента
«Понравился ли вам банковский сайт?»,
чаще всего респонденты отвечают
на такие вопросы утвердительно, даже
не задумываясь о смысле своего ответа.
Мы не задаем респондентам прямые
вопросы об удовлетворнности,
поскольку данные параметры являются
очень субъективными, и разные
респонденты могут вкладывать в это
различный смысл. Мы используем
специальные объективные методики для
оценки удовлетворённости.
22
Методы исследования
ИЗМЕРЯЕМЫЕ ПОКАЗАТЕЛИ (ОСНОВНЫЕ)

17. Записаться на презентацию
Непонятные формулировки – соответствие названия раздела тому смыслу, который вкладывают в это название пользователи, либо фактическому содержанию этого раздела.
Показатель представляет собой количество неясных формулировок, встретившихся респондентам при выполнении базовых операций на банковском сайте
Удобство навигации – простота и логичность структуры продукта для пользователя.
Определяется при помощи обратной карточной сортировки. Состоит из нескольких параметров: успешность – смог ли респондент верно указать раздел, в котором находится нужная информация; время, затраченное респондентом на поиск необходимого раздела в структуре сайта.
23
Методы исследования
ИЗМЕРЯЕМЫЕ ПОКАЗАТЕЛИ (ОСНОВНЫЕ)

18. Записаться на презентацию
Полнота информации– наличие и доступность основной информации о продуктах, а также отделениях и банкоматах на сайте.
24
Методы исследования
ИЗМЕРЯЕМЫЕ ПОКАЗАТЕЛИ (ОСНОВНЫЕ)
Наличие базового функционала – фактическое присутствие или отсутствие на банковском сайте возможности выполнить базовые 7 операций, по которым производится сравнительное исследование.

19. Записаться на презентацию
Оценка эффективности рекламы. Анализируя данные eye-tracking камеры, можно сделать вывод о том, что привлекает наибольшее внимание пользователя и что на экране не попадает в его поле зрения. В процессе анализа выделяется так называемая «зона интереса», по которой изучается информация о времени фиксации взгляда и последовательности движения глаз. Таким образом, можно понять насколько эффективно продвижение услуг и акций (насколько предлагаемые на сайте промо-материалы действительно различаются пользователями).
Эмоциональная оценка. Для каждого банка строится семантический профиль на основе оценок респондентов по парам прилагательных. Затем для каждого банка отбираются наиболее характерные прилагательные (имеющие наибольший балл) и производится качественный анализ полученных результатов. Также можно сравнить банковские сайты по доминирующим характеристикам.
25
Методы исследования
ИЗМЕРЯЕМЫЕ ПОКАЗАТЕЛИ (ДОПОЛНИТЕЛЬНЫЕ)

20. Записаться на презентацию
Общий отчёт по сравнительному исследованию банковских сайтов содержит анализ лучших и худших решений по каждому измеряемому показателю, а также по каждой пользовательской задаче.
Подробные отчёты по отдельным банкам содержат подробный анализ прохождения всех задач в конкретном банке (в том числе, данные метрик), с указанием всех возникших проблем в интерфейсе и рекомендациями по их устранению, а также удачных интерфейсных решений, которые положительно повлияли на общие показатели удобства. Подробный отчёт составляется дополнительно по запросу со стороны заказчиков.
26
Методы исследования
РЕЗУЛЬТАТ ИССЛЕДОВАНИЯ

21. Записаться на презентацию
Рейтинг удобства банковских сайтов
МЕТОДИКА РАСЧЁТА РЕЙТИНГОВОГО БАЛЛА
21
Для расчёта балла, присваиваемого каждой операции, основные измеряемые показатели были объединены в 4 фактора, отражающие различные аспекты взаимодействия пользователя с интерфейсом.
Итоговый балл для каждой операции рассчитывался с учётом вклада каждого из факторов.
Дополнительные показатели (эмоциональная оценка и эффективность рекламы) не влияют на рейтинг.
Эффективность как различные аспекты результативности выполнения заданий.
Экономичность как затраты на деятельность т.е. ресурсы пользователя, затрачиваемые на работу с системой.
Удовлетворённость как отношение пользователя к продукту.
Надёжность как помехоустойчивость выполнения, безошибочность, рисков и возможных опасных последствий.

22. Записаться на презентацию
Удобство навигации
(успешность, точность, время выполнения)
Результативность
Полнота информации
Количество
ошибок
Оперативные метрики
Итоговые метрики
Функциональность
27
Эффективность
Экономичность
Удовлетворённость
Надёжность
Рейтинг удобства банковских сайтов
МЕТОДИКА РАСЧЁТА РЕЙТИНГОВОГО БАЛЛА

23. Записаться на презентацию
Эффективность
Отражает степень соответствия интерфейса реальным жизненным задачам пользователей. Фактор складывается из того, насколько полно и качественно интерфейс предоставляет пользователю информацию, и насколько верно и точно пользователь совершает все действия при работе с интерфейсом при выполнении базовых операций.
Экономичность
Отражает то, насколько легко и быстро интерфейс дает возможность пользователю достичь своих целей. Складывается из того, сколько времени и усилий пользователь вынужден затрачивать, насколько он утомляется, насколько интерфейс облегчает работу пользователю, предоставляя подходящие в данный момент подсказки и быстрые решения.
Удовлетворённость
Отражает то, насколько высоко пользователь оценивает удобство работы и привлекательность интерфейса. Складывается как из объективных показателей, зафиксированных на тестировании, таких как предсказуемость поведения интерфейса, его понятность, так и из субъективных эмоциональных оценок впечатления от работы с продуктом. В итоге, показатель комфорта описывает то, как пользователь воспринимает работу с интерфейсом в целом.
28
Рейтинг удобства банковских сайтов
МЕТОДИКА РАСЧЁТА РЕЙТИНГОВОГО БАЛЛА

24. Записаться на презентацию
Надёжность
Отражает то, насколько стабильно интерфейс дает пользователю возможность достигать своих целей. Показатель складывается как из количества и критичности ошибок, которые совершает пользователь при работе с сайтом, так и из субъективного впечатления о надёжности и предсказуемости работы.
Функциональность
Отражает количество операций из 7 типичных пользовательских задач, которые теоретически возможно выполнить на сайте банка. При этом, если одно из заданий, не смотря на теоретическую возможность выполнения, не выполнено ни одним респондентом, функциональность также страдает.
29
Рейтинг удобства банковского сайта
МЕТОДИКА РАСЧЁТА РЕЙТИНГОВОГО БАЛЛА

25. ЗАПИШИТЕСЬ НА ПРЕЗЕНТАЦИЮ
+7 (495) 933-01-37 доб. 409
d.silaev@usabilitylab.net
www.usabilitylab.ru