Юзабилити-рейтинга мобильных приложений банков

ЮЗАБИЛИТИ-РЕЙТИНГ
МОБИЛЬНЫХ ПРИЛОЖЕНИЙ
БАНКОВ 2015
Протестированные задачи
•
авторизация;
•
оплата услуг сотовой связи;
•
проверка счетов и кредитов;
•
оплата ЖКУ;
•
просмотр истории операций;
•
поиск ближайшего банкомата.
•
перевод между своими счетами;
•
перевод на счет в другом банке;
Процедура отбора участников
исследования учитывает опыт
пользователей
опытные
120 респондентов
неопытные
15
банков
•
юзабилити-тестирование
•
eye-tracking
•
tree-testing
•
семантический дифференциал
Что мы вкладываем
в понятие «юзабилити»
• эффективность — способен ли пользователь
решить
задачу;
• экономичность — сколько ресурсов он затрачивает на
выполнение;
• удовлетворенность — как оценивает свои субъективные
ощущения от работы с интерфейсом;
• надежность — насколько безошибочно приложение позволяет
справляться с заданием.
Меньше ошибок —
выше балл
Расчет юзабилити-рейтинга
• Данные по 6 метрикам переводятся в единую шкалу и, с
учетом веса каждой из метрик, обобщаются в юзабилити-
6 метрик
индекс каждого отдельного задания.
• Основная метрика исследования – количество и критичность
4 показателя
юзабилити-проблем – влияет на все остальные метрики
задания.
• Общий юзабилити-индекс приложения складывается из
общий показатель по задаче
показателей по отдельным заданиям, при этом они имеют
равный вес.
единый рейтинг
Юзабилити-рейтинг 2015
1.
Сбербанк России
89,68
2.
Банк Москвы
89,19
3.
Тинькофф Банк
87,36
4.
ВТБ 24
87,31
5.
Банк «Санкт-Петербург
86,74
6.
Хоум Кредит энд Финанс Банк
83,57
7.
БИНБАНК
83,16
8.
Ханты-Мансийский банк Открытие
82,22
9.
Банк «Русский Стандарт»
80,92
10. РОСБАНК
79,17
11.
Промсвязьбанк
78,80
12.
АЛЬФА-БАНК
78,07
13.
ЮниКредит Банк
75,61
14.
Райффайзенбанк
75,26
15.
Газпромбанк
64,87
Рейтинг — это упорядочивание
нескольких объектов
по определенному признаку
Критерии выбора признака:
• выраженность можно оценить по принципу «есть /
нет» или «больше-меньше»;
• представляет собой практический интерес для
потребителей рейтинга.
Как делают рейтинги?
•
выбирают объекты сравнения (конкретные
•
проводят оценку, обобщают результаты;
мобильные приложения);
•
презентуют результаты.
•
выбирают признаки сравнения;
•
выбирают метод оценки;
Критерии качества рейтинга
•
интересен ли признак, положенный в основу
•
рейтинга?
•
можно ли доверять методу измерения признака?
•
насколько адекватные выбраны инструменты
измерения признака?
можно ли доверять людям, проводящим
измерения или выставляющим оценки?
•
какие конкретные управленческие решения можно
принять, опираясь на рейтинг?
Чем юзабилити-рейтинг
отличается от других
существующих рейтингов
мобильных приложений
Рейтинг на основе чеклистов
•
•
чеклисты составляют эксперты на основе своих
•
при этом никак не учитывается необходимость и
представлений о том, что должно быть в хорошем
удобство функционала для реальных
мобильном банке;
пользователей;
как правило, это рейтинги функциональности, хотя
•
могут быть интересны для сравнения своей
в чеклист могут входить и другие критерии
«технологической продвинутости»
(например, «история выписки на русском языке»)
конкурентами;
•
с
однако нельзя забывать, что увеличение числа
функций не обязательно приводят к росту
удовлетворенности пользователей.
Функциональность мобильных приложений
И удовлетворенность пользователей не всегда связаны. В сравнительном исследовании приложений
новозеландских банков было показано, что банк с большим количеством функций, но менее удобным
интерфейсом, пользователи оценили гораздо ниже.
SUS Score
Total # of Features
Usability Issues
100
20
90
18
80
16
70
14
60
12
50
10
40
8
30
6
20
4
10
2
0
AKZ
ASB
BNZ
KiWi bank
MY
WW
Исследование Optima Usability
O
Рейтинг на основе
пользовательских отзывов
В основе – опросы пользователей или анализа
отзывов в магазинах приложений
• позволяют услышать голос живых пользователей
и могут принести некоторые полезные идеи;
• главный недостаток – измеряют мнения, а не
поведение:
✓ опросы: полученные ответы зависят от заданных вопросов;
реальные проблемы могут остаться незамеченными;
✓ анализ отзывов: высказываются самые довольные или самые
недовольные, объективность оценок страдает.
• как результат, сложно применить на практике:
✓ что, кроме очевидных технических проблем, исправлять в
системе для ее улучшения?
✓ как сравнить себя с конкурентами?
Рейтинг на основе сочетания
подходов
В основе – экспертная оценка качества (удобства)
• в силу методологии мнения экспертов получают
интерфейса по чеклистам в сочетании с
гораздо больший вес, чем результаты
минимальным пользовательским тестированием
тестирования;
• субъективность исследователей проявляется как
при составлении чеклистов, так и при оценке;
• возможность применения для улучшений МБ
ограничена, т.к. нет гарантий, что улучшение
интерфейса по конкретному пункту чеклиста
решит реальные пользовательские проблемы.
Общая проблема применимости
рейтингов мобильных банков
•
что делать с этими цифрами?
•
использовать в целях маркетинга?
•
и все?
•
почему отстали от конкурента 1?
•
как оторваться от конкурента 2?
•
как это связано с бизнес-показателями?
Точного ответа – нет
*цифры являются вымышленными и не относятся к конкретным рейтингам
78
ваш рейтинг*
86
рейтинг конкурента 1
74
рейтинг конкурента 2
Юзабилити-рейтинг
мобильных банков от
USABILITYLAB
Юзабилити-рейтинг — критерии
соответствия заявленной
ценности и названию
• Рейтинг должен иметь практическую ценность и обоснование оценкам
• Критерии оценки должны влиять и коррелировать с бизнес-эффективностью
• Функциональность не может иметь превалирующее значение при начислении баллов, поскольку не
коррелирует с юзабилити и удовлетворенностью пользователей
• Критерии должны быть однозначны, обоснованы и актуальны во времени
• Должно быть очевидно как повысить бизнес-эффективность канала и получить высший балл
Удобство интерфейса — реально
значимый признак для бизнесэффективности
• 1 из 6 клиентов готов сменить банк из-за недовольства
интерфейсом приложения (http://goo.gl/gQqjyW);
• в целом довольные клиенты в 3 раза менее склонны сменить
банк, чем недовольные (http://goo.gl/Qso0hk)
• для 60% клиентов при выборе банка мобильный банк играет
значимую роль (http://goo.gl/zVpZna);
• провести операцию через приложение в 41 раз дешевле, чем
через офис (http://goo.gl/X5fglb);
Преимущества подхода
USABILITYLAB
•
Мы свели к минимуму эти негативные факторы за
счет методологии исследования и своего
профессионализма;
•
рейтинг основан на количестве проблем, с
которыми столкнулись живые пользователи в ходе
решения реальных задач, а не на оценках
экспертов;
•
мы максимизировали практическую полезность
отчета (см. дальше)
Влияние личности респондента на
результат
•
5 респондентов достаточно для выявления 85%
это значит, что бо’льшая часть проблем
проблем интерфейса*
интерфейса будет выявлена независимо от
•
мы протестировали 8 на каждый банк;
личности респондентов.
•
1 респондент тестирует только 1 банк, при этом
тестируемое приложение он видит в первый раз –
так мы исключили влияние опыта на результат;
•
•
* http://goo.gl/03Cj7n
Специалисты провели более 150
тестирований и имеют опыт
работы более 3 лет
• знают, как вести себя во время общения с респондентами;
• на какие особенности поведения пользователей обращать
внимание;
• какие вопросы задавать пользователям;
• как опознать и описать юзабилити-проблему.
•
* http://goo.gl/03Cj7n
Методология исследования
составлена специалистами
экспериментальной психологии
• Юзабилити-специалисты знают, как правильно проводить
исследования на людях, чтобы избежать сознательного
и непроизвольного искажения результатов;
• спланировать исследование, чтобы измерить именно то, что
нужно;
• в каких шкалах измеряются различные показатели;
• как правильно свести секунды, проценты и баллы в единую
осмысленную цифру.
Практическая польза
Не одна цифра, а несколько
• по каждому показателю;
• по каждой задаче;
• по отдельным показателям в задаче.
Благодаря этому даже без подробного отчета видны проблемные
области приложения (наиболее «провальные» задачи и метрики).
Единый рейтинг юзабилити
Можно гордиться, использовать для сравнения себя с конкурентами,использовать в
маркетинговых целях, включать в пресс-релизы.Получаем практическую ценность в сочетании с
практическим отчетом по исследованию.
1 место
2 место
3 место
4 место
5 место
Сбербанк России
Банк Москвы
Тинькофф Банк
ВТБ 24
Банк «Санкт-Петербург»
89,68
89,19
87,36
87,31
86,74
версия 1.0 от 24.10.2014
версия 1.0 от 24.10.2014
версия 3.0.3 от 10.04.2015
версия 6.4.0 от 06.04.2015
версия 3.2.1 от 23.03.2015
6 место
7 место
8 место
9 место
10 место
Хоум Кредит энд
БИНБАНК
Ханты-Мансийский
Банк «Русский
РОСБАНК
Финанс Банк
83,16
банк Открытие
Стандарт»
79,17
версия 2.5.1 от 18.04.2015
83,57
версия 1.2 от 27.02.2015
82,22
80,92
версия 1.2 от 14.01.2015
версия 3.2.17 от 4.03.2015
версия 1.18.0 от 15.03.2015
11 место
12 место
13 место
14 место
15 место
Промсвязьбанк
АЛЬФА-БАНК
ЮниКредит Банк
Райффайзенбанк
Газпромбанк
78,07
75,61
75,26
64,87
версия 5.7.1 от 10.02.15
версия 2.5.5 от 21.12.14
версия 4.2 от 25.09.2014
версия 3.0 от 26.09.2013
78,80
версия 2.6.5 от 26.03.2015
Юзабилити-рейтинг 2015
1.
Сбербанк России
89,68
2.
Банк Москвы
89,19
3.
Тинькофф Банк
87,36
4.
ВТБ 24
87,31
5.
Банк «Санкт-Петербург
86,74
6.
Хоум Кредит энд Финанс Банк
83,57
7.
БИНБАНК
83,16
8.
Ханты-Мансийский банк Открытие
82,22
9.
Банк «Русский Стандарт»
80,92
10. РОСБАНК
79,17
11.
Промсвязьбанк
78,80
12.
АЛЬФА-БАНК
78,07
13.
ЮниКредит Банк
75,61
14.
Райффайзенбанк
75,26
15.
Газпромбанк
64,87
Спасибо
•
Примеры найденных проблем
•
Узнать больше о методологии, ценах и возможностях расширения
отчета: info@usabilitylab.net