Что такое Quality Rating

QUALITY RATING
как идентификация готовности
продукта к релизу
Тимофей Сургученко
Head of QA, Parallels
О себе
Тимофей
Сургученко
• 2003 – н.вр. – работаю в
Parallels
• Junior Tester -> Head of QA
• 100+ департамент
• 10+ продуктовых линеек
• Parallels Desktop for Mac –
главный продукт
О докладе
• Quality Rating – что это такое
• Основные преимущества
• Прочие плюшки
• Что нужно помнить
• Каких проблем избегать
Как все начиналось
• 6 лет назад
• Уже не стартап в самом начале, есть
успешный продукт
• Жесткое противостояние с
конкурентами
• Очередная версия
• Делали-делали...
• А можно ли это показать
пользователю?
Что такое Quality Rating
• Простая числовая
метрика
• Выставляется тестерами
• Оценка уровня качества
некоторых аспектов или
компонентов продукта
Простая числовая оценка уровня качества
некоторых аспектов продукта
QR as defined by Parallels
5
4
3
2
1
No problems at all.
Clearly ready to ship
Can be shipped into production,
but there are several non-critical issues
Can NOT be shipped into production,
but is OK for evaluation
Not OK even for evaluation,
blo/cri issues on main paths
Totally unusable/untestable
QR – степень готовности компонента к передаче
конечному пользователю
Фокус на пользователя
Нет:
- баги
- требования
- покрытие
Да:
- комфорт пользователя
- простота, целостность,
юзабилити
- готовность к релизу
QR помогает сфокусировать команду на конечном
пользователе
Коммуникации проще
“Ну как там качество?”
Нашли 1 критический и 15
мажорных багов. Есть
проблемы со скоростью
рендеринга некоторых
экранов. Клик по кнопке
“Далее” в корзине иногда
вызывает фатальную
ошибку, не понятно почему.
Функциональные тесты
надо переделать после
очередного изменения в
корных компонентах...
QR = 2
Коммуникация с помощью QRов гораздо проще и
понятнее
Общее представление о качестве
5
4
3
2
Общее представление получить проще
Детали
Легко понять качество конкретных компонент и
динамику
Какой QR?
QR – фокус на конечного пользователя
QR – величина субъективная
Субъективная оценка
• Зависит от человека, его
выставляющего
• Требует
• хорошего менеджмента и
правильного выбора тестеров
• доверия между членами
команды
• QR необходимо хорошо
обосновать:
• багами
• заблокироваными тестами
• и прочими объективными
вещами
QR необходимо хорошо обосновать
Какой QR?
QR = 1, если нас интересует процесс
QR vs процесс
• QR
• качество продукта
• и процесса
• Необходимо
договариваться на
берегу
• И жестко следовать
договоренности
QR – и качество процессов в том числе
QR и разработчики
• “Я хочу погонять больше
тестов”!
• “Я хочу проверить больше
конфигураций”!
• “Я хочу пятерку” 
• Разработчики не так
эффективны как тестеры 
Не стесняйтесь отобрать фичу в тестирование
QR vs KPI
• QR:
• субъективен
• ориентирован на
функционал, а не на
его автора
• “живая” метрика
• Не может быть
частью KPI
Не делайте этого во имя мира в команде
Резюме
1. QR – оценка уровня качества некоторых
аспектов продукта
2. Преимущества:
a. (!) фокусирует разработку и тестирование на
конечном пользователе
b. упрощает коммуникации
c. позволяет быстро получить обзор текущего
уровня качества продукта
3. Помнить о том, что:
a. заведомо субъективная оценка
b. требует правильного обоснования
c. не может быть частью командных или
индивидуальных KPI
Спасибо
mailto: timsus@gmail.com
twitter: @sstims