Metric

Методика метрического анализа
в системе менеджмента
качества ISO 9000-2000
Измерения, анализ и
улучшение
Организация должна определить,
спланировать и осуществлять
деятельность по измерению и
мониторингу, необходимую для гарантий
соответствия и достижения улучшений.
Она должна включать определение
потребности и применение приемлемых
методов, включая статистические методы.
п.8.1 ISO 9001-2000
Роль измерений
Когда вы можете измерить, то о чем вы
говорите, и выразить это в числах, вы знаете
кое-что об этом; но если вы не можете
измерить это и выразить в числах, ваше
знание скудно и неудовлетворительно.
Лорд Кельвин
When you can measure what you are speaking about and express it
in numbers, you know something about it; but when you can not
measure it, when you can not express it in numbers, your
knowledge is of meager and unsatisfactory kind
Lord Kelvin
Принципы
ISO 9000
1. Концентрация на потребностях заказчика (Customer
focus)
2. Лидирующая роль руководства (Leadership)
3. Вовлечение исполнителей (Involvement of people)
4. Процессный подход (Process approach)
5. Системный подход к управлению (System approach to
management)
6. Непрерывные улучшения (Continual improvement)
7. Принятие решений на основе фактов (Factual
approach to decision making)
8. Взаимодействие с поставщиками на основе взаимной
выгоды (Mutually beneficial supplier relationships)
Цена качества
 Согласованная цена качества
(conformance cost)
Стоимость предупреждения (prevention cost)
 Стоимость экспертизы (appraisal cost)

 Несогласованная цена качества
(non-conformance cost)
Стоимость исправлений (rework cost)
 Убытки (loss)

Затраты на качество
 Управление качеством
процесса –
перераспределение
согласованной цены
качества
 Управление качеством
продукта – увеличение
несогласованной цены
качества
Sedigh-Ali S., Ghafoor A., Paul R. A. Metrics-Guided Quality Management for
Component-Based Software Systems,
- Proceedings of the 25th Annual International Computer Software and Applications Conference
Влияние процессов на
качество
Статистические исследования влияния
процессов разработки на качество
результирующего
продукта
показывают :


Совершенствование
процесса
разработки
и
внедрения
программного
обеспечения
значительно
уменьшают
относительную (в пересчете на
единицу
объема
программного
продукта)
несогласованную
стоимость качества при сохранении
согласованной стоимости качества
на прежнем уровне.
Инвестиции в совершенствование
процесса разработки программного
продукта при условии раннего и
адресного
внедрения
процедур
улучшения
качества
ведут
к
значительному
сокращению
дефектов
и
дают
высокий
положительный
экономический
эффект.
Slaughter S. A., Harter D. E., Krishnan M. S.
Evaluating the Cost of Software Quality,
- Communications of the ACM, August
1998/Vol. 41, No. 8.
Качество на каждой стадии проекта
возрастает:


как прямое следствие зрелости
процесса,
вследствие использования
промежуточного продукта более
высокого качества, произведенного
на предыдущей стадии
Harter D. E., Slaughter S. A. PROCESS
MATURITY AND SOFTWARE QUALITY: A FIELD
STUDY,
- Proceedings of the twenty first international
conference on Information systems December 2000
Многомерность
качества
Stylianou A.C., Kumar R. L., An Integrative Framework for IS Quality Management,
- COMMUNICATIONS OF THE ACM, Sept. 2000/V l. 43, N 9
Требования к метрикам
 Полнота (по ISO 9001-2000)
 Соответствие целям компании
 Монотонность
 Нормированность
 Структурированность
Структура СМК
4. Система
менеджмента
качества
5. Ответственность
руководства
7. Создание продукции
6. Менеджмент
ресурсов
8. Измерение анализ и
улучшения
процессы
Ландшафт процессов
Внешние стандарты
Требования владельцевЗак онодательство
Обобщенная информация и
рекомендации по улучшению
Ситуация на рынке
Решения
руководства
Док ументы СМК
A1
Решения
руководства
Требования
потребителей
Предложения по
договорным
док ументам
Информация о деятельности
Коммерческая
деятельность
A2
Договорные
док ументы
Информация о
ресурсах
Производство
Поставленная
продукция и
ок азанные
услуги
A3
Потребности
в ресурсах
Готовые
продукты в архив
Обеспечение
ресурсами
A4
Измерение
и улучшение
A5
Ресурсы
Процессы Апланы (СМ К) - производство.bp1
Структура метрик
Система Менеджмента Качества
Процессы
Организационное
обеспечение
Ресурсы
Документация
Производственный
процесс
Управление
персоналом
Коммерческий
процесс
Инфраструктура
Процесс
совершенствование
KСМК =1 * KPROCESS + 2 * KHR + 3 * KCHIEF + 4* KDOC + 5 * KENV
Метрики процессов
Процесс
совершенствования
Коммерческий
процесс
Производственный
процесс
Value added processes
KPROCESS = α1 * KMETHOD + α2 * KCOMERCE * KDEVELOP
Оценка коммерческого
процесса
KCOMERCE = α1 * KCOST_COMERCE + α2 * KCONTRACT_COMERCE +
α3 * KPLAN_COMERCE + α4 * KCUST_COMERCE
KCUST_COMERCE
KCOST_COMERCE
KCONTRACT_COMERCE
KPLAN_COMERCE
- оценка результативности работы с
потребителем в
рамках
коммерческого процесса
- результативность выполнения
предпроектов
- обеспечение портфеля заказов
- результативность контрактного
планирования
Оценка
производственного
процесса
KDEVELOP = α1 * KPRODUCT + α2 * KACT_DEVELOP + α3 *
KQUALITY
K PRODUCT - оценка управления продуктом;
KACT_DEVELOP - оценка управления проектами.
KQUALITY - оценка управления качеством
KPRODUCT = KPROCESS_DEVELOP * KBUG_DEVELOP
KPROCESS_DEVELOP - оценка управления процессами ЖЦ
KBUG_DEVELOP = оценка тестирования
Оценка процесса
совершенствования
KMETHOD = α1 * KAUDIT + α2 * K IMPROVE
KAUDIT = KAUDIT_CONFIDENCE * K AUDIT_INCONSITENCY
K IMPROVE = (KCMK2 - KCMK1 ) / K CMK2
KAUDIT - оценка результатов аудита СМК
K IMPROVE – оценка улучшения СМК
KAUDIT_CONFIDENCE - полнота аудита
K AUDIT_INCONSITENCY – оценка выявленных несоответствий
Сбор данных
Project Central
Сбор данных
Rational Clear Quest
Сбор данных
Relavis Over Quota
Показатели
результативности
Параметр
Описание
KDOC
Оценка управления документацией
KCHIEF
Оценка результативности организационного обеспечения
KHR
KENV
KCUST_COMM
Оценка результативности управления человеческими
ресурсами
Значение
Порог результативности
0,90
0,70
0,87
0,70
0,72
0,70
0,92
0,70
0,91
0,70
Общая оценка инфраструктуры и производственной среды
Оценка эффективности коммуникации с потребителями
KCUST_SAT
Оценка удовлетворенности потребителя
0,64
0,70
KPRODUCT
Оценка качества продукции
0,79
0,70
KDEVELOP
Оценка производственного процесса
0,81
0,70
KCOMERCE
Оценка коммерческого процесса
0,59
0,70
KMETHOD
Оценка процесса измерения и улучшения
0,86
0,70
KPROCESS
Оценка результативности процессов
0,59
0,55
KСМК
Оценка результативности СМК
0,77
0,65
Литература
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
Lantzy M. A., Application at Statistical Process Control to the Software Process, - Proceedings of the ninth Washington
Ada symposium on Empowering software users and developers, July 1992.
Olagunju A. O., Concepts of Operational Software Quality Metrics, - Proceedings of the 1992 ACM annual conference
on Communications April 1992.
Slaughter S. A., Harter D. E., Krishnan M. S. Evaluating the Cost of Software Quality,- Communications of the ACM,
August 1998/Vol. 41, No. 8.
Ogasawara H., Yamada A., Kojo M., Experiences of Software Quality Management Using Metrics through the LifeCycle,- Proceedings of the 18th international conference on Software engineering, May 1996.
Furlonger J., ISO 9000 Is No Guarantee of Quality: Research Note,- Gartner Group, 4 August 2000
Drake T. Measuring Software Quality: a Case Study,- Computer, November 1996.
Sedigh-Ali S., Ghafoor A., Paul R. A. Metrics-Guided Quality Management for Component-Based Software Systems,Proceedings of the 25th Annual International Computer Software and Applications Conference (COMPSAC’01)
MOHANTY S. N. Models and Measurements for Quality Assessment of Software,- Computing Survey, VoL 11, No. 3,
September 1979
Shen V. Using metrics in quality management,- “QUALITYTIME” July 1990, IEEE Software.
Shen V. Applying customer oriented quality metrics, “QUALITYTIME” November 1989, IEEE Software.
Royce W. Pragmatic Quality Metrics For Evolutionary Software Development Models,- Proceedings of the conference
on TRI-ADA '90 December 1990
Harter D. E., Slaughter S. A. PROCESS MATURITY AND SOFTWARE QUALITY: A FIELD STUDY,- Proceedings
of the twenty first international conference on Information systems December 2000
Liu K., Zhou S. Yang H., Quality Metrics of Object Oriented Design for Software Development and Re-development,Proceedings of the First Asia-Pacific Conference on Quality Software, 2000 IEEE
Boehm B. W., Brown J. R., Lipow M. QUANTITATIVE EVALUATION OF SOFTWARE QUALITY Proceedings of
the 2nd International Conference on Software Engineering on International conference on software engineering
October 1976
Fenton N. Nell M. Software Metrics: Roadmap,- Proceedings of the conference on The future of Software engineering
May 2000
Bevan N. Specifying and Measuring Quality in Use,- Proceedings of the 22nd international conference on Software
engineering June 2000
Visaggio G. Structural Information as a Quality Metric in Software Systems Organization,- Proceedings of the 1997
International Conference on Software Maintenance (ICSM '97)
1061-1998 IEEE Standard for Software Quality Metrics Methodology