Верификация_Станд_Мет

Содержание:
Общие положения. ............................................................................................. 2
1.1. Цель методики ............................................................................................ 2
1.2. Цель процесса. ............................................................................................ 2
1.3. Место процесса в процессе организации. ................................................ 2
1.4. Функции и рабочие продукты процесса. ................................................. 2
1.5. Входы процесса. ......................................................................................... 3
1.6. Выходы процесса. ...................................................................................... 3
1.7. Интерфейсы с другими процессами. ........................................................ 4
1.8. Данные о разработчиках методики. ......................................................... 4
2. Подготовка верификации .................................................................................. 4
2.1. Выбор рабочих продуктов для верификации .......................................... 4
2.2. Подготовка средств верификации. ........................................................... 5
2.3. Определение процедур и критериев верификации. ................................ 6
3. Проведение обзоров. .......................................................................................... 8
3.1. Подготовка обзоров.................................................................................... 8
3.2. Проведение обзоров. .................................................................................. 8
3.3. Анализ данных обзоров. ............................................................................ 8
4. Верификация рабочих продуктов. .................................................................... 9
4.1. Проведение верификации .......................................................................... 9
4.3. Подтверждение результатов верификации. ................................................ 10
5. Организация управления процессом .............................................................. 10
5.1. Организационная политика. .................................................................... 10
5.2. Планирование процесса. .......................................................................... 10
5.3. Обеспечение ресурсами. .......................................................................... 11
5.4. Распределение ответственности. ............................................................ 11
5.5. Подготовка персонала. ............................................................................. 11
5.6. Управление конфигурацией. ................................................................... 11
5.7. Определение и привлечение экспертов. ................................................ 11
5.8. Управление и контроль процесса. .......................................................... 11
5.9. Измерение работ. ...................................................................................... 12
5.10. Обзор состояния работ менеджментом. ................................................. 12
5.11. Сбор улучшающей информации. ............................................................ 12
1.
1. Общие положения.
1.1.
Цель методики
Настоящая методика определяет порядок работы группы верификации и
валидации продуктов или их компонентов (VVP) по выполнению
организационного процесса «Верификация».
1.2.
Цель процесса.
Цель процесса «Верификация» - убедиться, что верифицируемый продукт
или его компоненты удовлетворяет требованиям спецификации. Верификация
включает в себя верификацию продукта и промежуточных рабочих продуктов
по всем предъявляемым требованиям, включая требования заказчика,
требования к продукту и его компонентам.
1.3.
Место процесса в процессе организации.
Процесс «Верификация» входит в состав процессов, обеспечивающих
разработку, изготовление и сопровождения продукта (Engineering Process
Area). Верификация – нарастающий процесс, так как осуществляется в течение
всего жизненного цикла разработки рабочего продукта, начинаясь с
верификации требований, продолжаясь верификацией разрабатываемых
рабочих продуктов, и достигая кульминации в верификации продукта в целом.
Верификация рабочих продуктов существенно повышает вероятность того, что
продукт в целом будет удовлетворять предъявляемым требованиям.
1.4.
Функции и рабочие продукты процесса.
Задачи процесса «Верификация» следуют друг за другом таким образом:
 выбор продукта верификации, методов, используемых при
верификации, определение требований, которые должны быть
удовлетворен выбранным продуктом
 определение внешней среды и оборудования, используемых для
верификации
 создание верификационных процедур и критериев верификации в
соответствии с выбранным продуктом верификации, методами и
характеристиками внешней среды и оборудования
 выполнение верификации в соответствии с доступными методами,
процедурами и критериями
2
Процесс «Верификация» включает следующие функции (применяется к
следующим задачам):
 подготовка верификации
 проведение верификации
 определение корректирующих действий
Рабочими продуктами процесса «Верификация» являются:
 продукты для верификации
 внешняя среда и оборудование верификации (средства верификации)
 методы и критерии верификации
 верификационные процедуры
 журналы выполнения процедур верификации
 журналы выявленных замечаний
 отчеты о ходе и результатах верификации
1.5.
Входы процесса.
Входными данными процесса являются:
 документация, содержащая требования к продукту или его
компонентам, которые должны быть удовлетворены в процессе
верификации («матрица прослеживаемости требований»)
 документация, содержащая требования к окружающей среде и
оборудованию верификации (средствам верификации)
 документация, описывающая подход к тестированию (верификации и
валидации) продукта и ограничения, связанные с тестированием
1.6.
Выходы процесса.
Выходными данными процесса являются:
 документ верификационных процедур и критериев верификации
 доработанная «матрица прослеживаемости требований»
 финальный отчет о проведении верификации
 верифицированные продукты
3
1.7.
Интерфейсы с другими процессами.
Процесс «Верификация» имеет следующие внешние интерфейсы:
 с процессом «Разработка требований» в части информации о
требованиях заказчика, требованиях к продукту или его компонентам
 с процессом «Управление требованиями» в части информации об
изменениях или добавлениях требований
 с процессом «Конфигурационное управление» в части получения
продукта верификации или его компонентов
 с процессом «Валидация» в части информации о подтверждении того,
что продукт или компоненты продукта обеспечивают целевое
функционирование при работе в целевом окружении (на целевом
оборудовании)
1.8.
Данные о разработчиках методики.
2. Подготовка верификации
Эта подготовка необходима, чтобы возможность верификации была
учтена в требованиях к продукту и его компонентам, в проектных материалах,
планах разработки и графиках.
Верификация включает выбор, инспекцию, тестирование, анализ и
демонстрацию рабочих продуктов.
Подготовка также учитывает инструментальные средства верификации,
тестовое оборудование и ПО, моделирование и целевое оборудование.
2.1.
Выбор рабочих продуктов для верификации
Цель – получение рабочих продуктов, подлежащих верификации, из базы
данных конфигурационного управления и выбор методов верификации для
каждого рабочего продукта.
В число верифицируемых продуктов могут входить и обслуживающие
рабочие продукты.
Верификационные методы – это технические подходы к проверке того,
что рабочий продукт удовлетворяет предъявляемым к нему требованиям.
Примерами верификационных методов могут служить:
 метод охвата 100 % «ветвей» и операторов исходного кода,
представляющий собой автономные испытания компонентов рабочего
продукта, при которых каждый оператор программы должен
выполниться хотя бы один раз;
 метод номинальных граничных (стрессовых) и нештатных тестов;
4
 функциональное тестирование
 метод повторного (множественного) использования тестовых случаев в
тестовых процедурах;
 приемосдаточные испытания.
Выбор методов верификации обычно начинается с изучения требований к
продукту и его компонентам, чтобы убедиться, что эти требования поддаются
верификации.
Исходными
данными
здесь
являются
«Матрицы
прослеживаемости требований» к рабочему продукту и его компонентам,
получаемые от процессов «Разработка требований» и «Управление
требованиями».
Методы верификации должны включать повторную верификацию
доработанных продуктов, чтобы убедиться, что выполненные модификации не
вносят неожиданных дефектов.
Продукт или его компонент, подлежащий верификации, должен
сопровождаться следующей документацией:
 обоснование разработки / изменения компонента;
 смысловое содержание и особенности разработки / изменения,
влияние на интерфейсы и эксплуатационные свойства.
2.2.
Подготовка средств верификации.
Чтобы сделать возможным проведение процесса верификации,
необходимо определить средства верификации (среду тестирования). Средства
верификации могут быть приобретены, разработаны, повторно использованы
или модифицированы.
Тип необходимых средств тестирования зависит от выбранного для
верификации рабочего продукта и используемых методов верификации.
Средства тестирования должны обеспечивать воссоздание «внешней
среды» с применением моделей (физических, программных) или реальной
аппаратуры. Средства тестирования должны обеспечивать возможность
автоматизации процесса проведения тестов, как в части задания входной
информации, так и контроля результатов. Должна быть обеспечена
визуализация процесса.
Средства тестирования, разработанные для обеспечения процесса
тестирования продукта или его компонентов, также являются, наряду с
последним, объектом тестирования в процессе испытаний.
Существует четыре категории средств тестирования:
 модельное ПО;
 тестовое ПО;
 специальное ПО и компьютерные инструменты;
 базы данных.
В состав специального ПО и компьютерных инструментов должны
входить программные и аппаратные продукты, обеспечивающие:
 управление моделируемой средой и отображение состояния моделей;
5




2.3.
автоматизацию проведения испытаний;
визуализацию проведения испытаний;
сохранение и обработку результатов испытаний;
технологические средства контроля и управления
испытаний.
процессом
Определение процедур и критериев верификации.
Критерии верификации определяются с целью удостовериться в том, что
рабочий продукт удовлетворяет предъявляемым требованиям.
Источники разработки критериев включают в себя:
 требования к продукту и его компонентам;
 стандарты;
 типы тестов;
 параметры тестов;
 параметры качество-цена тестирования;
 типы рабочих продуктов;
 возможности и ограничения среды тестирования.
Процедуры верификации должны обеспечивать полные проверки
интерфейсов и требований к продукту или его компоненту на основе
разработанных критериев верификации. Процедуры верификации должны
содержать широкий спектр входных данных, включая граничные и аварийные
состояния.
Подход к определению тестовых "прогонов" должен быть следующим.
Для каждого требования на продукт или его компонент необходимо выполнить:
 анализ требования;
 определение тестового "прогона" для проверки требования (один или
несколько тестовых прогонов для требования) с описанием целей и
оборудования. Могут быть определены следующие типы тестовых
"прогонов":

в любом случае, как минимум нормальный (штатный) "прогон";

один или более стрессовых или граничных "прогонов" для проверки
функциональной работоспособности;

один или более нештатных "прогонов";

для каждого тестового "прогона" определяется покрытие требования
(полностью или частично);

для каждого тестового "прогона" определяются ожидаемые результаты,
допустимые отклонения при наблюдении и другие критерии успешной
проверки требований, предъявляемых к продукту или его компоненту.
План верификационных испытаний будет полон, когда для всех
требований определен испытательный "прогон".
6
Тестовые процедуры верификации определяются как множество тестовых
"прогонов" (один или более). Один и тот же испытательный "прогон" может
повторяться несколько раз в испытательной процедуре если необходимо.
Испытательные "прогоны" должны быть проанализированы, чтобы
сгруппировать вместе те, которые могут быть проверены и/или связаны в
одной
испытательной
процедуре,
характеризующей
определенную
окружающую среду. Стратегия группировки испытательных "прогонов" в
испытательных процедурах может быть следующей:

определение как минимум штатной тестовой процедуры (со всеми штатными
тестовыми "прогонами");

определение тестовой процедуры с максимальными нагрузками (стрессовой
или граничной);

определение нештатных тестовых процедур, пробующих связать
нештатные испытательные "прогоны" таким способом, чтобы тестовая
процедура выполнялась насколько возможно дольше.
Разработанные процедуры верификации объединяются в документ
«Программа и методика верификационных испытаний». Идентификаторы
процедур верификации, проверяющих конкретные требования к продукту или
его компоненту, заносятся в соответствующие графы «Матрицы
прослеживаемости требований».
Таким образом, в «Матрице прослеживаемости требований»
устанавливается связь между требованиями к продукту или его компоненту и
соответствующими пунктами верификации из документа «Программа и
методика верификационных испытаний» (ПМИ). В таких матрицах
прослеживаемость обеспечивается указанием идентификатора (номера) и
названия требования и названия соответствующего квалификационного
испытания.
«Матрица
прослеживаемости
требований»
находится
под
конфигурационным управлением.
7
3. Проведение обзоров.
Целью проведения обзоров является методическая проверка рабочих
продуктов для определения дефектов и рекомендаций по изменениям.
Обзор – метод коллегиальной оценки.
«Критические обзоры проекта коллегами» помогают координировать
взаимодействие групп разработчиков, не позволяют идеям отдельных
исполнителей «выпадать» из общей линии проектирования и, в конечном
счете, обеспечивают правильное управление или менеджмент проекта в целом.
Применительно к процессу «Верификация» обзоры проводятся для
следующих типов рабочих продуктов процесса:
 методы верификации;
 критерии верификации;
 процедуры верификации.
3.1.
Подготовка обзоров
Подготовка к обзору включает в себя:
 определение состава участников обзоров каждого рабочего продукта;
 определение ключевых специалистов для участия в обзорах;
 назначение ролей для обзора:
 лидер;
 читатель;
 ведущий протокола;
 автор;
 подготовка материалов к обзорам;
 распределение рабочего продукта и соответствующей информации
участникам обзора для подготовки;
 планирование обзоров.
3.2.
Проведение обзоров.
Непосредственной целью проведения обзора является обнаружение
дефектов процесса на ранней стадии и выдача рекомендаций по их
устранениям. Поэтому подготовка к обзорам должна быть серьезной,
проведение обзоров должно быть управляемым и контролируемым,
существенное данные должны быть записаны и поручения должны быть
запротоколированы.
3.3.
Анализ данных обзоров.
Задокументированные данные обзоров должны быть проанализированы с
целью распределения конкретных поручений и установки сроков по
8
устранению выявленных дефектов процесса. При необходимости назначаются
дополнительные обзоры.
4. Верификация рабочих продуктов.
4.1.
Проведение верификации
Целью верификации является подтверждение способности продукта или
его компонентов выполнять предъявляемые к ним требования при
взаимодействии с моделируемым оборудованием (представляющим реальное
поведение окружающей среды) для:
 нормальных (штатных) случаев;
 стрессовых случаев (пиковые нагрузки или граничные условия);
 нештатных ситуаций.
При проведении верификационных испытаний оператор из группы VVG
обязан:
 сделать запись в журнале проведения верификации, содержащую
следующую информацию:
 дата и время проведения теста;
 результаты теста (есть проблемы или нет);
 имена файлов с протоколами (результатами) теста;
 ссылка на запись в журнале замечаний (если необходимо);
 фамилия верификатора, проводившего испытания;
 включить и вести запись результатов испытаний в log-файлах;
 зафиксировать все возникшие проблемы в журнале замечаний.
4.2. Анализ результатов верификации и определение корректирующих
действий.
Для каждой испытательной процедуры ожидаемые результаты
определены в документе «Программы и методы верификационных
испытаний» и соответствуют установленным критериям верификации. Если
результаты испытания не соответствуют ожидаемым результатам, то
испытание считается неудавшимся, иначе испытание объявляется успешным.
Если испытание не удалось, то сценарий испытаний должен быть изменен,
или продукт верификации не соответствует предъявляемым требованиям.
Требования возобновления испытаний таковы:
 в случае неправильного сценария:
 скорректировать сценарий для неправильного тестового «прогона»;
 выполнить весь тест с самого начала;
 в случае не достижения целей:
 написать отчет о проблеме (сделать запись в журнале замечаний);
9

когда тестируемый продукт изменен, повторить целиком испытание,
которое подняло проблему. После этого провести цикл
регрессионных испытаний.
4.3. Подтверждение результатов верификации.
Когда все испытания, определенные в документе «Программы и методы
верификационных испытаний» прошли успешно, результаты соответствуют
ожидаемым, а обнаруженные разногласия объяснены, тогда рабочий продукт
или его компоненты рассматриваются как верифицированные.
Последовательность
действий
при
подтверждении
результатов
верификации следующая:
 выпуск отчетов о результатах верификационных испытаний;
 выпуск заключения о готовности продукта к последующим этапам
испытаний или целевому функционированию.
Отчет о квалификационном испытании выпускается для каждой
процедуры со следующей информацией:

дата проведения теста;

тестируемый продукт или его компоненты;

соответствующая конфигурация средств верификации;

имя оператора, выполняющего тест;

подпись оператора;

результаты;

обнаруженные разногласия и их разъяснение.
Отчеты о верификационных испытаниях должны быть разработаны к
обзору SQR и утверждены менеджером проекта.
5. Организация управления процессом
5.1.
Организационная политика.
Работы по реализации процесса «Верификация» осуществляет группа
верификации и валидации (VVP).
Состав группы и ее руководители утверждаются распоряжением Главного
менеджера организации.
Группа подчиняется Главному менеджеру организации и обладает всеми
полномочиями по выполнению работ, определенных настоящей методикой.
5.2.
Планирование процесса.
Работа по реализации процесса осуществляется в соответствии с планами
работ по проектам.
10
5.3.
Обеспечение ресурсами.
Финансовое обеспечение работ осуществляется из средств выполняемых
организацией проектов.
Затраты по выполнению процесса учитываются в планах выполнения
проектов.
Работы по проекту обеспечиваются базами данных:
 измерений стандартных процессов;
 архива активов организации.
5.4.
Распределение ответственности.
Группа верификации и валидации несет ответственность за реализацию
процесса.
Непосредственно процесс реализуется подгруппой или специалистом,
назначенным для верификации конкретного рабочего продукта или его
компонентов.
5.5.
Подготовка персонала.
Подготовка персонала группы верификации и валидации по реализуемому
процессу осуществляется по плану группы, отвечающей за подготовку
персонала организации.
5.6.
Управление конфигурацией.
Перечень документов процесса, подлежащих конфигурационному
контролю на уровне организации в целом, определяется процессом
«Конфигурационное управление».
5.7.
Определение и привлечение экспертов.
Группа верификации и валидации, реализующая данный процесс,
контролируется менеджером проекта.
5.8.
Управление и контроль процесса.
Управление и контроль процесса осуществляет руководитель группы
верификации и валидации.
11
Основным методом управления и контроля являются оперативные
совещания, проводящиеся на периодической основе с оформлением
протоколов.
Периодичность
проведения
совещаний
определяется
руководителем группы.
5.9.
Измерение работ.
Группа верификации и валидации ведет учет затрат по реализации
процесса «Верификация».
Работа по реализации процесса оценивается результатами еженедельных
обзоров. К данным обзорам подготавливаются еженедельные отчеты хода
верификации, в которых отражаются:

запланированное количество испытаний на конец отчетного периода;

количество выполненных испытаний;

количество успешно проведенных испытаний;

количество обнаруженных разногласий;

процесс подтверждения выполнения требований к продукту или его
компонентам;

статус отчетов о разногласиях.
5.10. Обзор состояния работ менеджментом.
Обзор состояния работ по процессу осуществляется менеджером проекта.
5.11. Сбор улучшающей информации.
В процессе выполнения работ по верификации продукта или его
компонентов группа верификации и валидации обеспечивает сбор и хранение
в базе данных информации о своей работе.
В состав информации входит:
 документы, разработанные группой;
 измерения работ, выполненных группой;
 недостатки в работе группы и в ее обеспечении и предложения по
совершенствованию процесса.
12