Тестирование и отчеты об ошибках

Федеральное агентство по образованию РФ
ГОУ ВПО Нижегородский государственный университет им. Н.И. Лобачевского
Факультет Вычислительной математики и кибернетики
Кафедра Математического обеспечения ЭВМ
УЧЕБНЫЙ КУРС
«Технологии программирования.
Курс на базе Microsoft Solutions Framework (MSF)»
для подготовки по направлению «Информационные технологии»
ТЕСТИРОВАНИЕ И ОТЧЕТЫ ОБ ОШИБКАХ
Нижний Новгород
2006
Содержание
1. Введение ........................................................................................................ 3
2. Методы и инструменты тестирования........................................................ 4
2.1.
Обзор методов тестирования ................................................................................... 4
2.2.
Обзор средств тестирования .................................................................................... 4
3. Отчет о тестах ............................................................................................... 4
3.1.
Результаты тестов – разница от прошлого отчета ................................................. 4
3.2.
Отклонения в выполнении плана тестирования .................................................... 5
3.3.
Оставшиеся тесты и исправления в плане тестирования ..................................... 5
4. Зоны тестирования........................................................................................ 5
4.1.
Зона 1 ......................................................................................................................... 5
4.1.1.
Цели тестирования ........................................................................................... 5
4.1.2.
Критерии оценивания....................................................................................... 5
4.1.3.
Результаты ......................................................................................................... 6
4.1.4.
Рекомендации.................................................................................................... 6
4.2.
Зона 2 ......................................................................................................................... 6
4.2.1.
Цели тестирования ........................................................................................... 6
4.2.2.
Критерии оценивания....................................................................................... 6
4.2.3.
Результаты ......................................................................................................... 7
4.2.4.
Рекомендации.................................................................................................... 7
5. Отчет об ошибках ....................................................................................... 10
5.1.
Статус билда ........................................................................................................... 10
5.2.
Известные ошибки.................................................................................................. 10
5.3.
Анализ сходимости ошибок .................................................................................. 10
6. Обновленный план тестирования ............................................................. 12
1. Введение
Данный документ представляет собой обзор тестов из всех стадий тестирования.
Данный документ используется многократно в ходе фаз Разработки, Тестирования и
Стабилизации. Важность документа и частота обращений к нему вызвана тем, что от
тестирования во многом зависит качество разработанного решения. Другая причина
состоит в том, что результаты тестирования могут существенно влиять на планы и
график.
В секции «Введение» приводится обзор содержания документа.
Приведите здесь краткую аннотацию документа с указанием перечня и краткого
содержания его основных разделов.
2. Методы и инструменты тестирования
Раздел содержит информацию о том, что было седлано в сравнении с планом
тестирования. Приводятся сведения о том, что было выполнено, что нет с указанием
причины. Также уточняются дополнительные мероприятия.
2.1. Обзор методов тестирования
Приведите перечень примененных методов тестирования с их кратким описанием.

Метод “черного ящика”

Тестовая программа
2.2. Обзор средств тестирования
Приведите перечень примененных средств тестирования (в соответствии с методами
тестирования) с их кратким описанием.

Визуальная оболочка программы

До существования визуальной оболочки консольное приложение
3. Отчет о тестах
Данный раздел содержит следующую информацию:

какие тесты были выполнены со времени последнего отчета;

какие отклонения от плана тестирования были сделаны и почему;

какие тесты осталось выполнить;

какие изменения необходимо внести в план тестирования.
3.1. Результаты тестов – разница от прошлого отчета
Приведите здесь результаты тестов, выполненных со времени предыдущего отчета.
Ошибок нет.
3.2. Отклонения в выполнении плана тестирования
Приведите здесь отклонения от плана тестирования. Охарактеризуйте причины
отклонений.
Отклонений нет.
3.3. Оставшиеся тесты и исправления в плане
тестирования
Сформулируйте оставшиеся тесты и те изменения, которые необходимо сделать в
плане тестирования.
4. Зоны тестирования
Реализация решения рассматривается как набор самостоятельных участков кода – зон
тестирования. В данном разделе необходимо указать результаты тестирования по
выделенным ранее зонам.
4.1. Зона управления аэропортом
4.1.1. Цели тестирования
Сформулируйте цель тестирования в Зоне 1.
Целью тестирования является выявление ошибок в написанной части кода. Среди
ошибок выявляются следующие типы:

Невозможность сборки модуля

Критические ошибки
o Вылеты из программы
o Исключения

Несоответствие выходных кодов ошибок смоделированным ситуациям
4.1.2. Критерии оценивания
Сформулируйте критерии оценивания результатов тестирования в Зоне 1.
Критерием является количество выявленных ошибок любого типа. При этом
существует следующие оценки качества зоны:

Новых ошибок не найдено – зона готова к добавлению новой функциональности
или к релизу и качество идеальное

<7 ошибок – зона готова к добавлению новой функциональности или к релизу и
качество удовлетворительное

>7 зона имеет неприемлемое качество
4.1.3. Результаты
Сформулируйте результаты тестирования в
функциональности, наличие требуемых свойств...)
Зоне
1
(разработка
нужной
Функциональность реализована на 100%.
Ошибок не обнаружено.
4.1.4. Рекомендации
Рекомендации по изменениям в реализации данной зоны.
Рекомендаций нет.
4.2. Зона доступа к данным
4.2.1. Цели тестирования
Целью тестирования является выявление ошибок в написанной части кода. Среди
ошибок выявляются следующие типы:

Невозможность сборки модуля

Критические ошибки
o Вылеты из программы
o Исключения

Несоответствие выходных кодов ошибок смоделированным ситуациям
4.2.2. Критерии оценивания
Критерием является количество выявленных ошибок любого типа. При этом
существует следующие оценки качества зоны:

Новых ошибок не найдено – зона готова к добавлению новой функциональности
или к релизу и качество идеальное

<5 ошибок – зона готова к добавлению новой функциональности или к релизу и
качество удовлетворительное

>5 зона имеет неприемлемое качество
4.2.3. Результаты
Функциональность реализована на 95%
Ошибок не обнаружено.
4.2.4. Рекомендации
Рекомендаций нет.
4.3. Зона управления всеми аэропортами
4.3.1. Цели тестирования
Целью тестирования является выявление ошибок в написанной части кода. Среди
ошибок выявляются следующие типы:

Невозможность сборки модуля

Критические ошибки
o Вылеты из программы
o Исключения

Несоответствие выходных кодов ошибок смоделированным ситуациям
4.3.2. Критерии оценивания
Критерием является количество выявленных ошибок любого типа. При этом
существует следующие оценки качества зоны:

Новых ошибок не найдено – зона готова к добавлению новой функциональности
или к релизу и качество идеальное

<5 ошибок – зона готова к добавлению новой функциональности или к релизу и
качество удовлетворительное

>5 зона имеет неприемлемое качество
4.3.3. Результаты
Реализована вся функциональность.
Ошибок не обнаружено.
4.3.4. Рекомендации
Рекомендаций нет.
4.4. Зона поиска путей
4.4.1. Цели тестирования
Целью тестирования является выявление ошибок в написанной части кода. Среди
ошибок выявляются следующие типы:

Невозможность сборки модуля

Критические ошибки
o Вылеты из программы
o Исключения

Несоответствие выходных кодов ошибок смоделированным ситуациям
4.4.2. Критерии оценивания
Критерием является количество выявленных ошибок любого типа. При этом
существует следующие оценки качества зоны:

Новых ошибок не найдено – зона готова к добавлению новой функциональности
или к релизу и качество идеальное

<5 ошибок – зона готова к добавлению новой функциональности или к релизу и
качество удовлетворительное

>5 зона имеет неприемлемое качество
4.4.3. Результаты
Функциональность полностью реализована.
Ошибок не обнаружено.
4.4.4. Рекомендации
Рекомендаций нет.
4.5. Зона бронирования билетов
4.5.1. Цели тестирования
Целью тестирования является выявление ошибок в написанной части кода. Среди
ошибок выявляются следующие типы:

Невозможность сборки модуля

Критические ошибки
o Вылеты из программы
o Исключения

Несоответствие выходных кодов ошибок смоделированным ситуациям
4.5.2. Критерии оценивания
Критерием является количество выявленных ошибок любого типа. При этом
существует следующие оценки качества зоны:

Новых ошибок не найдено – зона готова к добавлению новой функциональности
или к релизу и качество идеальное

<2 ошибок – зона готова к добавлению новой функциональности или к релизу и
качество удовлетворительное

>2 зона имеет неприемлемое качество
4.5.3. Результаты
Реализована вся функциональность.
Ошибок не обнаружено.
4.5.4. Рекомендации
Рекомендаций нет.
5. Отчет об ошибках
Отчет об ошибках содержит информацию о том, какие ошибки были найдены в ходе
тестирования. Наличие такой информации позволяет понять качество текущего билда и
объем ресурсов, которые нужно потратить для его доводки.
5.1. Статус билда
Укажите здесь выявленный статус билда (охарактеризуйте его стабильность), укажите
на какой из вех процесса находится команда по данным тестеров.
Билд очень стабильный. Проект еще находится на стадии: Тестирование приемлемости
для потребителей завершено.
5.2. Известные ошибки
Укажите выявленные ошибки.

При добавлении аэропорта с уже существующим номером может появиться
лишний фрейм отображения аэропорта
5.3. Анализ сходимости ошибок
В данном разделе выполняется анализ текущего количества ошибок, количества вновь
выявленных ошибок, количества устраненных ошибок.
В точке конвергенции (bug convergence) становится заметен существенный прогресс в
устранении ошибок, то есть скорость устранения ошибок начинает превосходить
скорость их обнаружения.
Точка конвергенции.
Источник: Модель процессов MSF. Белая книга, 2003, перевод eLine Software
Поскольку количество найденных, но не устраненных ошибок может колебаться даже
после того, как оно начало убывать, конвергенция может рассматриваться скорее как
тенденция, нежели как фиксированный момент во времени. Вслед за этой вехой
количество активных ошибок должно продолжать убывать, вплоть до точки
достижения нуля. Точка конвергенции дает проектной группе возможность понять, что
процесс тестирования близится к концу.
Точка достижения нуля (zero-bug bounce) это момент, когда впервые все выявленные
ошибки оказываются устраненными. Вслед за ней пики количества активных ошибок
должны становиться все меньше, вплоть до полного угасания в момент, когда решение
уже достаточно стабильно для выпуска первой версии кандидата.
Точка достижения нуля.
Источник: Модель процессов MSF. Белая книга, 2003, перевод eLine Software
Приведите здесь анализ перечисленных показателей.
30
25
20
новых ошибок
15
исправленых ошибок
10
5
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
Мы прошли точки конвергенции и достижения нуля. Дальше ошибок не должно быть
много.
6. Обновленный план тестирования
Обобщите здесь обновления, которые необходимо внести в план тестирования.
Проводить тестирование только раз в два дня.