Выбор порога чувствительности для систем диагностики

обзор
о
бзор
р
СОЛОВЬЕВ Денис Алексеевич
СЕМЕНОВ Андрей Артемьевич,
кандидат физико-математических наук
ЩУКИН Николай Васильевич,
доктор физико-математических наук, профессор
ГРИНЕНКО Владимир Антонович
ГРУЗДОВ Федор Владимирович
МИЛЮКОВ Федор Владимирович
ВЫБОР ПОРОГА ЧУВСТВИТЕЛЬНОСТИ
ДЛЯ СИСТЕМ ДИАГНОСТИКИ1
При работе любой системы диагностики возникают ошибки первого и второго рода. Ошибки первого рода и ошибки второго рода в математической статистике – это ключевые понятия задач проверки статистических гипотез. Тем не менее
данные понятия часто используются и в других областях, когда речь идет о принятии «бинарного» решения (да/нет)
на основе некоего критерия (теста, проверки, измерения), который с некоторой вероятностью может давать ложный
результат. В статистических тестах обычно приходится идти на компромисс между приемлемым уровнем ошибок первого и второго рода. Зачастую для принятия решения используется пороговое значение, которое может варьироваться с
целью сделать тест более строгим или, наоборот, более мягким. Возможны разные подходы к выбору порога чувствительности. В этой статье будет описан экономический подход, основанный на выборе порогового значения таким образом,
чтобы минимизировать средний ущерб при эксплуатации системы.
Ключевые слова: система диагностики, порог чувствительности, уровень значимости.
In the process of operating any diagnostic system type I error and type II error may occur. These errors are the key terms of the tasks
of the statistical hypotheses examination in mathematical statistics. However, these terms are often used in other areas when it
comes to taking the "binary" decisions (yes / no) based on a test which may give a false result with certain probability. The statistical
tests usually have to compromise on an acceptable level of errors of the first and second kind. Often the decision is taken based on
a threshold limit value, which may vary in order to make the test more stringent or alternatively, more lenient. There are different
approaches to the threshold value selection. This article will describe the economic approach, based on the choice of the threshold
value so as to minimize the average costs during the exploitation of the diagnostic system.
Keywords: diagnostic system, the threshold value.
П
о мере накопления и расширения
знаний об окружающем мире все
актуальней становятся задачи диагностики в различных областях человеческой деятельности: техника, медицина,
экономика и д.р. По своей сути диагностика – это процесс установления
диагноза или распознавания проблемы. В процессе диагностики проводится сравнение текущего состояния
объекта исследования с его моделью.
Если совпадение оказывается неудовлетворительным, выдается предупре1
ждающее сообщение, инициирующее
предусмотренные действия. Своевременная диагностика нежелательных
событий позволяет минимизировать
затраты, связанные с лавинообразным
накоплением нарушений в сложных
системах. Безусловно, к сложным системам относятся и атомные станции,
для которых эффективным признается использование диагностических
средств, позволяющих быстро обнаруживать симптомы отказов и ухудшение рабочих характеристик, что
непосредственным образом связано с
повышением безопасности, надежности и экономической эффективности
эксплуатации АЭС и ядерной энергетики в целом.
Для АЭС с реактором РБМК-1000 задача диагностики и мониторинга активных зон была решена к 1999 году в виде
программного средства (ПС) ECRAN
(Experimental&Calculational
Reactor
ANalisys), предназначенного для непрерывного контроля измерительных
данных, поступающих от системы
– Национальный исследовательский ядерный университет «МИФИ».
35
01_2012_SPT.indd 35
13.04.2012 13:55:32
Спецтехника и связь № 1 2012
внутриреакторного контроля и своевременного выявление отказов оборудования и ошибок в исходных данных
программ сопровождения эксплуатации ЯЭУ [1, 2, 3].
Однако, как это часто бывает, если
программа не является достоянием сообщества людей, которое непрерывно
бы поддерживало и совершенствовало ее работоспособность, то программа устаревает и через какое-то время
становится неработоспособной. К сожалению, такая судьба постигла и ПС
непрерывной диагностики ECRAN.
Тем не менее реализованные в программе алгоритмы не были утеряны,
а возможность живого контакта с авторами и разработчиками позволила
восстановить заложенный в программу научный потенциал. Использование современных кодов, методов и
подходов к разработке программного
обеспечения позволило вдохнуть в
программу новую жизнь, сделало ее
код работоспособным под современными операционными системами на
современной компьютерной технике.
Проведенные
усовершенствования
диагностических алгоритмов позволили повысить их точность и скорость
работы.
Таким образом, была создана расчетно-измерительная
диагностическая
система ECRAN 3D [4 – 8], основу которой составляют аттестованные программные средства сопровождения эксплуатации (POLARIS [9], КОНТУР-М
[10]), а также апробированные методы
обработки экспериментально-расчетной информации о состоянии активной зоны и базы данных РБМК.
Однако при работе любой системы
диагностики могут возникать ошибки
первого и второго рода. Ошибки первого рода и ошибки второго рода в математической статистике – это ключевые понятия задач проверки статистических гипотез. Тем не менее данные
понятия часто используются и в других
областях, когда речь идет о принятии
«бинарного» решения (да/нет) на основе некоего критерия (теста, проверки, измерения), который с некоторой
вероятностью может давать ложный
результат.
Пусть дана выборка X = (X1,...,Xn)T из
неизвестного совместного распределения PX, и поставлена бинарная задача
проверки статистических гипотез: H0,
H1, где H0 – нулевая гипотеза, а H1 –
альтернативная гипотеза. Предположим, что задан статистический критерий:
f : Rn → {H0, H1},
сопоставляющий каждой реализации
выборки X = x одну из имеющихся гипотез. Тогда возможны следующие четыре ситуации.
1 Распределение PX выборки X соответствует гипотезе H0, и она точно
определена статистическим критерием, то есть f(x) = H0.
2 Распределение PX выборки X соответствует гипотезе H0, но она неверно
отвергнута статистическим критерием, то есть f(x) = H1.
3 Распределение PX выборки X соответствует гипотезе H1, и она точно
определена статистическим критерием, то есть f(x) = H1.
4 Распределение PX выборки X соответствует гипотезе H1, но она неверно
отвергнута статистическим критерием, то есть f(x) = H0.
Во втором и четвертом случае говорят,
что произошла статистическая ошибка, и ее называют ошибкой первого и
второго рода соответственно. Пропуск
отказа при его фактическом наличии
назовем ошибкой первого рода. Регистрацию отказа при его отсутствии назовем ошибкой второго рода.
Как видно из вышеприведенного определения, ошибки первого и второго
рода являются взаимно симметричными, то есть, если поменять местами гипотезы H0 и H1, то ошибки первого рода
превратятся в ошибки второго рода и
наоборот. Тем не менее в большинстве практических ситуаций путаницы
не происходит, поскольку принято
считать, что нулевая гипотеза H0 соответствует состоянию «по умолчанию»
(естественному, наиболее ожидаемому
положению вещей) – например, что
исследуемый объект находится в работоспособном состоянии. Соответственно альтернативная гипотеза H1 обозначает противоположную ситуацию,
которая обычно трактуется как менее
вероятная, неординарная, требующая
какой-либо реакции. С учетом этого
ошибку первого рода часто называют ложной тревогой, ложным срабатыванием или ложноположительным
срабатыванием – например, анализ
положения регулирующего органа показал его обрыв, хотя на самом деле обрыва не произошло. Из-за возможности ложных срабатываний не удается
полностью автоматизировать борьбу
со многими видами ошибок. Как правило, вероятность ложного срабатывания взаимосвязана с вероятностью
пропуска события (ошибки второго
рода). То есть, чем более чувствительна
система, тем больше опасных событий
она детектирует и, следовательно, предотвращает. Но при повышении чувствительности неизбежно вырастает
и вероятность ложных срабатываний.
Поэтому чересчур чувствительно (параноидально) настроенная система
диагностики может выродиться в свою
противоположность и привести к тому,
что побочный вред от нее будет превышать пользу. Соответственно ошибку
второго рода иногда называют пропуском события или ложноотрицательным срабатыванием – объект не работоспособен, но анализ состояния этого
не показал. Степень чувствительности
системы защиты должна представлять
собой компромисс между вероятностью ошибок первого и второго рода.
Где именно находится точка баланса,
зависит от оценки рисков обоих видов
ошибок [11].
Экономический подход
к принятию решения
Во время работы системы диагностики обычно приходится идти на компромисс между приемлемым уровнем
ошибок первого и второго рода. Зачастую для принятия решения используется пороговое значение, которое
может варьироваться с целью сделать
тест более строгим или, наоборот, более мягким. Этим пороговым значением является уровень наличия отказа,
которым задаются при проверке статистических гипотез.
Возможны разные подходы к оценке
рисков обоих видов, а соответственно и к выбору уровня наличия отказа.
Опишем один из них – экономический. Для этого выберем порог принятия решения так, чтобы минимизировать средний ущерб при эксплуатации
системы.
Теперь рассмотрим модель работы
диагностической системы. Диагностическая система работает, производя
36
01_2012_SPT.indd 36
13.04.2012 13:55:33
МЕТОДЫ
обзор
периодические проверки с заданным
шагом по времени dt. Если выходной
сигнал для данного типа отказа превышает заданный порог, происходит
принятие решения о наличии отказа.
Также возможна альтернатива – принятие решения после N превышений
порога подряд. После этого происходит
проверка наличия отказа дополнительными средствами. При наличии отказа
он устраняется мгновенно, с точки зрения системы диагностики.
Примем следующую модель шумов при
нормальной эксплуатации системы:
ρ ( x) =
ok
σ
1
2
e
−
x2
2σ 2
Таблица 1. Ущерб в различных ситуациях
Величина
Отказ есть
Отказ зарегистрирован
0
0
0
Ccheck
0
1
Cfail + Ccheck + Crepare
1
0
f(t) ·Cfail + Ccheck + Crepare
1
1
,
причем отсутствуют корреляции по
времени.
Модель отказов такова – отказы случаются с заданной равномерной плотностью по времени Pf. Плотность распределения в условиях наличия отказа
тоже нормальна, но с другим законом:
ρ (x)= σ
f
–
1
fail
2
e
(x-x 0 )2
2
2σfail
,
т.е. при появлении отказа возникает
смещение и изменяется дисперсия
сигнала оценки ошибки. В этих данных
также отсутствуют корреляции.
Модель ущерба
В таблице 1:
♦ Ccheck – стоимость проведения проверки на наличие отказа;
♦ Crepare – стоимость ремонта;
♦ Cfail – асимптотическая стоимость
ремонта, вызванная несвоевременным обнаружением отказа;
♦ f(t) характеризует нарастание последствий при работе без принятия
мер по ремонту, она равна нулю при
t = 0 и равна 1 при t → ∞.
В дальнейшем будем пренебрегать
Ccheck + Crepare по сравнению с членом
Cfail.
Работа диагностической системы имеет смысл, если она позволяет обнаружить отказ на начальных этапах нарастания стоимости последствий. Чтобы
упростить рассмотрение примем, что
темп нарастания последствий невелик по сравнению с временным окном
усреднения по времени в алгоритме
поиска отказа. Тогда можно заменить:
f(t) × Cfail → Cfail.
Рис. 1. Оценка вероятностей ошибок первого и второго рода
Посчитаем ущерб как функцию порога
принятия решения о наличии отказа в
предположении, что отказы – редкое
явление.
Для дальнейших выкладок нам потребуется соотношение:
erfc ⎛⎜ σl ⎞⎟
⎝ ⎠
2 2
=
∞
1
e
σ 2 ∫l
⎛ x⎞
−⎜ ⎟
⎝σ ⎠
вог ξ. Тогда компонента стоимости С2,
связанная с ложными тревогами, с учетом двухсторонних ограничений будет
иметь вид:
f
C2 = Ccheck
2
(1 − P ) erfc ⎛⎝ σξ ⎞⎠
2
dx.
Для упрощения примем экспоненциальную модель нарастания стоимости
последствий отказа:
f(t) = 1 – e –λt.
Пусть вероятность нахождения в состоянии отказа равна Pf, а уровень тре-
ok
.
Обозначим вероятности ошибки первого рода P1, а вероятность ошибки
второго рода P2:
P1 =
⎛ x +ξ⎞
⎛ ξ − x0 ⎞
+
erfc ⎝ 0
erfc
⎠
⎝
⎠
σ fail
σ fail
2 2
,
P2 = 1 – P1.
37
01_2012_SPT.indd 37
13.04.2012 13:55:33
Спецтехника и связь № 1 2012
Тогда средняя стоимость последствий
отказа С1 будет иметь вид:
( −1 + e ) P ,
(e − P ) (1 − P )
dtλ
C1 = C fail Pf
dtλ
1
1
1
а средняя стоимость С2, связанная с
ложными тревогами:
∞
Таким образом, изменяя ξ необходимо минимизировать функционал
C1 + C2, что легко осуществляется
численными алгоритмами минимизации.
i
C2 = C fail ·Pf ⎛ ∑ (1 − e − λidt )·P1 ⎞ .
⎝ i =1
⎠
Заключение
В статье был изложен экономический
подход, позволяющий выбирать порог
чувствительности диагностических
систем таким образом, чтобы минимизировать средний экономический
ущерб при эксплуатации системы.
Предложенный подход был применен
для выбора порога чувствительности
в системе ECRAN 3D, предназначенной для диагностики и мониторинга
состояния активных зон и баз данных
реакторов РБМК-1000. Проведенная
расчетно-экспериментальная верификация созданного программного
средства показала, что обеспечен требуемый уровень функционально-технических показателей системы диагностики Литература
1. Schukin N.V., Filatov A.V., Chernov E.V., Romanin S.D., Semenov A.A. Development of mathematical models for NPP core analysis
during operation./ International conference on the physics of reactors PHYSOR 96. – Vol. 4. – k-78-k-86. – September 16 – 20,
1996
2. Филатов А.В., Щукин Н.В., Семенов А.А., Романин С.Д. Система контроля загрузки активной зоны методами расчетноэкспериментальной диагностики./ Сборник трудов научной сессии МИФИ-1998. – Том. 4. – С. 19 – 21.
3. Щукин Н.В., Филатов А.В., Семенов А.А., Романин С.Д. Ecran – система контроля загрузки активной зоны ядерного реактора./ Сборник трудов «Научные исследования в области ядерной энергетики в технических вузах России». – МЭИ,
4:36–38, 1999.
4. Милюков Ф.В., Щукин Н.В., Семенов А.А., Соловьев Д.А., Черезов А.Л. Программа взаимокорреляционного анализа параметров ядерной безопасности./ Аннотации докладов. – Научная сессия НИЯУ МИФИ-2011. – С. 62.
5. Соловьев Д.А, Семенов А.А., Щукин Н.В. Система пространственно-временной диагностики ECRAN 3D./ Аннотации
докладов. – Научная сессия НИЯУ МИФИ-2012. – С. 60
6. Груздов Ф.В., Соловьев Д.А. Построение эмпирической модели определения расхода теплоносителя через канал РБМК./
Аннотации докладов. – Научная сессия НИЯУ МИФИ-2012. – С. 65.
7. Глазков О.В., Соловьев Д.А. Выявление отказов в положении ОР СУЗ в РБМК./ Аннотации докладов. – Научная сессия
НИЯУ МИФИ-2012. – С. 70.
8. Милюков Ф.В., Соловьев Д.А. Выявление неверных перегрузок в реакторе РБМК./ Аннотации докладов. – Научная сессия
НИЯУ МИФИ-2012. – С. 72.
9. Лысов Д.А., Погосбекян Л.Р. Программа Polaris, версия 4.2.1: Аттестационный паспорт программного средства. Регистрационный номер ПС в ЦОЭП при РНЦ КИ №632 от 14.09.2007. Регистрационный номер паспорта аттестации №231
от 18.09.2007, ВНИИАЭС, Москва.
10. Апресов А.А. Модернизированная версия программы «КОНТУР-М» для совместного нейтронно-физического и теплогидравлического расчета реакторов типа РБМК. Отчет ИАЭ, инв. № 33/494484, 1984.
11. http://ru.wikipedia.org/wiki/Ошибка_первого_рода.
38
01_2012_SPT.indd 38
13.04.2012 13:55:34