130 Доклады ТУСУРа. 2004 г. Автоматизированные системы обработки информации, управления и проектирования УДК 519.71+517.977.5 ИНТЕГРИРОВАННЫЕ СИСТЕМЫ ИДЕНТИФИКАЦИИ С УЧЕТОМ АПРИОРНОЙ ИНФОРМАЦИИ А.М. Кориков, В.Л. Сергеев Рассмотрены теоретические основы интегрированных систем идентификации. Приводятся математические модели исследуемых объектов идентификации и модели объектов-аналогов, представляющие дополнительные априорные данные, накопленный опыт и знания. Дана классификация интегрированных систем моделей, обоснована структура интегрированных систем идентификации. Развитие теории идентификации Теория идентификации как самостоятельное научное направление имеет полувековую историю развития: вначале идентификация систем развивалась в рамках кибернетики – науки об управлении сложными динамическими системами, а в настоящее время идентификация систем рассматривается как необходимая и обязательная подсистема теории управления [1]. С 28 по 30 января 2004 г. проведена III международная конференция «Идентификация систем и задачи управления» (SICPRO’04) [2], на которой проблемы идентификации и управления обсуждались в контексте всей познавательной человеческой деятельности по решению актуальных прикладных задач. Предполагается, что с 2004 г. конференции SICPRO будут проводиться ежегодно и превратятся в «одно из наиболее популярных мест встречи специалистов из разных областей науки управления» [2]. Возникает естественный вопрос: в чем причина полувекового интереса к проблемам идентификации ? При этом в последние годы наблюдается постоянное увеличение числа публикуемых работ по проблемам идентификации как в классическом направлении [3, 4], так и в направлении развития новых подходов к решению проблем идентификации и управления [5–8]. Чтобы получить ответ на поставленный вопрос, обратимся к истории развития методов идентификации систем. Задачей идентификации системы, или просто идентификации, является построение оптимальной в смысле заданных критериев качества математической модели этой системы, учитывающей случайность наблюдений, по результатам измерений входных и выходных переменных, т.е. построение формализованного математического представления системы. Задачи идентификации принято различать в узком и широком смысле. В узком смысле задача идентификации состоит в оценивании параметров и состояния системы по результатам наблюдений над входными и выходными переменными. При этом известна структура системы и задан класс моделей, к которому данная система относится. При идентификации в широком смысле решаются такие задачи, как выбор структуры системы и задание класса моделей, оценивание степени стационарности и линейности системы, выбор информативных переменных и т.д. 131 Доклады ТУСУРа. 2004 г. Автоматизированные системы обработки информации, управления и проектирования Разработанные в 50–70 гг. XX века методы идентификации, как в узком, так и в широком смысле, основаны на методах математической статистики, теории статистических решений, математических методах оптимизации. В настоящее время широко известны классические методы идентификации: наименьших квадратов, максимального правдоподобия, стохастической аппроксимации [9–15]. Разработаны также методы идентификации в условиях непараметрической априорной неопределенности, когда исследователь располагает лишь общими сведениями о структуре моделей объектов, такими как ограниченность функций, их гладкость, существование производных и т.д. [16, 17]. Использование классических методов идентификации при решении практических задач часто связано с проблемой устойчивости решений. Действительно, в реальных условиях функционирования стохастических объектов исходная информация о модели объекта, статистических характеристиках помех, как правило, неточная, и в распоряжении исследователя имеется ограниченный набор экспериментальных данных, заданный в виде одной ограниченной реализации процесса. При таких условиях отмеченные выше классические методы идентификации часто оказываются неустойчивыми и неработоспособными. В этой связи в 60–90 гг. XX века интенсивное развитие получили методы устойчивого (робастного) оценивания и идентификации систем, основанные на использовании различной дополнительной априорной информации о решении, статистических характеристиках помех и т.п. Наиболее известные устойчивые (стабильные) алгоритмы идентификации сводятся, по существу, к вероятностно-статистическим методам (Байеса, максимума апостериорной вероятности и т.п.), методам решения некорректных задач Тихонова, методам условной оптимизации при наличии ограничений [18–20]. В процессе идентификации создаются модели, необходимые для практического использования математических методов и современных компьютерных технологий. В силу исключительной важности именно проблемы идентификации в настоящее время становятся «узким местом» при проектировании наукоемких систем с управлением. В современных условиях [1, 2] теория идентификации развивается на основе учета человеческого фактора в нормативных (предписывающих) моделях идентификации и признания решающей роли неформальных действий лица, принимающего решения (ЛПР) в процессе идентификации. Чтобы ЛПР успешно решало прикладные задачи в обстановке жестких ограничений на время поиска приемлемого решения, ему необходима информационная поддержка на всех этапах идентификации. В [1, 5] предлагается обсуждать проблемы идентификации в рамках двухэтапной модели процесса решения прикладной задачи теории управления: на 1-м этапе разрабатывается адекватная постановка (модель) прикладной задачи, а на 2-м – осуществляется решение прикладной задачи при известной адекватной постановке. Подавляющее большинство известных методов идентификации систем [3, 4, 9–20], формирующих основу классической теории идентификации, способно обеспечить информационную поддержку ЛПР на 2-м этапе решения прикладной задачи. Теория идентификации в классическом направлении продолжает активно развиваться, так как за прошедшие годы существенно 132 Доклады ТУСУРа. 2004 г. Автоматизированные системы обработки информации, управления и проектирования изменился масштаб прикладных задач, повысились требования к качеству решения и времени поиска приемлемого решения, появились новые компьютерные технологии. Развитие теории идентификации в классическом направлении постоянно стимулируется необходимостью оптимизации процесса решения прикладных задач [1, 2, 4]. На упомянутом выше 1-м этапе решения прикладной задачи наблюдается иная ситуация. Методы и средства, разработанные на основе классической теории идентификации, являются лишь вспомогательными для ЛПР, адекватная постановка решаемой прикладной задачи конструируется (разрабатывается), как правило, лишь на основе интуиции и жизненного опыта ЛПР и представляет собой неформальный итерационный процесс. В [5, 6] делается попытка формализации этого процесса. В наших работах [7, 8] предлагается осуществить формализацию интуиции и жизненного опыта ЛПР созданием сложных систем идентификации, основанных на использовании интегрированных моделей. Интегрированные модели и системы идентификации, состоящие из согласованных моделей компонентов, позволяют отображать целостные, системные свойства реальных объектов и существенно повышают качество процедур принятия решений. Важным компонентом интегрированной системы являются формализованные модели, учитывающие дополнительную априорную информацию, накопленный опыт и знания ЛПР. Интегрированные модели и системы идентификации обеспечивают решение актуальных задач [7, 8]: создание эффективных процедур учета разнородной дополнительной априорной информации; обеспечение устойчивости решения; повышение точности алгоритмов идентификации при малом объеме исходных данных; формализацию и учет накопленного опыта и знаний; создание системы согласованности исходных, дополнительных априорных данных, накопленного опыта и знаний; оптимизацию решений прикладных задач. Изложение основ теории интегрированных систем идентификации (ИСИ) начнем с простых математических моделей (статических и динамических), затем рассмотрим модели дополнительной априорной информации (модели «объект-аналог»), а также классификацию ИСИ и их структуру. Математические модели объектов идентификации Объекты идентификации – технические, экономические или социальные системы, удобно формально представлять в виде многополюсника со многими входами и выходами [21], где через X = ( x 1 , x 2 , ..., x n ) обозначены входы объекта, а через Y = ( y1 , y2 ,..., ym ) – реакции объекта на входные возмущения (рис. 1). ξ X Объект F Y 133 Доклады ТУСУРа. 2004 г. Автоматизированные системы обработки информации, управления и проектирования Рис . 1 – Представление объекта идентификации Все входы объекта представляют собой воздействия внешней среды на объект и являются какими-то определенными функциями состояния среды и времени. Поскольку состояние среды никогда точно не известно, то входы и выходы объекта естественно рассматривать как случайные функции времени, статистические свойства которых в общем случае не известны. * * Однако обычно известны наблюдения входа и выхода, т.е. реализация функций X (t ) и Y (t ) . Объект связывает входы X * с его выходом Y * . Эту связь формально можно охаракте- ризовать некоторым оператором F0 , таким, что Y * = F0 ( X * , ξ ) , где (1) ξ – неконтролируемые источники случайных возмущений. Поэтому под моделью объекта естественно также понимать некоторый оператор F , пре- образующий наблюдаемое входное воздействие на объект X в его реакцию Y = F ( X ) . При классическом подходе задача идентификации заключается в построении модельного оператора F из некоторого класса операторов по наблюдениям X * * и Y , который был бы близок к F0 в смысле некоторого критерия оптимальности. Рассмотрим примеры видов операторов F и соответствующие данным видам модели, наиболее часто используемые при решении практических задач. Более детальные перечень и описания видов операторов и моделей объектов идентификации приведен в [3, 4, 9–13, 21]. Статические модели 1. Линейные детерминированные модели. Модель линейного статического объекта с n входами и m выходами описывается системой линейных алгебраических уравнений m yi = ∑ α ij x j , i = 1, n (2) j =1 или в векторной форме Y = AX , где Y = ( y1 , y 2 ,..., y n )T – вектор-столбец выходных перемен- ных объекта в момент времени t; объекта в момент времени t; X = ( x1 , x2 ,..., xm ) T – вектор-столбец входных переменных A = (α ij , i = 1, n, j = 1, m) – матрица коэффициентов. Задача идентификации системы (2) состоит в оценивании матрицы коэффициентов A. 2. Нелинейные параметрические модели (функции регрессии). Модель объекта в этом случае представляем в виде известной функции с неизвестными параметрами y = f (x, α ) , (3) 134 Доклады ТУСУРа. 2004 г. Автоматизированные системы обработки информации, управления и проектирования где y – выходная переменная объекта; f (x, α ) – известная функция двух векторных аргу- ментов: x = ( x1 , x2 ,K xm ) – входа объекта и α = (α1 , α 2 ,Kα m ) – вектора неизвестных пара- метров. Задача идентификации сводится к определению параметров α на основе экспериментальных наблюдений. Частным случаем параметрических моделей являются модели, линейные относительно оцениваемых параметров. Такие модели образуются в результате разложения искомой функции по заданной системе функций f (x, α ) = ∑ α φ (x ) , где φ (x ) – система векторных линейk j =1 j j j но независимых функций. Частным случаем такого представления является аппроксимация функции f (x, α ) отрезком многомерного ряда Тейлора. Отметим преимущества использования нелинейных моделей объектов: 1) нелинейность является существенным свойством большинства реальных объектов; 2) дополнительная информация часто позволяет выбрать достаточно точную нелинейную модель с числом параметров значительно меньшим, чем для аналогичной линейной модели. Приведем примеры практического использования нелинейной регрессионной модели объекта. 3. Модель производственных функций. Модель описывается уравнением y = f ( x, α ) = = α0 x1α1 x2α2 ,..., xmαm , где y – результат производства (объем дохода); x1 , x2 ,..., xm – затраты , факторы производства (капитала, труда, информации, технологии и т.д.). Параметры α1 , α 2 ,..., α m отражают влияние факторов x1 , x2 ,..., xm на результат y . 4. Функция регрессии в задаче медицинской диагностики f (t , α ) = α1 + α2 exp( −α4t ) . α3 Данная функция описывает изменения содержания сахара в плазме крови человека после «нагрузки» глюкозой. Используется в алгоритмах ранней диагностики заболеваний сахарным диабетом. 5. Функция регрессии в задаче интерпретации гидродинамических исследований скважин нефтяного месторождения f (t , α ) = α1 + α2 ln(α3t + α4 ) . Данная функция описывает изменение забойного давления нефтяных скважин после их остановки в целях определения фильтрационных параметров α1 , α2 , α3 , α4 нефтяной залежи. 6. Функция регрессии в задачах прогноза добычи нефти и оценки извлекаемых запасов f (t , α) = α1t α2 exp( −α3t ) . 135 Доклады ТУСУРа. 2004 г. Автоматизированные системы обработки информации, управления и проектирования Данная зависимость является простой моделью, отражающей изменения добычи нефти в процессе разработки нефтяного месторождения. Используется для прогноза добычи нефти и T оценки извлекаемых запасов флюидов [7] S = ∫ f (t, α) dt , где T – время окончания разработ- 0 ки нефтяного месторождения. 7. Статические стохастические модели. Статический стохастический объект в общем случае описывается функцией вида Y = F (X , ξ) , где (4) F – оператор объекта; ξ – случайные неконтролируемые факторы (помехи), порожденные либо самим объек- том, либо средствами сбора и передачи информации. Обычно предполагается, что помехи аддитивные, т.е. регулярная и случайная составляющие выхода могут быть разделены: Y = F (X ) + ξ . (5) Статистические свойства случайной составляющей входа ξ зависят от контролируемого X. Модель объекта строится в общем случае в виде нелинейной многомерной функции рег- рессии вида Y = F ( x) , (6) которая не зависит от неконтролируемой случайной составляющей ξ. 8. Непараметрические стохастические модели. Непараметрические стохастические модели описываются функцией, относительно которой известны лишь достаточно общие сведения, такие как непрерывность, ограниченность, существование производных и т.д. При данных априорных предположениях в качестве модели объекта часто используют функцию регрессии (условное математическое ожидание) y = f (x) = ∫ yP( y / x)dy , (7) R1 где P( y / x) – условная плотность вероятности выхода объекта. Задача идентификации в данном случае заключается в оценке условной плотности веро- ятности и функции регрессии на основе наблюдений входа и выходов объекта. Динамические модели В качестве математического описания динамических объектов наиболее часто используют интегральные уравнения, обыкновенные дифференциальные уравнения, дифференциальные уравнения в частных производных, конечно-разностные, дискретные аналоги интегральных и дифференциальных уравнений. 136 Доклады ТУСУРа. 2004 г. Автоматизированные системы обработки информации, управления и проектирования 1. Динамические системы на основе интегральных уравнений. Модель линейного динамического объекта, на вход которого поступает сигнал x(t ) , вызывающий реакцию y (t ) , часто представляют в виде интегрального уравнения t y (t ) = ∫ h(t, τ)x( τ)dτ , (8) −∞ где h(t , τ ) – импульсная переходная функция (ИПФ) системы, h(t , τ ) = 0 при t < τ . В стационарном случае h(t , τ) = h (t − τ) уравнение (8) переходит в интегральное урав- нение свертки y (t ) = t ∞ −∞ 0 ∫ h(t − τ)x(τ)dτ = ∫ h(τ)x(t − τ)dτ . (9) Задача идентификации заключается в определении ИПФ объекта h(t , τ ) либо h ( τ ) . Наряду с описанием линейного объекта с помощью ИПФ можно использовать его описание с помощью передаточной функции ϕ ( t , p ) , связанной с ИПФ соотношениями ∞ ϕ( t , p ) = ∫ h (t , τ)e −∞ σ+ j∞ − pτ 1 ϕ(t , p ) e pτdp . dτ , h(t , τ) = ∫ 2πj σ− j∞ (10) В стационарном случае ϕ ( t , p ) = ϕ ( p ) . Модель нелинейного динамического инерционного объекта строится в предположении, что нелинейность и инерционность объекта можно разделить и представить объект в виде последовательной комбинации двух звеньев: нелинейного безынерционного и динамического линейного. В одномерном случае, предполагая, что инерционное звено стационарно, выход объекта y (t ) связывают с его входом x(t ) одним из двух соотношений: ∞ ⎡∞ ⎤ y (t ) = ∫ h ( τ ) f [ x (t − τ)]dτ либо y (t ) = f ⎢ ∫ h( τ)x (t − τ)dτ ⎥ . 0 ⎣0 ⎦ (11) Задача идентификации будет состоять в определении пары функций h(t ) и f (t ) . 2. Динамические системы, описываемые обыкновенными дифференциальными уравнениями. Модель линейного динамического объекта, на вход которого поступает сигнал x(t ) , вызывающий сигнал y (t ) , часто представляют в виде обыкновенного дифференциального уравнения an где dn y dy dx m dx + ... + a + a y = b + ... + b1 + b0 x , m 1 0 n m dt dt dt dt d i y (0) / dt i = y0i , i = 0,1,..., n − 1 , – начальные состояния системы; n и m – параметры структуры (порядок) уравнения. (12) 137 Доклады ТУСУРа. 2004 г. Автоматизированные системы обработки информации, управления и проектирования Если система нестационарная, то коэффициенты уравнения ai и b j должны быть функциями времени. Задача идентификации заключается в определении порядка уравнения, коэффициентов ai , b j и начальных состояний (если они неизвестны). Класс моделей на основе интегральных и обыкновенных дифференциальных уравнений имеет свои преимущества и недостатки. Модели на основе дифференциальных уравнений могут приводить к большим ошибкам идентификации, если порядок модели не соответствует порядку объекта. Преимущество моделей на основе интегральных уравнений состоит в том, что они не требуют явного знания порядка объекта. Однако в этом случае описание объекта является непараметрическим, бесконечномерным, поскольку определение функции эквивалентно определению (заданию) бесчисленного числа параметров. 3. Нелинейные динамические модели. В непрерывном случае одномерный динамический объект (один вход и один выход) может быть описан с помощью нелинейного дифференциального уравнения y n (t ) = f ( y n−1 ,..., y, x m ,..., x) , где (13) f – нелинейная функция ( n + m + 1 )-го аргумента, которую и нужно идентифицировать. 4. Динамические системы, описываемые дифференциальными уравнениями в частных производных. Динамические объекты, представленные дифференциальными уравнениями в частных производных, имеют чрезвычайно широкое научное и практическое применение в разнообразных задачах гидротермодинамики, переноса излучения, прогноза погоды, динамики атмосферы и океана и т.д. [22]. Дифференциальное уравнение с частными производными порядка r есть функцио- нальное уравнение вида ⎛ ⎞ ∂f ∂f ∂f ∂ 2 f F ⎜ X, f , , , ..., , 2 , ... ⎟ = 0 , ∂x1 ∂x2 ∂xn ∂x1 ⎝ ⎠ (14) содержащее по меньшей мере одну частную производную порядка r от неизвестной функции f ( X ) , где X = ( x1 , x2 ,..., xn ) . В качестве примера рассмотрим дифференциальное уравнение параболического типа однофазной фильтрации, которое описывает плоскорадиальный приток сжимаемой жидкости к скважине нефтяного пласта: стоянии ∂P ∂ 2 P ∂P + = , где P – давление в момент времени t на расr∂r r∂r 2 χ∂t r от оси скважины; χ – коэффициент пьезопроводности пласта, который характеризу- ет скорость перераспределения давления в пласте. Задача идентификации заключается в определении пьезопроводности пласта по результатам гидродинамических исследований скважины и регистрации кривой изменения давления после остановки скважины. 5. Дискретные, конечно-разностные аналоги интегральных и дифференциальных уравнений. При решении задач идентификации широкое применение получили дискретные, ко- 138 Доклады ТУСУРа. 2004 г. Автоматизированные системы обработки информации, управления и проектирования нечно-разностные аналоги интегральных и дифференциальных уравнений с использованием численных методов [18]. Суть этих методов заключается в замене интегралов суммами, а производных их конечными разностями. Это позволяет свести интегральные и дифференциальные уравнения к соответствующим системам сеточных алгебраических уравнений. Решение уравнений определяется в узлах сетки, что часто требует запоминания большого объема данных и проведения больших вычислений. Математические модели дополнительной априорной информации Сведения об объектах идентификации условно можно разделить на следующие типы: 1) исходные и дополнительные данные (наблюдения входов и выходов объекта; дополнительные апостериорные и априорные данные); 2) априорная информации о структуре объекта; 3) априорная информация о статистических характеристиках случайных неконтролируемых переменных. 1. Исходные и дополнительные данные. Основным источником исходных данных для идентификации являются результаты прямых наблюдений входных и выходных переменных объекта. В качестве дополнительных апостериорных (текущих) данных о переменных объекта могут быть использованы измерения, полученные из наблюдений косвенных переменных, функционально связанных с входными и выходными переменными объекта. К априорным могут быть отнесены данные, полученные на основе экспертных оценок переменных объекта, различных методик их расчета и т.д. Удобной моделью дополнительных апостериорных либо априорных данных является понятие объекта-аналога, т.е. системы, подобной исследуемому объекту. Объект-аналог определим как реально существующий либо воображаемый упрощенный объект, отражающий основные черты исследуемой системы, особенности ее строения и функционирования, представляющий и формализующий в виде моделей дополнительные апостериорные и априорные данные, накопленный опыт и знания. Объект-аналог F , изображенный на рис. 2, является некоторым отражением исследуе- мого объекта F . ξ X Исследуемый объект F Y Z Объектаналог F Z η 139 Доклады ТУСУРа. 2004 г. Автоматизированные системы обработки информации, управления и проектирования Рис. 2 – Модель 1-го уровня ИСИ Исследуемый объект и объект-аналог представляют некоторую интегрированную систему взаимодействующих моделей первого уровня: ⎧Y = F ( X , ξ); ⎨ ⎩ Z = F ( Z , η), (15) где η – случайные возмущения, связанные, например, с ошибками задания дополнительных априорных данных. Переменная Z объекта-аналога может соответствовать входным X либо выходным Y переменным, а также представлять параметры, функции (функционалы), определяющие структуру исследуемого объекта. Переменная Z представляет дополнительные апостериорные либо априорные данные. Например, дополнительные априорные данные о параметрах модели нелинейного параметрического объекта (3) могут быть представлены объектом-аналогом α = α + η , где η – слу- чайные ошибки задания дополнительных данных α . Дополнительные априорные сведения о выходной переменной исследуемого объекта могут быть также представлены объектом-аналогом y = g ( y ) + η , где g – некоторая неиз- вестная функция регрессии. Как и для исследуемых объектов, операторы и математические модели объектованалогов могут быть представлены математическими зависимостями (2)–(14). Объекты-аналоги также могут быть статическими либо динамическими, линейными либо нелинейными системами. Исследуемой системе может соответствовать не один, а несколько объектов-аналогов. В этом случае интегрированная система первого уровня имеет вид ⎪⎧Y = F ( X , ξ); ⎨ ⎪⎩ Z j = F j ( Z j , η), j = 1, m. (16) На основе интегрированной системы (16) могут быть представлены, например, исходные и дополнительные данные о параметрах и выходе нелинейного параметрического статического объекта в виде единой интегрированной стохастической системы взаимодействующих моделей: ⎧ y = f ( x, α) + ξ; ⎪ ⎨ α j = α j + η j , j = 1, m; ⎪ ⎩ yi = g ( yi ) + νi , i = 1, n. (17) 140 Доклады ТУСУРа. 2004 г. Автоматизированные системы обработки информации, управления и проектирования Объекты-аналоги Z в свою очередь могут быть использованы в качестве исходных исследуемых систем и иметь свои аналоги – Z . Тогда имеем интегрированную стохастическую систему второго уровня: ⎧ ⎪Y = F ( X , ξ); ⎪ ⎨ Z j = F j ( Z j , η j ), j = 1, m; ⎪ ⎪⎩ Z jk = F jk ( Z j , Z j , η jk ), k = 1, l. (18) В общем случае интегрированная система моделей может иметь неограниченное число уровней и представляет некоторую иерархическую структуру. 2. Априорная информация о структуре объекта. Априорная информация о структуре объекта известна еще до наблюдений входов и выходов объекта, носит в основном качественных характер и позволяет выбрать модель объекта и определить его структуру. 3. Априорная информация о статистических характеристиках случайных неконтролируемых переменных. Основная трудность идентификации систем состоит в том, что в большинстве реальных ситуаций наблюдения над исследуемыми объектами и объектамианалогами искажены случайными возмущениями, которые определяются многими причинами. Погрешности могут появляться за счет ошибок регистрации входных и выходных переменных объекта, ошибок выбора структуры модели объекта, ошибок задания дополнительной априорной информации и т.д. Обычно эти ошибки описываются с помощью аддитивных помех. Наличие помех, искажающих наблюдаемые входные и выходные сигналы, приводит к тому, что для идентификации должны использоваться статистические методы. Плотности распределения вероятностей помех с формальной точки зрения могут быть любыми. Однако на практике часто возникают типичные ситуации, связанные с одинаковым механизмом их возникновения. Важную роль играют следующие законы распределения вероятностей помех: равномерный закон, нормальный закон, закон Лапласа. Интегрированные системы моделей и их классификация Под интегрированной системой моделей (рис. 3) будем понимать совокупность модели исследуемого объекта и моделей объектов-аналогов. Интегрированная система моделей Модель исследуемого объекта Модели объектов-аналогов Рис. 3 – Интегрированная система моделей Введем следующую классификацию интегрированных систем моделей (ИСМ): 1) линейные ИСМ – линейные статические, линейные динамические; 141 Доклады ТУСУРа. 2004 г. Автоматизированные системы обработки информации, управления и проектирования 2) нелинейные ИСМ – нелинейные статические, нелинейные динамические; 3) линейные непараметрические ИСМ – линейные непараметрические статические, линейные непараметрические динамические; 4) нелинейные непараметрические ИСМ – нелинейные непараметрические статические, нелинейные непараметрические динамические; 5) непараметрические ИСМ – статические непараметрические, динамические непараметрические. Приведем примеры стохастических интегрированных систем моделей, основанных на стохастических моделях исходных объектов и стохастических моделях объектов-аналогов. 1. Линейные интегрированные системы моделей. Линейные интегрированные системы моделей основаны на линейных статических либо динамических моделях исследуемых объектов и на линейных (статических либо динамических) моделях объектов-аналогов. В качестве примера линейной статической интегрированной системы моделей первого уровня рассмотрим регрессионную модель объекта и модель дополнительной априорной информации вида ⎧ * m ⎪ yi = ∑ xij α j + ξi , i = 1, n; ⎪ j =1 ⎨ m ⎪ α = r α + η , j, k = 1, m, ∑ j jk k j ⎪⎩ k =1 где (19) yi* – измеренные значения выхода объекта y ; x j – входные переменные объекта; α j – неизвестные параметры модели объекта; α j – дополнительные априорные данные о параметрах объекта, являющиеся в свою оче- редь выходными переменными объекта-аналога; rjk – некоторые известные параметры объекта-аналога; xij – значения входных переменных; ξi – ошибки измерения выхода объекта; η j – ошибки задания априорной информации. Модель (19) удобно представить в матричной форме ⎧ y * = Fα + ξ; ⎨ ⎩α = Rα + η, (20) 142 Доклады ТУСУРа. 2004 г. Автоматизированные системы обработки информации, управления и проектирования где F – матрица, которую часто называют матрицей планирования: F = ( xij , i = 1, n, j = 1, m); y * , α, ξ – имеют смысл векторов-столбцов измерений выхода объекта, параметров моде- ли и ошибок измерений выходной переменной объекта; R = (r jk , j , k = 1, m) – матрица коэффициентов объекта-аналога; α, η – векторы-столбцы дополнительных априорных данных и ошибок их задания. Линейной считается интегрированная система моделей, в которой в качестве входных переменных (регрессоров) объекта используются их функциональные преобразования вида f j ( x ) . В данном случае матрица планирования имеет вид F = f j ( xij ) . В качестве примера линейной динамической интегрированной системы моделей первого уровня приведем уравнения ⎧ * T ⎪ yi = ∫ h( τ)x (ti − τ)d τ + ξi ; ⎨ 0 ⎪ h = h + η , i = 1, n, i i ⎩ i (21) где априорная информация об ИПФ h ( τ) задана в моменты измерения выхода объекта yi* = y * (t i ), i = 1, n . Используя представление ИПФ в виде ряда известных функций h(t ) = m ∑α j =1 j f j (t ) , интег- рированную систему моделей (21) можно свести к линейной статистической системе вида * ⎪⎧ y t = Fα + ξ; ⎨ ⎪⎩ h = Hα + η, где (22) ⎛T ⎞ F = ⎜ ∫ f j ( τ) x (ti − τ)dτ, j = 1, m, i = 1, n ⎟ ; ⎝0 ⎠ H = f j (ti ) – матрица известных функций, вычисленных в точках ti ; h – вектор-столбец дополнительных априорных данных о значениях ИПФ в моменты времени ti . В качестве примера рассмотрим линейную интегрированную систему моделей первого уровня с двумя объектами-аналогами, которые дают возможность учитывать дополнительную априорную информацию о параметрах модели исследуемого объекта и априорную информацию о выходе: ⎧ y * = Fα + ξ; ⎪ ⎨ Γ1α = Rα + η; ⎪ Γ y = Hy + ν, ⎩ 2 где F , R , H – известные матрицы; (23) 143 Доклады ТУСУРа. 2004 г. Автоматизированные системы обработки информации, управления и проектирования y = ( y1 , y 2 ,..., y n ) T – вектор дополнительных априорных данных о выходе объекта в моменты времени ti , заданный с ошибками ν = (ν 1 ,ν 2 ,...,ν n ) ; T Γ1 , Γ2 – диагональные (индикаторные) матрицы нулей либо единиц (где, например, 0 × α j означает, что априорная информация о j -й компоненте вектора α отсутствует). При Г1 = (1, 0,0,...,0) , Г 2 = (0, 0,...,0) , R = H = I интегрированная система моделей (23) переходит в интегрированную систему с одним объектом-аналогом, который представляет дополнительную информацию только о первой компоненте вектора параметров α : ⎧ y * = Fα + ξ, ⎨ ⎩ α1 = α1 + η1. 2. Нелинейные интегрированные системы моделей. Нелинейные интегрированные системы моделей основаны на нелинейных статических либо динамических моделях исследуемых объектов и линейных либо нелинейных моделях объектов-аналогов. В качестве примера рассмотрим нелинейную статическую интегрированную систему моделей, в которой линейная модель объекта-аналога представляет дополнительную априорную информацию о неизвестных параметрах модели исследуемого объекта: ⎧ yi* = yi + ξi = f ( x i , α ) + ξi , i = 1, n; ⎨ ⎩α = R ⋅ α + η, где (24) yi* , i = 1, n , – измеренные с ошибками ξ i , i = 1, n, значения выхода объекта y ; yi = f (x i , α ) – значения выхода модели объекта, полученные при соответствующих значениях входов x i = ( x1i , x 2i ,...x mi ) ; α, R , η – определенные в (20) характеристики объекта-аналога. Рассмотрим пример нелинейной динамической интегрированной системы моделей, в которой модель исследуемого объекта представлена конечно-разностным аналогом нелинейного дифференциального уравнения первого порядка dy = f ( yt , t , α, x t ) , y (0) = α 0 , dt где (25) f ( yt , t , α, x t ) – нелинейная относительно параметров α функция; α 0 – начальное значение. При известной априорной информации о параметрах модели и выходе объекта имеет место нелинейная динамическая интегрированная система моделей: ⎧ yt* = yt + ξt = f '( yt −1 , yt , t , α, x t ) + ξt , t = 1, n, y (0) = y (0); ⎪ ⎨ Г1α = Rα + η; ⎪ Г y = Hy + ν, ⎩ 2 (26) 144 Доклады ТУСУРа. 2004 г. Автоматизированные системы обработки информации, управления и проектирования где yt* – измеренное в моменты времени t значение выхода объекта yt ; f ' ( yt −1 , yt , t , α, x t ) – конечно-разностная аппроксимация модели объекта; x t = ( x1t , x2t ,..., xmt ) – заданные значения входных переменных объекта. В общем случае для нелинейного дифференциального уравнения и s объектов-аналогов динамическая нелинейная интегрированная система моделей примет вид ( ) ⎧ yt* = F yt , yt −i , t , α, x t , x t − j , i = 1, r1 , j = 1, r 2 ; ⎪ ⎪⎪ yt −i = y (t − i ), x t − j = x(t − j ), i = 1, r1 , j = 1, r 2 ; ⎨ ⎪ Г1k α k = R k α + ηk , k = 1, s1; ⎪ ⎪⎩ Г2 l y l = Hl y + ν l , l = 1, s 2 , s = s1 + s2 , где (27) α k – векторы-столбцы дополнительных априорных данных, полученных с s1 объектов- аналогов с ошибками ηk ; y l – векторы-столбцы дополнительных априорных данных с s 2 объектов-аналогов, заданных с ошибками ν k ; F – конечно-разностный оператор; yt −i = y (t − i ), x t − j = x (t − j ) – начальные условия; Г1k , Г2l – индикаторные диагональные матрицы вида (23). 3. Линейные непараметрические интегрированные системы моделей. Линейные непараметрические интегрированные системы моделей основаны на линейных статических либо динамических моделях объекта и на непараметрических статических либо динамических моделях объектов-аналогов. В качестве примера линейной непараметрической статической интегрированной системы моделей, в которой дополнительная априорная информации о параметрах модели и выходе объекта представлена классами непараметрических моделей, приведем уравнения ⎧ y * = Fα + ξ; ⎪ ⎨α = f1 (α ) + η; ⎪ ⎩ y = f 2 ( y ) + ν, где (28) f1 , f 2 – неизвестные однозначные ограниченные функции. Данная интегрированная система моделей является естественным представлением мо- делей дополнительных априорных данных, поскольку часто не удается найти подходящее конечномерное параметрическое описание связи исследуемых объектов и объектов-аналогов. 4. Нелинейные непараметрические интегрированные системы моделей. Нелинейные непараметрические интегрированные системы моделей основаны на нелинейных статических 145 Доклады ТУСУРа. 2004 г. Автоматизированные системы обработки информации, управления и проектирования либо динамических моделях объекта и на непараметрических статических либо динамических моделях объектов-аналогов. В качестве примера нелинейной непараметрической статической интегрированной системы моделей, по аналогии с (28), приведем уравнения ⎧ y * = f ( x , α ) + ξ; ⎪ ⎨α = f1 (α) + η; ⎪ ⎩ y = f 2 ( y ) + ν, (29) f (x, α) – известная нелинейная функция регрессии. где 5. Непараметрические интегрированные системы моделей. Непараметрические интегрированные системы моделей основаны на непараметрических статических либо динамических моделях объекта и на непараметрических статических либо динамических моделях априорной информации. Непараметрическую статическую стохастическую систему с одним объектоманалогом (модель двух черных ящиков) можно представить в виде ⎧ y * = f1 ( x ) + ξ ; ⎨ ⎩ Гy = f 2 ( x ) + η, где (30) f1 , f 2 – неизвестные однозначные функции, Г – известная индикаторная матрица. Данная интегрированная система моделей часто используется в случаях, когда объект слабо изучен либо достаточно сложный для параметрического описания. С другой стороны, и дополнительную априорную информацию о выходе объекта не удается представить в виде конечномерного параметрического описания. Структура интегрированной системы идентификации Под интегрированной системой идентификации понимается система разработки (проектирования) оптимальной в смысле заданных критериев качества интегрированной системы моделей. Структура интегрированной системы идентификации представлена на рис. 4. Интегрированная система идентификации Интегрированная система моделей Критерии качества и оптимальности Алгоритмы адаптации (решение оптимизационных задач) Рис. 4 – Структура интегрированной системы идентификации Интегрированные системы моделей достаточно подробно даны в предыдущем разделе, поэтому ниже рассматриваются только критерии качества и оптимальности интегрированных систем моделей и алгоритмы адаптации. 146 Доклады ТУСУРа. 2004 г. Автоматизированные системы обработки информации, управления и проектирования Критерии качества и оптимальности. Комбинированные критерии качества интегрированной системы моделей, состоящие из комбинации частных критериев, предназначены для объединения (слияния) моделей объекта и моделей объектов-аналогов. Частные критерии качества представляют меры близости измеренных значений выходных переменных исследуемого объекта и выходных переменных объектов-аналогов к соответствующим значениям выходных переменных модели объекта и моделей объектов-аналогов. В случае одной выходной переменной для оценки близости объекта и его модели, оценки близости дополнительных априорных данных их моделям вводится функция (функционал) потерь r (U ,V ) , обладающая свойствами расстояния: 1) r (U ,V ) > 0 ∀U ≠ V ; 2) r (U ,V ) = 0 ∀U = V ; 3) r (U ,V ) ≤ r (U , Z ) + r ( Z ,V ) ∀U ,V , Z . Например, средние потери от отклонения модели объекта y (t ) от соответствующих от* клонений выхода объекта y (t ) на интервале [0, T ] будут равны Q( α ) = где 1T * ∫ r ( y (t ), y (t ))dt , T 0 (31) y (t ) = f ( x(t ), α ) ; r – функция потерь. В данном случае задача оптимизации заключается в определении вектора параметров α * модели объекта, который бы минимизировал средние потери: α* = arg min Q(α) , (32) α∈Rm где arg min Q(α ) означает точку минимума функционала средних потерь Q(α ) . α∈Rm Сформулированный критерий оптимальности переводит процедуру определения параметров функции в задачу оптимизации. Функционал средних потерь часто называют критерием качества модели объекта либо просто критерием качества. Предполагая аддитивный характер ошибок измерения выхода объекта yi* = f ( xi , α ) + ξi , i = 1, n , функционал качества часто выбирают в виде n n i =1 i =1 Q(α ) = ∑ r ( yi* − f (x i , α )) = ∑ r (ξ i ) . (33) Выбор функции потерь r определяется вероятностно-статистическими характеристиками случайных ошибок (помех) ξi , i = 1, n . Например, при независимости и нормальности ошибок ξi , i = 1, n , имеющих ограниченную дисперсию σi2 = σ < ∞, i = 1, n , оптимальной является 147 Доклады ТУСУРа. 2004 г. Автоматизированные системы обработки информации, управления и проектирования функция потерь r ( ξi ) = ξi , i = 1, n [13, 20], и критерий качества (33) переходит в широко ис2 пользуемый квадратичный критерий n Q(α) = ∑ ξi2 = y * − f ( x ,α) = ξ T ξ , 2 (34) i =1 где y * – вектор измеренных значений выхода объекта; f (x, α ) – вектор-столбец значений выхода объекта, полученный на основе модели объ- екта в точках; x – норма вектора x . Часто используется взвешенный с весами wij , i, j = 1, n , функционал качества Q( α ) = y * − f ( x , α ) 2 Wy = ( y * − f ( x, α ))T Wy ( y * − f ( x, α)) , ( где матрица Wy = wij , i , j = 1, n ) (35) определяется статистическими характеристиками вектора * случайных величин y . Если распределение плотности вероятности величины ξi , i = 1, n , равно распределению Лапласа f ( x ) = σ −2 exp ( − x / 2σ2 ) , то оптимальным является критерий качества [20] n Q(α ) = ∑ yi* − f ( xi , α ) . (36) i =1 Частные критерии качества объектов-аналогов формируем по аналогии с рассмотренными функционалами качества. Например, для линейной интегрированной системы моделей с учетом априорной информации о выходе объекта и параметрах модели объекта ⎧ y * = Fα + ξ; ⎪ ⎨α = Rα + η1 ; ⎪ y = Hy + η 2 ⎩ (37) частные квадратичные критерии качества объектов-аналогов равны 2 J1 (α ) = α − Rα , J 2 (α ) = y − Hy 2 . (38) При использовании данных критериев качества предполагается, что векторы ошибок задания дополнительных априорных данных η1 и η2 распределены по нормальному закону. При наличии априорной информации о статистических характеристиках ошибок η1 , η2 следует использовать взвешенные критерии вида J1 (α ) = α − Rα 2 Wα , J 2 (α ) = y − Hy Wy , (39) 148 Доклады ТУСУРа. 2004 г. Автоматизированные системы обработки информации, управления и проектирования где чин Wα , Wy – матрицы, связанные со статистическими характеристиками случайных вели- α, y. За критерий качества интегрированной системы моделей принимаем взвешенные част- ные критерии качества вида m Φ(α ) = Q(α ) + ∑ β j J j (α ) , (40) j =1 где Q(α) – частный критерий качества модели исследуемого объекта; J j (α ) – частные критерии качества моделей объектов-аналогов; β j – некоторые управляющие переменные, определяющие вес дополнительных априорных данных. Следует отметить, что решение разнообразных задач обработки экспериментальных данных, идентификации, оптимизации и управления связано с использованием взвешенных критериев качества вида (40). Например, при решении задач оптимизации функций при наличии ограничений функционал типа менные Φ (α ) называют функцией Лагранжа, а управляющие пере- β j имеют смысл множителей Лагранжа [19, 23]. При решении обратных некорректно поставленных задач [18] функционал Φ (α ) имеет смысл регуляризирующего (сглаживающего) критерия, а частные функционалы J j , j = 1, m , имеют смысл стабилизирующих функционалов, связанных с «гладкостью» искомого решения. Так, например, при определении ИПФ k (t ) интегрального уравнения (8) в качестве стаT 2 ⎡ dk (t ) ⎤ билизирующего функционала используют J = ∫ ⎢⎣ dt ⎥⎦ dt [18]. 0 Новым в приведенной структуре взвешенного функционала (40) является наличие механизма, позволяющего учитывать разнородную дополнительную априорную информацию. Оптимальная структура интегрированной системы моделей определяется критерием вида α* (β* ), f * , f * = arg где min α∈Rm , f ∈F , f ∈F , β∈R Φ(α, f , f , β) , (41) f * и f * представляют оптимальные функции из множества функций F , F , используе- мых соответственно в качестве моделей исследуемого объекта и моделей объектов-аналогов; α * (β * ) – оптимальные параметры модели объекта; β* – оптимальные значения управляющих параметров. Получение оптимальной структуры интегрированной системы моделей (41) представляет достаточно сложную задачу проектирования, которую, как правило, решают последовательно: 149 Доклады ТУСУРа. 2004 г. Автоматизированные системы обработки информации, управления и проектирования 1) при заданной структуре моделей исследуемого объекта и объектов-аналогов получают оптимальные оценки неизвестных параметров α* (β) = arg min Φ(α, f , f , β) ; (42) α∈Rm 2) определяют оптимальные значения управляющих параметров β* = arg min Φ(α, f , f , β) ; β∈R (43) 3) определяют оптимальные модели объекта и оптимальные модели объектов-аналогов * f * , f = arg min Φ(α* , f , f , β* ) . (44) f ∈F , f ∈F Алгоритмы адаптации. Алгоритм адаптации интегрированной системы моделей заключается в решении оптимизационных задач вида (42)–(44). Сложность решения оптимизационных задач зависит от сложности интегрированной системы моделей, сложности моделей объекта и моделей объектов-аналогов, размерности оцениваемых параметров функций. Достаточно простые аналитические решения имеют место для линейных интегрированных систем моделей (20) и квадратичных функционалов качества (40). В данном случае имеет место критерий оптимальности ( α* (β) = arg min Φ = J + Q = y * − Fα α 2 Wy + β α − Rα 2 Wα ) (45) и алгоритм адаптации сводится к решению систем линейных уравнений вида ( FT Wy F + β R T Wα R )α = ( FT Wy y * + β R T Wα α ) . (46) Для доказательства утверждения (46) достаточно взять производные от функционала Φ по параметрам α и приравнять их к нулю: ∂Φ = ∇αΦ = −2FT Wy ( y * − Fα ) − 2R T Wα (α − Rα ) = 0 . ∂α В случае, если дополнительная информация о параметрах α получена с d1 объектованалогов, а дополнительная информация о выходе исследуемого объекта получена с d 2 объектов-аналогов, интегрированная система моделей примет вид ⎧ y * = F1α + ξ; ⎪ ⎨α j = R1 j α + η1 j , j = 1, d 1; ⎪ ⎩ y k = F2 k α + η2 k , k = 1, d 2 . (47) Для системы (47) соответствующим образом формируется комбинированный функционал качества как сумма взвешенных частных критериев качества исследуемого объекта и объектов-аналогов Φ (α ) = y * − F1α 2 Wy d1 + ∑ β1 j α j − R1 j α j =1 2 Wα d2 + ∑ β 2 k y k − F2 k α k =1 2 Wy , 150 Доклады ТУСУРа. 2004 г. Автоматизированные системы обработки информации, управления и проектирования и алгоритм адаптации сводится к решению системы линейных уравнений вида d1 d2 d1 d2 ⎛ T ⎞ ⎛ T ⎞ * T T T F W F β R W R β F W F α F W y R W α F2Tk Wy y ⎟ .(48 + + = + + ⎜ 1 y 1 ∑ j 1 j α 1 j ∑ k 2k y 2k ⎟ ⎜ ∑ ∑ 1j y α j =1 k =1 j =1 k =1 ⎝ ⎠ ⎝ ⎠ ) Алгоритмы адаптации нелинейной интегрированной системы моделей вида (24) при использовании квадратичных критериев качества и градиентных методов оптимизации (ГауссаНьютона, Ньютона, сопряженных градиентов и т.п.) сводятся к последовательному решению систем линейных алгебраических уравнений. Например, при использовании метода ГауссаНьютона алгоритм адаптации нелинейной интегрированной системы моделей (24) имеет вид ⎧⎪αi = α i −1 + hi ∆αi −1 ; ⎨ i −1 i −1 i −1 ⎪⎩ A ∆α = B , i = 1, 2,3,..., (49) где приращение вектора параметров ∆α i −1 на каждом шаге i определяется путем решения системы уравнений (D T Wy D + β ⋅ R T Wα R ) i −1 ∆αi −1 = ( DT Wy e + β ⋅ R T Wα ∆α ) , i −1 в которой e i −1 i −1 = y − f ( x, α ); D * ных по параметрам i −1 ⎛ ∂f (x i , α ) , i = 1, n , j = 1, m =⎜ ⎜ ∂α j ⎝ i −1 ⎞ ⎟ – матрица частных производ⎟ ⎠ α j , j = 1, m; ∆α 0 = (α − α 0 ) [7, 8]. Алгоритмы адаптации линейных и нелинейных непараметрических интегрированных систем моделей вида (28)–(30) при использовании квадратичных функционалов качества также сводятся к решению систем линейных уравнений. Например, для линейной непараметрической интегрированной системы моделей (28) алгоритм адаптации сводится к решению системы линейных уравнений вида (F W F + К T y где 1 + FT К 2F ) α = ( FT Wy y * + K 1α + К 2 у ) , ⎛ ⎛ α0 − α j K 1 = diag ⎜ K ⎜ j ⎜ ⎝ ⎝ h1 ⎞ ⎞ ⎛ ⎛ yi0 − yi K = , j = 1, m и diag ⎟ ⎟ ⎜K⎜ 2 ⎟ ⎝ ⎝ h2 ⎠ ⎠ матрицы весовых функций ( K h (50) ⎞ ⎞ ⎟ , i = 1, n ⎟ – диагональные ⎠ ⎠ → 0, h → ∞, K h → C < ∞, h → 0 ), введенные по аналогии с непараметрическими оценками плотности и регрессии [24]. Задача определения оптимальных значений управляющих параметров оптимальной структуры моделей β , определения исследуемого объекта и структуры моделей объектов- аналогов, как правило, не имеет аналитического решения и сводится к поиску минимума функции (функционала) одной либо многих переменных [23, 25]. В заключение отметим, что рассмотренные линейные, нелинейные и непараметрические интегрированные системы идентификации в зависимости от выбора матриц R , Wy , Wα , 151 Доклады ТУСУРа. 2004 г. Автоматизированные системы обработки информации, управления и проектирования структуры дополнительных априорных данных, вектора управляющего параметра β включают широкий спектр известных классических алгоритмов идентификации и порождают новые алгоритмы, обеспечивающие комплексное решение проблем учета разнородной информации, устойчивости решения, ограниченности выборок, согласованности исходных и дополнительных априорных данных, накопленного опыта и знаний; оптимизацию решений прикладных задач. ЛИТЕРАТУРА 1. Прангишвили И.В. Международная конференция «Идентификация систем и задачи управления» (SICPRO–2000), Москва, 26–28 сентября 2000 г. / И.В. Прангишвили, В.А. Лотоцкий, К.С. Гинсберг // Вестник РФФИ. –2001. – № 3 (25). – С. 44–57. 2. III Международная конференция «Идентификация систем и задачи управления» // Автоматика и телемеханика. – 2003. – № 11. – С. 202–204. 3. Клейман Е.Г. Идентификация нестационарных объектов / Е.Г. Клейман, И.А. Мочалов // Автоматика и телемеханика. – 1994. – № 2. – С. 3–32. 4. Клейман Е.Г. Идентификация нестационарных объектов // Автоматика и телемеханика. – 1999. – № 10. – С. 3–45. 5. Гинсберг К.С. Системные закономерности и теория идентификации // Автоматика и телемеханика. – 2002. – № 5. – С. 156–170. 6. Гинсберг К.С. Новый подход к структурной идентификации // Автоматика и телемеханика. – 2002. – № 6. – С. 85–98. 7. Сергеев В.Л. Идентификация систем с учетом априорной информации. – Томск: Изд-во НТЛ, 1999. – 146 с. 8. Кориков А.М. Интегрированные модели и алгоритмы идентификации систем управления/ А.М. Кориков, В.Л. Сергеев // Проблемы современной электроники и систем управления. Том 2. – Томск: Изд-во Том. гос. ун-та систем управления и радиоэлектроники, 2002. – С. 63–64. 9. Эйкофф Э. Основы идентификации систем управления. – М.: Мир, 1975. – 683 с. 10. Райбман Н.С. Построение моделей процессов производства / Н.С. Райбман, В.М. Чадеев. – М.: Энергия, 1975. – 375 с. 11. Цыпкин Я.З. Основы информационной теории идентификации.– М.:Наука, 1984.– 320 с. 12. Рубан А.И. Идентификация и чувствительность сложных систем. – Томск: Изд-во Том. гос. ун-та, 1982. – 303 с. 13. Идентификация динамических систем / Под. ред. А. Немуры. – Вильнюс: Минтис, 1974. – 287 с. 14. Демиденко Е.З. Линейная и нелинейная регрессии. – М.: Финансы и статистика, 1981. – 300 с. 15. Демиденко Е.З. Оптимизация и регрессия. – М.: Наука, 1989. – 296 с. 16. Катковник В.Я. Непараметрическая идентификация и сглаживание данных. – М.: Наука, 1985. – 336 с. 17. Добровидов А.В. Непараметрическое Г.М. Кошкин. – М.: Наука, 1997. – 336 с. оценивание сигналов / А.В. Добровидов, 152 Доклады ТУСУРа. 2004 г. Автоматизированные системы обработки информации, управления и проектирования 18.Тихонов А.Н. Методы решения некорректных задач / А.Н. Тихонов, В.Я. Арсенин. – М.: Наука, 1979. – 288 с. 19. Ермаков С.М. Математическая теория оптимального эксперимента / С.М. Ермаков, А.А. Живглявский. – М.: Наука, 1987. – 320 с. 20. Поляк Б.Т. Стабильное оценивание в условиях неполной информации / Б.Т. Поляк, Я.З. Цыпкин // Вопросы кибернетики. Адаптивные системы управления. – М., 1977. – C. 6–14. 21. Справочник по теории автоматического управления / Под. ред. А.А. Красовского. – М.: Наука, 1987. – 712 с. 22. Марчук Г.И. Методы вычислительной математики. – М. : Наука, 1980. – 535 с. 23. Рубан А.И. Оптимизация систем. Учеб. пособие. – Томск: Изд-во Том. гос. ун -та, 1984. – 528 с. 24. Тарасенко Ф.П. Непараметрическая статистика. – Томск: Изд-во Том. гос. ун-та, 1975. – 292 с. 25. Сергеев В.Л. К оптимизации регрессионных оценок непараметрического типа при ограниченных выборках // Математическая статистика и ее приложения. – Томск: Изд-во Том. гос. ун-та, 1982. – Вып. 8. – C.123–148.